Ce face fișierul robots.txt
robots.txt este un fișier text din rădăcina site-ului, de exemplu https://exemplu.ro/robots.txt, care le spune crawlerelor ce adrese pot accesa. O singură linie Disallow greșită poate opri Google să parcurgă o secțiune întreagă și este una dintre cele mai frecvente cauze pentru care paginile dispar din căutare.
Unealta descarcă robots.txt-ul site-ului, aplică regulile pentru user agentul ales (implicit Googlebot) și îți spune dacă adresa e permisă sau blocată, citând regula exactă. Listează și sitemap-urile declarate și îl verifică pe primul, arată crawl-delay-ul și semnalează liniile pe care nu le recunoaște.
Regulile se aplică la fel ca la Google: câștigă calea potrivită cea mai specifică (cea mai lungă), iar când o regulă Allow și una Disallow sunt la fel de specifice, câștigă Allow.
Cum testezi o adresă în robots.txt
- Lipește adresa paginii pe care vrei să o testezi.
- Lasă Googlebot ca user agent sau scrie altul, de exemplu Bingbot sau GPTBot.
- Pornește verificarea ca să vezi dacă adresa e permisă sau blocată și de ce regulă.
- Verifică sitemap-urile și liniile nerecunoscute, apoi corectează fișierul de pe server dacă e nevoie.
Reguli robots.txt des folosite
Blochezi coșul și contul clientului
User-agent: * / Disallow: /cos / Disallow: /contul-meu. Ține crawlerele departe de paginile fără valoare în căutare, fără să atingi produsele sau categoriile.
Permiți un fișier dintr-un folder blocat
Disallow: /wp-admin/ împreună cu Allow: /wp-admin/admin-ajax.php. Regula Allow, mai lungă, câștigă pentru acel fișier.
Tot site-ul blocat din greșeală
Disallow: / sub User-agent: * blochează tot. Rămâne adesea de pe un site de test; unealta îl arată ca regula care blochează orice adresă.
Întrebări frecvente
Dacă blochez o pagină în robots.txt, dispare din Google?
Nu. robots.txt controlează accesarea, nu indexarea. O adresă blocată poate fi indexată totuși dacă alte pagini au linkuri spre ea. Ca să scoți o pagină din rezultate, permite accesul și adaugă un meta tag sau un header noindex.
Unde trebuie să fie fișierul robots.txt?
În rădăcina fiecărui host și protocol, de exemplu https://www.exemplu.ro/robots.txt. Un fișier dintr-un subfolder e ignorat, iar fiecare subdomeniu are nevoie de propriul fișier.
Google respectă crawl-delay?
Nu, Googlebot ignoră crawl-delay. Alte crawlere, de exemplu Bingbot, îl respectă. Google își ajustează automat ritmul în funcție de cum răspunde serverul.
Ce se întâmplă dacă nu am robots.txt?
Dacă fișierul răspunde cu 404, crawlerele consideră tot site-ul permis. Erorile de server persistente (5xx) la robots.txt pot face Google să oprească temporar accesarea site-ului, deci asigură-te că răspunde cu 200 sau 404.
Pot bloca crawlerele AI cu robots.txt?
Da. Majoritatea crawlerelor AI, precum GPTBot, ClaudeBot sau Google-Extended, respectă regulile din robots.txt pentru user agentul lor. Testează-le numele aici ca să vezi ce permite fișierul tău acum.
Alte unelte gratuite utile
Verificare SEO on-page
Analizează o pagină: titlu, meta description, headinguri, canonical, imagini, date structurate și probleme frecvente.
Generator de schema markup (JSON-LD)
Generează date structurate pentru produse, articole, firme locale și întrebări frecvente.
Previzualizare SERP
Vezi cum apare pagina ta în Google și verifică lungimea titlului și a descrierii.