De ce contează accesul crawlerilor AI
ChatGPT, Claude, Perplexity, Gemini și Copilot pot cita doar paginile pe care crawlerii lor le pot citi. Fiecare companie are mai mulți boți: unii construiesc indexuri de căutare AI (OAI-SearchBot, Claude-SearchBot, PerplexityBot), alții citesc o pagină când un utilizator întreabă (ChatGPT-User, Claude-User), iar alții colectează date pentru antrenarea modelelor (GPTBot, ClaudeBot, CCBot, Google-Extended).
Multe site-uri blochează acești boți din greșeală, printr-un robots.txt copiat, o opțiune de tip „blochează boții AI” din CDN sau un plugin de securitate. Altele vor să blocheze antrenarea, dar să rămână vizibile în căutarea AI. Unealta arată situația reală pentru fiecare crawler, ca să decizi în cunoștință de cauză.
Cum folosești verificarea
- Introdu orice pagină a site-ului. Citim robots.txt, etichetele meta robots ale paginii și antetul X-Robots-Tag.
- Cerem și pagina cu user agent-ul principalilor crawleri AI, ca să descoperim blocări din firewall sau server.
- Ajustează robots.txt sau setările CDN, apoi verifică din nou.
Exemple
Rămâi în căutarea AI, renunți la antrenare
User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: OAI-SearchBot Allow: /
Blocare din greșeală
O regulă de tipul „User-agent: * / Disallow: /” rămasă de pe un site de test blochează toți crawlerii AI și motoarele de căutare. Verificarea arată linia exactă din robots.txt.
Blocare din firewall
robots.txt permite ClaudeBot, dar serverul răspunde cu 403 pentru user agent-ul lui. De obicei e o regulă din CDN sau dintr-un plugin de securitate; permite acolo boții AI verificați.
Întrebări frecvente
Dacă blochez GPTBot, site-ul meu dispare din ChatGPT?
Nu neapărat. GPTBot este folosit pentru antrenare. Căutarea din ChatGPT folosește OAI-SearchBot, iar răspunsurile live folosesc ChatGPT-User. Poți bloca unul și permite celelalte.
Ce este Google-Extended?
Un token din robots.txt, nu un crawler separat. Dacă îl blochezi, Google nu îți mai folosește conținutul pentru antrenarea modelelor Gemini. Nu te scoate din Google Search sau AI Overviews, care folosesc Googlebot.
Crawlerii AI respectă robots.txt?
Cei mari (OpenAI, Anthropic, Google, Perplexity, Apple, Common Crawl) declară că da. Unii boți mai puțin cunoscuți nu îl respectă, de aceea contează verificarea din firewall dacă vrei o blocare sigură.
Ce înseamnă noai și noimageai?
Sunt valori meta robots sau X-Robots-Tag care cer sistemelor AI să nu folosească textul sau imaginile paginii pentru antrenare. Suportul variază, așa că folosește-le împreună cu regulile din robots.txt.
Verificarea este gratuită?
Da, fără cont. Facem câteva cereri către pagina introdusă și nu salvăm nimic.
Alte unelte gratuite utile
Generator și validator llms.txt
Generează un fișier llms.txt pentru site-ul tău din sitemap sau validează un /llms.txt existent după formatul llmstxt.org.
Verificare conținut prietenos cu AI
Verifică dacă o pagină poate fi citită, citată și recomandată ușor de ChatGPT, Perplexity, Gemini și Google AI Overviews, cu scor și remedieri concrete.
Verificare robots.txt
Verifică dacă un URL poate fi accesat de motoarele de căutare și vezi sitemap-urile declarate în robots.txt.