Resumo
O Google explicou em vídeo, noticiado em 21 de outubro de 2026, o que o robots.txt aceita. O analisador reconhece quatro diretivas, descarta o restante em silêncio e só entende tokens de user-agent com letras e hifens. Caminhos com emojis ou caracteres internacionais pedem codificação percentual. Para barrar robôs de IA, vale o token oficial de cada um. O próximo episódio da série deve tratar de erros 404.
Google explica em vídeo, segundo o Search Engine Roundtable de 21 de outubro de 2026, que o robots.txt reconhece só quatro regras e descarta o restante em silêncio. Para quem mantém site, a consequência é direta: uma linha escrita fora do padrão pode deixar aberto um caminho que o dono julgava bloqueado.
Quatro regras valem e as outras linhas somem sem aviso
O episódio da série Non-Canonical Cabinet, intitulado “What can you actually put in a robots.txt?”, é o segundo da série, apresentada por Gary Illyes e Cherry Prommawin, do Google Search. O arquivo é um texto simples na raiz do site, consultado por crawlers que seguem as regras, entre eles o Googlebot, antes de buscar páginas. O formato segue a RFC 9309.
O analisador do Google lê o arquivo linha por linha e reconhece quatro diretivas: user-agent, allow, disallow e sitemap. Campos como crawl-delay não têm suporte, conforme a documentação do Google. Qualquer linha fora dessa lista é descartada em silêncio, e o caminho que parecia bloqueado pode ser rastreado mesmo assim. Linhas iniciadas por hash são comentários e os crawlers as ignoram.
Linhas que o Google não reconhece no robots.txt são descartadas em silêncio, e o caminho bloqueado pode ser rastreado mesmo assim.
Emojis, URLs internacionais e robôs de IA seguem regras próprias
Nos tokens de user-agent, o episódio diz que cabem só letras e hifens, então emoji ou caractere de outro alfabeto não funciona. Nos caminhos das regras, a orientação é usar a forma com codificação percentual. A documentação do Google informa que o rastreador trata o caminho em UTF-8 e a versão codificada como idênticos, mas outros crawlers podem não entender e ignorar a regra inteira.
Sobre robôs de IA, o robots.txt é um protocolo de preferência de acesso: controla se o robô pode rastrear a página, mas não rege o que a empresa faz com o conteúdo já obtido, como o treinamento. Para barrar um robô específico, a regra deve citar o token de user-agent que ele reconhece. O próximo episódio, segundo o relato, trata de erros 404.
O que você acha? Você já testou o robots.txt do seu site com URLs reais? Para acompanhar mais, acesse nossa editoria de SEO e Otimização e os vídeos do canal no YouTube.
Perguntas Frequentes
Quais regras o Google reconhece no arquivo robots.txt?
Google reconhece quatro diretivas no robots.txt: user-agent, allow, disallow e sitemap. O analisador lê o arquivo linha por linha e descarta em silêncio o que não conhece, como o campo crawl-delay, que não tem suporte. Por isso, um caminho que parecia bloqueado pode continuar liberado para o rastreamento se a regra estiver escrita fora desse padrão.
Dá para usar emoji ou acento no robots.txt do site?
Emoji não funciona no token de user-agent, que aceita só letras e hifens, segundo o episódio do Google. Nos caminhos, a orientação é usar a forma com codificação percentual. Google trata o caminho em UTF-8 e a versão codificada como idênticos, mas outros crawlers podem não entender e ignorar a regra inteira, deixando a página aberta.
O robots.txt impede que empresas de IA treinem com o meu site?
Robots.txt é um protocolo de preferência de acesso: define se o robô pode rastrear a página, mas não rege o uso de conteúdo já obtido, como o treinamento de modelos. Para barrar um robô de IA específico, a regra precisa citar o token de user-agent que ele reconhece. Descrições próprias não são entendidas.