Uma nova configuração da Cloudflare permite que sites mantenham sua estratégia de SEO e continuem acessíveis aos mecanismos de busca mesmo escolhendo o Disallow AI Training, recurso criado para manifestar a recusa ao uso do conteúdo em treinamento de inteligência artificial. A novidade resolve uma dificuldade importante para quem queria limitar crawlers de IA sem correr o risco de desaparecer do Google.
A mudança entrou em vigor em 15 de setembro e exige atenção porque a opção mais rígida, chamada Block, agora também alcança crawlers de uso misto. Na prática, selecionar o controle errado pode bloquear Googlebot, Bingbot e Applebot inclusive para finalidades de busca.
Resumo
- A Cloudflare lançou o Disallow AI Training para separar descoberta em buscadores e treinamento de IA.
- Googlebot, Applebot e Bingbot podem continuar rastreando o site para busca nessa configuração.
- A opção Block passou a impedir também crawlers de uso misto e pode afetar a presença do site nos buscadores.
- Sites que já utilizavam controles anteriores terão suas preferências migradas pela Cloudflare.
Como funciona o Disallow AI Training da Cloudflare?
A Cloudflare passou a separar os crawlers de acordo com três comportamentos: Search, Training e Agent. O problema estava principalmente nos chamados crawlers de uso misto, que podem executar mais de uma dessas funções usando a mesma identidade.
Segundo a explicação oficial da Cloudflare, o Disallow AI Training registra no robots.txt a preferência de que o conteúdo não seja usado para treinamento. Crawlers classificados como responsáveis podem respeitar essa indicação e continuar acessando as páginas quando a finalidade é alimentar resultados de pesquisa.
Isso é diferente de simplesmente bloquear o bot. Quem faz uma auditoria de SEO sabe que rastreamento é uma etapa básica para que páginas possam ser descobertas e avaliadas pelos mecanismos de busca. Impedir Googlebot sem intenção, portanto, não é uma pequena mudança de configuração.
| Configuração | Treinamento de IA | Busca |
|---|---|---|
| Allow | Permitido | Permitida |
| Disallow AI Training | Preferência de não treinamento | Mantida para crawlers responsáveis |
| Block | Bloqueado | Pode ser bloqueada também |
O risco está em confundir recusa ao treinamento com bloqueio do crawler
Essa distinção merece atenção principalmente em sites administrados por equipes que estão revendo suas políticas sobre IA. Proteger conteúdo e preservar a otimização para buscadores são objetivos que podem coexistir, mas não quando uma regra técnica impede o próprio Google de acessar as páginas.
O Search Engine Journal destacou justamente essa diferença: o novo modo mantém Googlebot, Applebot e Bingbot disponíveis para pesquisa, enquanto o Block interrompe completamente o acesso desses crawlers.
Eu já defendi que o site não pode ser tratado como detalhe da estratégia. Se ele não funciona corretamente, nem SEO nem mídia resolvem o problema sozinhos. Aqui acontece algo parecido: uma decisão aparentemente simples de configuração pode comprometer o canal antes mesmo de chegar a hora de analisar tráfego ou conversão.
Isso reforça a necessidade de incluir acesso de crawlers entre os pontos de uma auditoria WordPress ou de qualquer revisão técnica mais ampla. Não basta olhar plugins, velocidade e erros visíveis ao usuário.
Confira também estes conteúdos relacionados:
- Entenda como SEO e inteligência artificial estão se aproximando.
- Veja como as respostas de IA do Google mudam a disputa por visibilidade.
- Aprenda a medir SEO além de tráfego e posição.
Bloquear IA pode prejudicar o SEO?
Pode, dependendo de como o bloqueio é feito. Essa é justamente a diferença que a nova configuração tenta resolver. O Disallow AI Training foi pensado para preservar a descoberta em pesquisa enquanto manifesta uma preferência contra treinamento. Já o Block é um controle mais rígido.
Para uma empresa que depende de conteúdo, isso também muda a discussão sobre conteúdo para sites. A pergunta deixou de ser apenas se devemos ou não permitir acesso de sistemas de IA. Agora é preciso identificar qual sistema está acessando, para qual finalidade e qual consequência aquela configuração produz.
A Cloudflare também separa a categoria Agent, voltada a agentes que acessam uma página em nome de uma pessoa. Isso mostra como o antigo conceito de simplesmente classificar tudo como “bot” está ficando insuficiente.
Eu também venho insistindo em medir SEO pelo impacto que chega a leads, oportunidades e receita, e não apenas pelo gráfico de visitas. Antes disso, porém, existe uma condição básica: garantir que decisões técnicas não eliminem a própria capacidade de ser encontrado.
Se uma mudança desse tipo coincidir com uma queda no tráfego orgânico, portanto, vale revisar configurações de crawlers antes de atribuir automaticamente o problema a algoritmo, conteúdo ou concorrência.
Sites precisam revisar a configuração da Cloudflare agora?
A Cloudflare informa que, na maioria dos casos, clientes existentes não precisam fazer nada porque as preferências anteriores serão migradas. Ainda assim, sites que usam os controles de IA devem verificar qual comportamento ficou configurado após a transição.
A revisão faz ainda mais sentido para empresas em que o site funciona como principal canal de aquisição. Hospedagem, segurança, infraestrutura do site, rastreamento e regras de bots deixaram de ser assuntos isolados da estratégia de marketing.
Disallow AI Training cria uma escolha mais específica para os sites
O Disallow AI Training não encerra a discussão sobre uso de conteúdo por inteligência artificial, mas oferece uma escolha mais específica: recusar treinamento sem necessariamente abrir mão da descoberta tradicional. Para empresas que dependem do Google e de outras formas de aquisição, essa diferença precisa estar clara antes de alterar qualquer regra de acesso.
Se você quer revisar rastreamento, indexação e outros elementos técnicos que podem afetar a aquisição orgânica, fale com a Agência Henshin.
Perguntas frequentes (FAQ)
É uma configuração que publica preferências de não treinamento em robots.txt sem necessariamente impedir crawlers responsáveis de acessar o site para fins de busca. A proposta é separar duas finalidades que antes podiam estar ligadas no mesmo crawler: descoberta em mecanismos de pesquisa e uso do conteúdo para treinamento de modelos.
Segundo a Cloudflare, não quando o Googlebot está atuando como crawler responsável para pesquisa. O objetivo da configuração é preservar esse acesso. A situação muda com a opção Block, que passou a alcançar crawlers de uso misto e pode impedir o Googlebot de acessar o site também para busca.
Sim. A própria Cloudflare alerta que o Block agora pode impedir crawlers como Googlebot, Bingbot e Applebot. Se um mecanismo de busca não consegue rastrear páginas que deveriam permanecer acessíveis, descoberta, atualização do índice e outras etapas da presença orgânica podem ser prejudicadas.
Essa é justamente a finalidade do novo controle da Cloudflare para crawlers que respeitam a preferência publicada. Ainda assim, bloquear treinamento não significa que todo sistema de IA obrigatoriamente seguirá a indicação. Por isso, empresas precisam entender a diferença entre manifestar uma preferência e impedir tecnicamente o acesso.
Não necessariamente. A empresa afirma que as preferências existentes serão migradas na maioria dos casos. Mesmo assim, quem já utiliza controles de bots e IA deve revisar as opções disponíveis e confirmar se o comportamento atual corresponde ao objetivo do site, principalmente quando tráfego orgânico tem valor comercial.
