O Google consegue realmente ver o seu website?
Um pequeno ficheiro técnico, robots.txt, determina se o Google pode ver e renderizar o seu site, e um erro neste ficheiro pode parar toda a sua visibilidade sem que se dê conta.
O que é afinal esse ficheiro
Todo o website tem, ou deveria ter, um ficheiro chamado robots.txt. Encontra-o digitando /robots.txt depois do seu nome de domínio, por exemplo seuempresa.pt/robots.txt. Este ficheiro é o primeiro que o Google lê antes de ver o seu site. Está em texto simples e diz aos motores de busca quais as partes do site que podem e não podem visitar.
Pode comparar-se a um cartaz à entrada de um edifício. Algumas portas estão abertas, outras estão fechadas com um simples aviso. O problema é que as empresas às vezes pendem acidentalmente no aviso errado. Em vez de fechar uma porta traseira, fecham o edifício inteiro aos visitantes, incluindo as salas mais importantes.
Para além dos caminhos que podem ou não ser visitados, há também algo mais subtil: os ficheiros que constroem a página. Pense em CSS, que fornece a formatação, e JavaScript, que fornece movimento e interação na página. Se robots.txt bloqueia esses ficheiros, o Google pode visitar a página, mas não consegue vê-la bem. Vê então uma versão vazia e partida do seu site.
Isto está intimamente ligado a outro ponto de verificação: se o seu conteúdo principal também é acessível sem JavaScript, como explicamos em o conteúdo principal é acessível sem JavaScript. Ambos os pontos referem-se à mesma questão: consegue o Google ver a sua página como um visitante a vê, ou o Google fica com uma imagem incompleta que se classifica mal.
Porque isto é mais do que um detalhe técnico
O Google utiliza um processo chamado renderização: o motor de busca constrói basicamente a sua página, exatamente como um browser faria, para ver o que um visitante realmente vê. Isto só é possível se o Google tiver permissão para aceder a todos os componentes necessários. Se CSS ou JavaScript estiverem bloqueados, o Google vê uma página vazia sem formatação, sem menu, por vezes sem o texto que é carregado com scripts.
A consequência é que o Google avalia incorretamente sobre o que é a sua página. Uma página que parece ótima aos visitantes pode parecer incompreensível ou vazia para o Google. Não é uma questão de marcar um pouco pior. É uma questão de não ser incluído, enquanto você não fez nada de errado no conteúdo em si.
Há uma diferença entre uma página que não existe e uma página que existe mas foi tornada inacessível. Isto também está relacionado com outros pontos da nossa lista de verificação, como a questão de saber se uma página removida devolve corretamente um estado 404, como discutimos em a página de erro 404 é útil em si mesma. Em ambos os casos, trata-se de clareza: mostre ao Google o que se destina a ser encontrado e o que não.
Como verificar pessoalmente se está tudo bem no seu caso
Digite o seu nome de domínio seguido de /robots.txt na barra de endereços do seu navegador. Aparecerá uma lista simples de regras, geralmente com palavras como 'Disallow' seguidas de um caminho. Disallow significa: este caminho não pode ser visitado. Verifique se há algo que não espera, como uma barra inclinada apenas, o que significa que todo o site foi fechado.
Preste especial atenção às regras que se referem a pastas com nomes como /wp-content/, /assets/, /css/ ou /js/. Estas são muitas vezes precisamente as pastas onde a formatação e interação do seu site estão. Se essas estiverem bloqueadas, é provável que o Google não consiga renderizar bem as suas páginas, mesmo que o resto do ficheiro pareça inócuo.
Google Search Console, um serviço gratuito do Google para proprietários de websites, tem um teste com o qual pode verificar uma página específica quanto a problemas de renderização. Aí vê um exemplo de como o Google percepciona a sua página. Se parecer vazio ou partido enquanto a página no seu navegador parece ótima, esse é um sinal claro de que algo está errado com o carregamento de CSS, JavaScript ou imagens.
Se duvida se um caminho específico foi excluído propositalmente ou por acaso, consulte quem construiu seu website. Alguns bloqueios são deliberados e sensatos, como o fechamento de um resultado de busca interno, algo que abordamos separadamente em páginas de resultados de busca interna em noindex. Outros bloqueios são simplesmente erros de uma configuração padrão que nunca foi revisada.
O que custa se isto não estiver em ordem
Se robots.txt bloqueia caminhos importantes, você fecha sem perceber partes de seu site para o Google. Podem ser páginas de produtos, artigos de blog, ou até mesmo todo o site após uma migração para um novo sistema. Isto acontece com mais frequência do que as pessoas pensam, especialmente após uma renovação de website, quando uma configuração destinada ao ambiente de teste permanece acidentalmente no site real.
O que é insidioso é que você não percebe nada no seu uso diário do site. As páginas carregam normalmente, visitantes que recebem o link diretamente ainda conseguem acessá-las. Apenas o tráfego dos mecanismos de busca diminui lentamente, sem motivo aparente. Muitos empresários procuram então a causa no conteúdo ou na concorrência, quando o problema está em um arquivo técnico que nunca abriram.
Quando apenas CSS e JavaScript são bloqueados, o efeito é mais sutil, mas não menos prejudicial. Suas páginas continuam sendo encontradas, mas o Google as avalia com base em uma imagem incompleta. Texto carregado por um script talvez não seja contabilizado. Uma página que parece excelente para você é avaliada pelo Google como pobre em conteúdo, com todas as consequências para sua posição nos resultados de busca.
A recuperação geralmente não é uma questão de meses de trabalho. Muitas vezes trata-se de ajustar algumas linhas em um arquivo. A questão é que você deve primeiro reconhecer o problema. Sem controle, um bloqueio às vezes permanece despercebido por anos, simplesmente porque ninguém o verificou novamente após a última alteração do site.
O que precisa ser feito para colocar isto em ordem
O ponto de partida é simples: robots.txt só deve bloquear caminhos que você deseja excluir deliberadamente, como uma página de login para administradores ou um carrinho de compras que não deveria aparecer nos resultados de busca. Tudo que contribui para a aparência ou funcionamento da página deve permanecer acessível. Esse é o princípio inteiro por trás deste ponto de verificação: não trancafiar por precaução, mas bloquear deliberadamente onde necessário.
Faça este arquivo ser verificado como parte de uma análise mais ampla do que deve e não deve ser indexado. Essa análise, uma matriz de indexação por tipo de página, mapeia quais páginas devem ser visíveis para o Google e quais deliberadamente não, conforme explicamos em uma matriz de indexação por tipo de página. Robots.txt é então o instrumento com o qual essas escolhas são executadas, não o lugar onde essas escolhas são feitas.
Verifique este arquivo não apenas na construção do site, mas também após qualquer grande alteração: uma migração para outro sistema, um novo construtor de website, ou uma reestruturação do site. Esses são precisamente os momentos em que as configurações são acidentalmente transferidas de um ambiente de teste. Uma verificação breve depois evita que uma configuração temporária se torne permanente.
Lembre-se também de que robots.txt não funciona isoladamente. Está intimamente ligado a outros sinais que você dá ao Google, como a instrução em nível de página através de uma tag noindex, sobre a qual há mais informações em noindex via meta robots ou X-Robots-Tag. Ambos não devem se contradizer. Uma página que você deseja mostrar não deve ser aberta através de um canal e bloqueada através de outro.
Perguntas frequentes
Posso adaptar robots.txt eu mesmo sem o construtor de website
Tecnicamente é um simples arquivo de texto e você pode abri-lo e modificá-lo sozinho. Na prática, a cautela é aconselhável: uma linha errada pode fechar todo o seu site para o Google. Deixe uma modificação ser verificada por quem gerencia seu site, ou teste a adaptação primeiro com a ferramenta no Google Search Console antes de implementá-la definitivamente.
Um bloqueio em robots.txt significa que a página desaparece imediatamente do Google
Não imediatamente, e nem sempre completamente. O efeito geralmente se constrói gradualmente conforme o Google encontra o bloqueio com mais frequência. Às vezes, uma página permanece visível sem descrição, porque o Google conhece o título, mas não pode visualizar o conteúdo. Em todos os casos, o resultado é uma posição mais fraca do que se a página estivesse totalmente acessível.
Eu não tenho um arquivo robots.txt, isso é um problema
Sem este arquivo, o Google pode, em princípio, estar em todo lugar, então nesse sentido não há bloqueio direto. Ainda assim, é aconselhável ter um, nem que seja apenas para conscientemente excluir alguns caminhos, como um sistema de busca interno. Isso também se alinha com o ponto de verificação 1.2, onde abordamos a configuração precisa disso, conforme se pode ler no ponto de verificação 1.2.
Leitura adicional
Como está seu próprio website?
Dois números, em menos de um minuto, gratuitamente — e você não precisa deixar nada para trás.
Prefere o relatório completo agora? Scan abrangente — € 49 →
Quer saber qual é a razão?
Este relatório mostra o status. O relatório fornece as causas e a ordem em que você as resolve.
- Para cada constatação, o que está errado e o que deve ser feitoA verificação gratuita lhe fornece o status. O relatório lhe fornece a lista — em linguagem simples, ordenada por peso, sem que você precise entender nada técnico.
- Todos os quatro assistentes de IA em vez de umO resultado gratuito é uma amostra com um assistente. O relatório faz oito perguntas a todos os quatro, para que você saiba se o problema está em um assistente ou em todos.
- Quais empresas são mencionadasQuem consegue o cliente que você perde? Esses nomes estão no relatório, com quantas vezes aparecem onde você não está.
- Uma medição mais profunda do seu siteA verificação gratuita analisa dez páginas. O relatório verifica até cinquenta, incluindo também as páginas onde seus clientes acabam chegando.