Recentemente, um de meus leitores perguntou como podia ele impedir que os mecanismos de pesquisa indexassem o seu site em WordPress? Existem muitos cenários para desejar impedir que os mecanismos de pesquisa indexem um site. Neste artigo, vou mostrar como parar os mecanismos de pesquisa de indexar um site do WordPress.
Porquê e quem quer parar de indexar nos motores de pesquisa?
Para a maioria dos sites, os motores de pesquisa são a principal fonte de tráfego. Mas pode ter a dúvida, do porque alguém querer bloquear os mecanismos de pesquisa?
Acredite ou não, há muitas pessoas a trabalhar nos seus sites, colocando-os primeiro num domínio público acessível na Internet em vez de criar um ambiente de desenvolvimento local ou criar um site de desenvolvimento.
Algumas pessoas criam sites de gerenciamento de projetos com o WordPress. Há muitas pessoas que usam o WordPress para criar blogs privados.
Em todas estas situações, provavelmente não quer ser indexado pelos motores de pesquisa e deverá estar pronto para isso.
Um equívoco comum é que se eu não tiver links a apontar para o domínio, os motores de busca provavelmente nunca encontrarão o site.
Bem, isso não é verdade!
Existem muitas maneiras pelas quais os motores de pesquisa podem encontrar um site vinculado noutro lugar. Por exemplo, o nome de domínio pode ter sido anteriormente de propriedade de outra pessoa e ainda haver registos desse index.
Existe literalmente milhares de coisas a acontecer na web e nenhuma delas está sob o nosso controle. No entanto, o seu site ainda está sob o seu controle, e pode instruir os mecanismos de pesquisa a não seguir ou indexar o seu site.
Bloquear os motores de pesquisa de rastreamento e indexação no seu site WordPress
O WordPress vem com um recurso interno que permite instruir os mecanismos de pesquisa para que não indexem seu site. Tudo o que precisa fazer é ir a Configurações »Leitura e marcar a caixa ao lado da opção Visibilidade do mecanismo de pesquisa.
Quando esta caixa está marcada, o WordPress adiciona esta linha ao cabeçalho do seu site:
1 | < meta name = 'robots' content = 'noindex,follow' /> |
O WordPress também modifica o arquivo robots.txt do seu site e adicione estas linhas:
1 2 | User-agent: * Disallow: / |
Essas linhas pedem aos robôs (rastreadores web) que não indexem as suas páginas. No entanto, é totalmente da responsabilidade dos motores de pesquisa aceitar esse pedido ou ignorá-lo. Embora a maioria dos motores depesquisa respeite isso, algumas páginas ou imagens aleatórias do seu site podem ser indexadas.
Como se certificar de que o site não aparece nos resultados da pesquisa?
A maneira mais eficaz de bloquear os mecanismos de busca num site publicado é proteje-lo com uma senha em todo o seu site WordPress a nível do servidor. Isso significa que quando alguém acessa ao site, são convidados a fornecer um nome de usuário e senha mesmo antes de chegarem ao WordPress. Isso inclui mecanismos de pesquisa também. Após a falha de login, são mostrados erro 401 e os bots afastam-se. Veja como proteger um site com senha.
Protejer um site com senha no cPanel
Se o seu fornecedor de alojamento oferece o cPanel para gerir a sua conta, pode proteger seu site pelo o cPanel. Basta aceder ao painel de controle do cPanel e depois clicar em diretórios de proteção com senha.
Irá aparecer uma mensagem onde tem de escolher a raiz do documento.
No próxima passo, selecione a pasta onde o seu site está instalado. Geralmente é no diretório public_html ou www. Depois, marque a caixa ao lado da opção ‘Proteger por senha este diretorio’. Em seguida, forneça um nome para o diretório protegido e pressione o botão Salvar.
De seguida, vai ver uma mensagem de sucesso e um link de voltar. Ao clicar no link de volta, entrará opção proteção de senha. Agora, tem de adicionar um nome de usuário e uma senha que serão necessários para visualizar o site.
Assim todo o seu site está agora protegido por uma senha, e ninguém, incluindo os mecanismos de pesquisa, pode aceder ao site.