Robots.TXT: tudo que você precisa saber

O robots.txt é um arquivo necessário em todos os sites e fica localizado sempre na raiz de seu FTP. É através dele que os crawlers dos mecanismos de buscas sabem quais diretórios, páginas ou arquivos podem ser rastreados e indexados. Com ele, basta aplicar alguns comandos que veremos aqui neste artigo, para restringir o acesso de um ou mais mecanismo de busca.

Porque restringir através do robots.txt?

Conforme mencionado acima, normalmente não queremos que algum determinado diretório de nosso site, arquivo ou página não seja indexado nos mecanismos de buscas, principalmente páginas de acesso como: /dashboard, /login, /wp-admin etc…