Para que serve um robots.txt?
O arquivo orienta rastreadores sobre caminhos que podem acessar em uma origem específica, considerando protocolo, domínio e porta. As regras não obrigam todos os robôs e não protegem conteúdo privado.
Gere, revise e publique
Escolha o robô, preencha os caminhos e adicione sitemaps públicos se necessário. Copie o resultado para a raiz do site e confira o arquivo publicado. O padrão sem caminhos usa Disallow vazio e permite o rastreamento.