¿Para qué sirve un robots.txt?
El archivo indica a los rastreadores qué rutas pueden acceder en un origen concreto, considerando protocolo, dominio y puerto. Las reglas no obligan a todos los robots ni protegen contenido privado.
Genera, revisa y publica
Elige el robot, introduce las rutas y añade sitemaps públicos si hace falta. Copia el resultado a la raíz del sitio y revisa el archivo publicado. El valor predeterminado sin rutas usa Disallow vacío y permite el rastreo.