Elegir rastreadores
Introduce * o nombres como Googlebot.

GENERADOR DE ROBOTS.TXT GRATIS
Crea en el navegador el archivo estándar que guía a los rastreadores.
Tus reglas y URLs no se envían ni se guardan.

1 · Añadir reglas
Define rutas permitidas y bloqueadas para cada grupo.
2 · Revisar archivo
Introduce reglas para ver aquí el archivo.
Publica el archivo de texto UTF-8 en /robots.txt.
GUÍA GRATIS DE ROBOTS.TXT
Introduce * o nombres como Googlebot.
Añade reglas Allow y Disallow y revisa el resultado.
Coloca el archivo en la URL /robots.txt del sitio.
CONTROL DE RASTREO
Rastreo, indexación y seguridad son funciones distintas.
Mantén cada regla bajo el User-agent correcto.
Normalmente se aplica la ruta coincidente más específica.
robots.txt es público y no protege datos privados.
GENERADOR DE ROBOTS.TXT GRATIS FAQ
Sí. Es gratis, sin cuenta ni límite, y todo se procesa en el navegador.
En la raíz del host, por ejemplo https://example.com/robots.txt.
No. Limita el rastreo, pero no garantiza la desindexación ni la privacidad.
Sí. Puedes añadir varias URLs completas http o https.