Generador de robots.txt
Crea un archivo robots.txt a medida, definiendo reglas de Allow y Disallow por cada user-agent y agregando la URL de tu sitemap. Incluye plantillas rápidas para los casos más comunes. Todo se genera localmente en tu navegador, sin enviar datos a ningún servidor.
Cómo funciona
- Elige una plantilla rápida (permitir todo, bloquear todo, bloquear rutas comunes) como punto de partida, o construye tus reglas desde cero.
- Define el user-agent de cada bloque (usa * para aplicar la regla a todos los rastreadores).
- Agrega reglas de Allow o Disallow con la ruta correspondiente dentro de cada bloque.
- Agrega más bloques de user-agent si necesitas reglas distintas para rastreadores específicos.
- Indica opcionalmente la URL de tu sitemap, y copia o descarga el archivo robots.txt resultante.
Casos de uso
- Bloquear el acceso de los rastreadores a rutas administrativas o privadas de un sitio.
- Permitir la indexación completa de un sitio nuevo mientras aún no tiene contenido sensible.
- Definir reglas distintas para un bot específico (por ejemplo, un scraper de IA) frente al resto de rastreadores.
- Declarar la ubicación del sitemap.xml para facilitar el rastreo e indexación del sitio.