UlvixorGenerador de robots.txt
Crea un archivo robots.txt a medida, definiendo reglas de Allow y Disallow por cada user-agent y agregando la URL de tu sitemap. Incluye plantillas rápidas para los casos más comunes. Todo se genera localmente en tu navegador, sin enviar datos a ningún servidor.
Cómo funciona
- Elige una plantilla rápida (permitir todo, bloquear todo, bloquear rutas comunes) como punto de partida, o construye tus reglas desde cero.
- Define el user-agent de cada bloque (usa * para aplicar la regla a todos los rastreadores).
- Agrega reglas de Allow o Disallow con la ruta correspondiente dentro de cada bloque.
- Agrega más bloques de user-agent si necesitas reglas distintas para rastreadores específicos.
- Indica opcionalmente la URL de tu sitemap, y copia o descarga el archivo robots.txt resultante.
Casos de uso
- Bloquear el acceso de los rastreadores a rutas administrativas o privadas de un sitio.
- Permitir la indexación completa de un sitio nuevo mientras aún no tiene contenido sensible.
- Definir reglas distintas para un bot específico (por ejemplo, un scraper de IA) frente al resto de rastreadores.
- Declarar la ubicación del sitemap.xml para facilitar el rastreo e indexación del sitio.
Casos de uso
- Bloquear el acceso de los rastreadores a rutas administrativas o privadas de un sitio.
- Permitir la indexación completa de un sitio nuevo mientras aún no tiene contenido sensible.
- Definir reglas distintas para un bot específico (por ejemplo, un scraper de IA) frente al resto de rastreadores.
- Declarar la ubicación del sitemap.xml para facilitar el rastreo e indexación del sitio.
Errores comunes
- Usar Disallow pensando que eso evita que la página aparezca en los resultados de Google.Disallow solo indica al rastreador que no visite esa ruta; no impide que la URL se indexe si otro sitio la enlaza. Para evitar la indexación necesitas además una etiqueta meta robots 'noindex' en la página.
- Bloquear con Disallow: / por accidente en un sitio que sí quiere ser indexado.Esa regla bloquea a todos los rastreadores en todo el sitio. Revisa cada bloque antes de publicar el archivo; la plantilla 'Permitir todo' es un buen punto de partida si no necesitas restricciones.
- Definir reglas solo para un bot específico y olvidar agregar un bloque general con User-agent: *.Si solo defines reglas para un bot puntual, el resto de los rastreadores no tendrá ninguna restricción. Agrega un bloque separado con * si también necesitas reglas generales.
Preguntas frecuentes
No. El archivo robots.txt se construye completamente en tu navegador mediante JavaScript. Ninguna de tus reglas o URLs se envía a un servidor externo.
Debe subirse a la raíz de tu dominio, por ejemplo https://tudominio.com/robots.txt, para que los rastreadores lo encuentren automáticamente.
No garantiza que una página no se indexe: solo indica a los rastreadores que no visiten esa ruta. Si necesitas evitar que una página aparezca en los resultados de búsqueda, usa además una etiqueta meta robots 'noindex' en esa página.
Disallow indica a los rastreadores que no accedan a una ruta determinada. Allow permite explícitamente el acceso a una ruta, y se usa normalmente para abrir una excepción dentro de una carpeta que de otro modo estaría bloqueada.
Alternativas
Puedes escribir el archivo robots.txt a mano en cualquier editor de texto siguiendo la especificación de robots.txt de los motores de búsqueda, o generarlo desde un plugin de SEO en tu CMS. Esta herramienta ayuda a armar la sintaxis correcta con plantillas y varios bloques de user-agent sin memorizar el formato exacto.