Inicio / Crear robots.txt

Cómo crear un robots.txt para SEO

Controla el rastreo de buscadores sin bloquear páginas importantes por error.

Nota del autor:

Aunque pueda parecer un tema muy técnico, es fundamental prestar atención al archivo robots.txt para no bloquear la indexación de tu sitio. Con nuestra herramienta puedes generarlo de forma sencilla en unos segundos para asegurarte de que los buscadores rastreen lo que te interesa.

Archivo robots.txt configurado para controlar el rastreo de una web

Qué es robots.txt y para qué sirve

robots.txt es un archivo de texto que debe estar en la raíz del dominio, por ejemplo https://seotool-kit.com/robots.txt. Indica a los rastreadores qué rutas pueden solicitar y cuáles prefieres que no exploren.

No es un sistema de seguridad ni elimina una URL del índice por sí solo. Para ocultar contenido privado necesitas autenticación; para evitar indexación debes usar noindex cuando corresponda.

Cómo crear un robots.txt paso a paso

  1. Define qué partes públicas quieres que rastreen los buscadores.
  2. Bloquea solo zonas técnicas, privadas o irrelevantes para el rastreo.
  3. Añade la URL absoluta de tu sitemap XML.
  4. Guarda el archivo con el nombre exacto robots.txt y súbelo a la raíz.
  5. Comprueba que responde con código 200 y revisa las reglas antes de publicar.

Ejemplo básico

User-agent: *
Allow: /

Sitemap: https://seotool-kit.com/sitemap.xml

Reglas habituales

  • User-agent: * aplica la regla a todos los rastreadores.
  • Disallow: /admin/ evita rastrear una carpeta concreta.
  • Allow: /admin/publico/ permite una excepción dentro de una ruta bloqueada.
  • Sitemap: ayuda a descubrir las URLs importantes del sitio.

Errores que debes evitar

  • Bloquear todo el sitio sin querer con Disallow: /.
  • Bloquear recursos necesarios para renderizar la página.
  • Usarlo para ocultar información privada.
  • No enlazar el sitemap cuando ya existe.

Después de publicarlo, prueba varias URLs importantes y revisa el informe de rastreo en Search Console. Un robots.txt demasiado restrictivo puede impedir que Google descubra o renderice recursos necesarios.

Documentación oficial

Para consultar las reglas con más detalle, revisa la guía oficial de Google sobre robots.txt y la especificación de Google para robots.txt.

Crear robots.txt