Los siete errores más comunes
| Error | Qué ocurre | Cómo se corrige |
|---|---|---|
| Disallow: / para todos | Bloquea todo el sitio | Quitar la línea o cambiarla por reglas específicas |
| Archivo de pruebas olvidado | El sitio nuevo hereda el bloqueo del sitio en pruebas | Revisar robots.txt justo después de publicar |
| Bloquear CSS y JavaScript | El bot no ve tu página como la ve una persona | Permitir los recursos necesarios para mostrarla |
| Bloquear carpetas con contenido útil | Esas páginas no se rastrean | Mover o desbloquear la ruta |
| Bots de búsqueda de IA bloqueados sin querer | No te citan como fuente | Permitir OAI-SearchBot, Claude-SearchBot y PerplexityBot |
| Sitemap con dirección equivocada | Los bots no encuentran tus páginas | Declarar la URL completa con https |
| Sintaxis rota | Una línea mal escrita puede ignorarse | Validar con una herramienta |
El bloqueo heredado, el error más caro
Es habitual montar una web nueva con el robots.txt cerrado para que Google no la vea a medias, y olvidarse de abrirlo al publicar. El síntoma es claro: la web existe, pero no aparece y Search Console no muestra rastreos. Si lanzaste un sitio nuevo y tu tráfico no arranca, esta es la primera revisión.
Bloquear no es lo mismo que quitar del índice
Si prohíbes el rastreo de una página, Google no puede leer una etiqueta noindex dentro de ella; por eso a veces una URL bloqueada sigue apareciendo sin descripción. Para sacar una página de los resultados, déjala rastreable y márcala con noindex. La documentación de Google explica la diferencia.
Cómo detectar los errores en minutos
- Abre tudominio.com/robots.txt y lee las líneas Disallow.
- Pégalo en el comprobador de bots de IA y verifica que Googlebot, Bingbot y los bots de búsqueda con IA están permitidos.
- Pasa el comprobador de preparación para IA para revisar el resto de la portada.
- En Search Console, revisa si aparecen páginas «bloqueadas por robots.txt» que sí quieres posicionar.
Después de corregir
Los cambios no se notan al instante: los rastreadores vuelven a leer el archivo con su propio ritmo. Pide en Search Console que se reinspeccionen tus páginas clave y revisa de nuevo en una o dos semanas. Si necesitas orden en el resto de tu base técnica, mira la guía de cómo saber si tu web está lista para buscadores de IA.
En resumen
- El bloqueo heredado, el error más caro: Es habitual montar una web nueva con el robots.txt cerrado para que Google no la vea a medias, y olvidarse de abrirlo al publicar.
- Bloquear no es lo mismo que quitar del índice: Si prohíbes el rastreo de una página, Google no puede leer una etiqueta noindex dentro de ella; por eso a veces una URL bloqueada sigue apareciendo sin descripción.
- Cómo detectar los errores en minutos: Abre tudominio.com/robots.txt y lee las líneas Disallow.; Pégalo en el comprobador de bots de IA y verifica que Googlebot, Bingbot y los bots de búsqueda con IA están permitidos.
- Después de corregir: Los cambios no se notan al instante: los rastreadores vuelven a leer el archivo con su propio ritmo.
Preguntas frecuentes
¿Cuánto tarda Google en notar que corregí el robots.txt?
Depende de la frecuencia de rastreo de tu sitio; suele ir de días a un par de semanas.
¿Puedo romper algo editando el robots.txt?
Sí, por eso conviene guardar una copia antes y validar el resultado después.