Dónde encontrarlo
Escribe tu dominio seguido de /robots.txt, por ejemplo tudominio.com/robots.txt. Si aparece un texto, ese es tu archivo. Si ves un error 404, no tienes uno: los bots asumen que pueden visitar todo. Google explica el formato en su guía de robots.txt.
Las cuatro palabras que necesitas
| Palabra | Qué significa | Ejemplo |
|---|---|---|
| User-agent | A qué bot se dirige la regla | User-agent: GPTBot |
| Disallow | Qué ruta no debe visitar | Disallow: /privado/ |
| Allow | Una excepción dentro de una ruta bloqueada | Allow: /privado/catalogo.pdf |
| Sitemap | Dónde está el mapa de tus páginas | Sitemap: https://tudominio.com/sitemap.xml |
Tres líneas que deben preocuparte
- User-agent: * junto a Disallow: / bloquea tu sitio entero para todos los bots. Es el error más grave y frecuente al lanzar una web que estaba en pruebas.
- Disallow sobre carpetas con contenido que quieres posicionar, como /blog/ o /servicios/.
- Reglas para bots de IA que no recuerdas haber pedido: pueden venir de un plugin o de tu proveedor.
Cómo comprobarlo sin equivocarte
Pega el contenido en el comprobador de bots de IA: te muestra, bot por bot, si cada uno puede entrar. También puedes probar una ruta concreta, como /blog/, para ver si queda bloqueada.
Si tu robots.txt es largo y no lo entiendes, no lo borres a ciegas: pide a quien administra tu web que explique cada línea. Y recuerda que el archivo también ayuda a declarar tu sitemap, algo que cubre la guía de qué es un sitemap.
En resumen
- Dónde encontrarlo: Escribe tu dominio seguido de /robots.txt, por ejemplo tudominio.com/robots.txt.
- Tres líneas que deben preocuparte: User-agent: * junto a Disallow: / bloquea tu sitio entero para todos los bots.
- Cómo comprobarlo sin equivocarte: Pega el contenido en el comprobador de bots de IA : te muestra, bot por bot, si cada uno puede entrar.
Preguntas frecuentes
¿Puedo editar el robots.txt yo mismo?
Si usas WordPress con un plugin de SEO, normalmente hay un editor. Haz una copia del texto original antes de cambiar nada.
¿Robots.txt oculta páginas del buscador?
No siempre. Bloquear el rastreo no garantiza que una URL no aparezca; para sacar una página del índice se usa la etiqueta noindex.
Sigue leyendo
- Errores de robots.txt que sacan tu web de Google y de las respuestas de IA
- Cómo leer el informe de rendimiento de Search Console
- SEO para servicios a domicilio: cómo aparecer cuando te buscan con urgencia
- Hacer el autodiagnóstico gratuito de ventas digitales
- Ver todas las guías de Web y tiendas online