Tres tipos de bots de IA
| Tipo | Para qué visita | Ejemplos |
|---|---|---|
| Entrenamiento | Recoger contenido para entrenar o mejorar modelos | GPTBot, ClaudeBot, CCBot, Meta-ExternalAgent, Bytespider |
| Búsqueda con IA | Indexar páginas para mostrarlas como fuente en respuestas | OAI-SearchBot, Claude-SearchBot, PerplexityBot |
| Visita a pedido de un usuario | Abrir una página porque alguien lo solicitó en el chat | ChatGPT-User, Claude-User, Perplexity-User |
Los nombres y funciones los publica cada empresa; conviene confirmarlos en su documentación, como la de OpenAI o la de Perplexity.
Los controles que no son bots
Google-Extended y Applebot-Extended no son rastreadores que te visiten: son indicadores que pones en tu robots.txt para decir si tu contenido puede usarse para ciertos fines de IA. Bloquear Google-Extended no cambia tu posición en la Búsqueda de Google, que sigue dependiendo de Googlebot. La explicación oficial está en la lista de rastreadores de Google.
Qué pasa si bloqueas cada tipo
- Bloqueas entrenamiento: tu contenido no se usa para entrenar, pero puedes seguir apareciendo como fuente en respuestas de búsqueda.
- Bloqueas búsqueda con IA: es probable que dejes de ser citado como fuente en esos asistentes.
- Bloqueas visitas de usuario: el asistente no podrá abrir tu página cuando alguien lo pida.
- Bloqueas los buscadores clásicos: desapareces de Google y Bing; casi nunca es lo que buscas.
Cómo ver cuáles pueden entrar hoy
Tu archivo robots.txt manda. Puedes verlo escribiendo tudominio.com/robots.txt, o pegarlo en el comprobador de bots de IA, que te dice bot por bot si está permitido o bloqueado. Si nunca lo configuraste, probablemente todos pueden entrar.
Una advertencia honesta
El robots.txt es una petición de cortesía: los rastreadores serios la respetan, pero no es una barrera de seguridad. Si algo no debe ser público, no lo publiques o protégelo con contraseña. Para decidir la política de tu negocio mira si debes bloquear GPTBot y ClaudeBot.
En resumen
- Tres tipos de bots de IA: Los nombres y funciones los publica cada empresa; conviene confirmarlos en su documentación, como la de OpenAI o la de Perplexity .
- Los controles que no son bots: Google-Extended y Applebot-Extended no son rastreadores que te visiten: son indicadores que pones en tu robots.txt para decir si tu contenido puede usarse para ciertos fines de IA.
- Qué pasa si bloqueas cada tipo: Bloqueas entrenamiento: tu contenido no se usa para entrenar, pero puedes seguir apareciendo como fuente en respuestas de búsqueda.; Bloqueas búsqueda con IA: es probable que dejes de ser citado como fuente en esos…
- Una advertencia honesta: El robots.txt es una petición de cortesía: los rastreadores serios la respetan, pero no es una barrera de seguridad.
Preguntas frecuentes
¿Los bots de IA hacen que mi web vaya más lenta?
Un volumen normal no debería notarse; si ves picos raros, revisa los registros del servidor o consulta a tu proveedor de hosting.
¿Cómo sé si un bot es real?
Cada empresa publica cómo identificar sus rastreadores. Cualquiera puede escribir un nombre falso en su cabecera, así que no te fíes solo del nombre.