3. ¿Pueden leerte los motores de respuesta?
Qué es esto
Los rastreadores que todo el mundo bloquea son los que entrenan modelos. No son los que deciden si un asistente puede citarte. Esos son distintos. Cada proveedor los llama de forma diferente, y es fácil bloquearlos por accidente: Apple, por ejemplo, sigue tu regla de Googlebot cuando no has nombrado a Apple.
Lo que encontramos en vitadefence.com
Todos los rastreadores que deciden si una IA puede citarte ya pueden acceder a este sitio. Aquí no hay nada que corregir.
Los 6 rastreadores que respondieron pueden acceder a vitadefence.com. Tu archivo robots respondió HTTP 200.
| Crawler | Whose | Puede acceder a vitadefence.com |
|---|---|---|
| OAI-SearchBot | OpenAI | yes |
| Claude-SearchBot | Anthropic | yes |
| Claude-User | Anthropic | yes |
| Googlebot | yes | |
| PerplexityBot | Perplexity | yes |
| Applebot | Apple | yes |
No comprobado, y lo decimos en vez de suponer: Google-Extended, meta-externalagent, Bingbot, CCBot, Amazonbot, Bytespider.
Medido el https://vitadefence.com.
El archivo en packs/03-ai-crawlers/robots-block.txt dice lo mismo para vitadefence.com, así que puedes comprobarlo tú mismo en lugar de fiarte de nuestra palabra.
Todavía nada que hacer aquí
Este capítulo no tiene ningún paso para vitadefence.com hoy. No inventamos nada para darte algo que hacer.
Cuándo empieza a importar esto
Todos los rastreadores que deciden si un asistente puede citarte ya pueden acceder a este sitio.