El robots.txt es un archivo de texto que va en la raíz de un sitio (tuempresa.com/robots.txt) y les dice a los rastreadores, los programas que recorren la web leyendo páginas, a qué direcciones pueden entrar. Según Google, su principal propósito es evitar que esas visitas sobrecarguen tu sitio, y no sirve para sacar una página de Google: para eso están la regla noindex (una indicación en el código de la página o en la respuesta del servidor que les pide a los buscadores que no la incluyan en sus resultados) o una contraseña.
Hoy es además el archivo donde decides qué rastreadores de inteligencia artificial pueden leer tu sitio. OpenAI y Apple separan lo que te hace aparecer en sus búsquedas de lo que se usa para entrenar sus modelos, y Google le da un nombre aparte, Google-Extended, a lo que se usa para entrenar Gemini y para fundamentar sus respuestas: puedes dejar pasar lo primero y frenar lo segundo. Cada empresa lo explica en la página de sus rastreadores; las leímos el 16 de octubre de 2026.
¿Qué es el robots.txt y para qué sirve?
Es un archivo de texto plano con un nombre fijo que sigue el Protocolo de Exclusión de Robots, publicado como estándar en septiembre de 2022 (la RFC 9309). Un rastreador que respeta el protocolo lo lee para saber qué direcciones de tu sitio puede pedir.
Google lo describe para dos usos con páginas web: cuidar que sus visitas no saturen tu servidor y «evitar el rastreo de páginas irrelevantes o similares de tu sitio». Por ejemplo, los miles de combinaciones de filtros de un catálogo. Lo que no frenas se puede rastrear.
Dos cosas que no es:
- No es seguridad. El estándar aclara que sus reglas no son una forma de autorizar el acceso y que listar una ruta en el archivo la deja a la vista de cualquiera: el tuyo lo puede abrir cualquier persona en el navegador.
- No obliga a nadie. Según Google, las reglas del archivo no pueden forzar a un rastreador: «le corresponde al rastreador determinar si obedecerlas o no». Googlebot, el rastreador de Google, y los rastreadores confiables las siguen; otros pueden no hacerlo.
En México se busca «robots txt» unas 320 veces por mes; en Chile, 140, y en Argentina, 210. Son datos del Planificador de palabras clave de Google, promedio de 12 meses, medidos el 16 de octubre de 2026.
¿Dónde está el robots.txt de un sitio?
Siempre en la raíz: tuempresa.com/robots.txt. Para ver el de cualquier sitio, escribe esa dirección en el navegador.
Lo que pide la documentación de Google:
- Se llama robots.txt y hay uno solo por sitio, en la raíz. En una carpeta (tuempresa.com/paginas/robots.txt) no vale.
- Vale solo para el protocolo, el host (el dominio o subdominio) y el puerto donde está. El de
https://tuempresa.comno se aplica ahttps://tienda.tuempresa.comni ahttp://tuempresa.com: cada subdominio lleva el suyo, si quieres reglas ahí. - Es texto con codificación UTF-8, la que guarda bien las tildes y la ñ.
Si tu sitio no tiene robots.txt y esa dirección da error 404, Google entiende que no hay restricciones de rastreo.
¿Qué reglas lleva un robots.txt?
Se arma por grupos. Cada grupo empieza con una línea User-agent, que dice a qué rastreador se aplica, y sigue con sus reglas, una por línea. Google admite cuatro campos y ninguno más:
| Campo | Qué dice | Ejemplo |
|---|---|---|
| User-agent | A qué rastreador se aplica el grupo; el asterisco es para todos, menos algunos rastreadores especiales de Google, como los AdsBot | User-agent: * |
| Disallow | Una ruta que ese rastreador no debe rastrear | Disallow: /descargas/ |
| Allow | Una ruta que sí puede rastrear dentro de una que frenaste | Allow: /descargas/catalogo.pdf |
| Sitemap | La dirección completa de tu mapa del sitio | Sitemap: https://tuempresa.com/sitemap.xml |
Cómo los lee Google:
- Lo que no frenas se permite. No hace falta escribir «Allow: /».
- Las rutas distinguen mayúsculas de minúsculas. «Disallow: /Precios/» no frena /precios/.
- Gana la regla más específica, la de ruta más larga. Si dos reglas que coinciden con una dirección se contradicen y empatan, Google usa la menos restrictiva.
- El asterisco reemplaza cualquier cadena de caracteres y el signo $ marca el final de la dirección. «Disallow: /*.pdf$» frena todas las direcciones que terminan en .pdf.
- Cada rastreador sigue un solo grupo: el que lo nombra de forma más específica. Si tienes un grupo para Googlebot, Googlebot no sigue el del asterisco, así que las reglas generales que quieras para él van también en su grupo.
- El asterisco no incluye a los rastreadores AdsBot de Google, con los que Google Ads verifica la calidad de los anuncios en las páginas: si quieres reglas para ellos, hay que nombrarlos aparte.
- El signo # empieza un comentario, y Google lo ignora.
- Google no usa otros campos, como crawl-delay (la demora entre visitas), ni un noindex escrito en el robots.txt. Y lee hasta 500 KiB, medio megabyte: lo que pasa de ese tamaño, lo ignora.
Un caso que no es de Google: según Apple, si tu archivo no menciona a Applebot pero sí a Googlebot, Applebot sigue las instrucciones de Googlebot.
Un ejemplo de robots.txt, línea por línea
Es un ejemplo supuesto, para el sitio de una empresa con un área para sus clientes y un buscador interno:
# Para todos los rastreadores
User-agent: *
Disallow: /clientes/
Disallow: /buscar/
# El mapa del sitio, con la dirección completa
Sitemap: https://tuempresa.com/sitemap.xml
- User-agent: * abre un grupo para todos los rastreadores, menos algunos especiales de Google, como los AdsBot.
- Disallow: /clientes/ les pide que no rastreen nada que empiece con /clientes/. Como el archivo es público, cualquiera ve que esa carpeta existe: si tiene datos de tus clientes, lo que la protege es la contraseña, no esta línea.
- Disallow: /buscar/ deja afuera las páginas de resultados del buscador interno, que son muchas y parecidas entre sí. La regla se compara con el comienzo de la dirección, tal cual: si tu buscador arma direcciones como /buscar?q=…, la línea es «Disallow: /buscar?».
- Sitemap: dice dónde está tu mapa del sitio, con https y todo: Google no prueba otras variantes de la dirección. Qué va en el mapa del sitio, en cómo crear un sitemap.
Lo que no está en el ejemplo importa tanto como lo que está: no frena los estilos ni los scripts que tus páginas necesitan para verse, ni las páginas que quieres en Google.
¿Cómo se crea o se edita un robots.txt?
Con un editor de texto plano. Google dice que sirve «prácticamente cualquier editor de texto» y pide no usar un procesador de texto, porque puede agregar «caracteres inesperados, como comillas curvas», que pueden causarles problemas a los rastreadores. Se guarda en UTF-8, con el nombre robots.txt, y se sube a la raíz del sitio.
Cómo se sube depende de tu sitio: según Google, «dependerá de la arquitectura del sitio y del servidor», así que lo resuelve tu hosting o quien maneja el sitio. Si tu sitio está en un servicio como Wix o Blogger, Google avisa que quizás no puedas editar el archivo directamente y que el servicio puede tener una página de configuración para los buscadores.
No hace falta un generador: son cuatro campos. Si usas uno, revisa que no agregue líneas que Google no usa, como crawl-delay.
¿Cómo es el robots.txt de WordPress?
WordPress publica uno armado por él. En su código actual son estas líneas, con la ruta de tu panel, y la del mapa del sitio se suma solo si el sitio está visible para los buscadores:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://tuempresa.com/wp-sitemap.xml
Frena el panel de administración, deja pasar un archivo de ese panel que usan algunas funciones del sitio y, desde la versión 5.5, avisa dónde está el mapa del sitio. Los plugins pueden cambiarlo: si usas uno de SEO, mira el que se ve en tuempresa.com/robots.txt, no el de este ejemplo.
Un detalle que confunde: desde la versión 5.3, la opción de WordPress para pedirles a los buscadores que no indexen el sitio ya no escribe un «Disallow: /» en el robots.txt. Lo hace con una etiqueta en las páginas.
¿Qué no hace el robots.txt?
- No saca una página de Google. Si otras páginas enlazan a una que frenaste, Google puede guardar la dirección y mostrarla en sus resultados sin descripción.
- No se combina con un noindex. La documentación de Google es clara: si el rastreador no puede acceder a la página, «no verá la regla noindex, por lo que la página podrá seguir apareciendo en los resultados de búsqueda, por ejemplo si otras páginas tienen enlaces a ella». Para sacar una página, ponle noindex y déjala rastrear hasta que salga.
- No esconde nada. Una página privada se protege con una contraseña.
- No le habla a quien no lo lee. Un programa que no respeta el protocolo entra igual.
- Puede no frenar a los que entran cuando alguien se lo pide. ChatGPT-User y Perplexity-User pueden visitar una página cuando alguien le hace una pregunta al asistente. OpenAI dice que, como esas visitas las inicia un usuario, las reglas del robots.txt pueden no aplicarse, y Perplexity, que el suyo en general las ignora.
¿Qué rastreadores de IA dejar pasar y cuáles bloquear en el robots.txt?
Se nombran como cualquier otro, con su nombre en User-agent. Lo que cambia es para qué los usa cada empresa. Algunos buscan, y son los que permiten que tu sitio aparezca y se enlace en sus respuestas. Otros deciden si tu contenido se usa para entrenar sus modelos. Esto dicen sus páginas, leídas el 16 de octubre de 2026:
| Nombre para el robots.txt | De quién | Para qué lo usa | Si lo frenas |
|---|---|---|---|
| Googlebot | La Búsqueda, con todas sus funciones, también la Visión general creada por IA (AI Overviews) y el Modo IA | Google no lee tus páginas, y esas funciones piden una página indexada que pueda mostrarse con un fragmento, el texto corto que acompaña cada resultado | |
| Google-Extended | No es un rastreador aparte: decide si lo que Google rastrea se usa para entrenar los próximos modelos de Gemini y para fundamentar respuestas (darle al modelo contenido del índice de la Búsqueda en el momento de la pregunta) en las Apps con Gemini y en la Fundamentación con la Búsqueda de Google en Vertex AI | Tu contenido no se usa para eso; tu inclusión y tu posición en la Búsqueda no cambian | |
| OAI-SearchBot | OpenAI | Mostrar sitios en la búsqueda de ChatGPT | Tu sitio no se muestra en sus respuestas de búsqueda, aunque puede aparecer como enlace de navegación |
| GPTBot | OpenAI | Rastrear contenido que puede usarse para entrenar sus modelos | Le indicas que tu contenido no se use para entrenarlos; la búsqueda de ChatGPT no cambia |
| PerplexityBot | Perplexity | Mostrar y enlazar sitios en sus resultados; no lo usa para entrenar modelos | Puede que no aparezcas en sus resultados: Perplexity recomienda dejarlo pasar para aparecer |
| Bingbot | Microsoft | El índice de Bing. Microsoft Copilot y Microsoft Copilot Chat, sus asistentes para el trabajo, le envían búsquedas a Bing para fundamentar sus respuestas | Bing no rastrea tu sitio y puedes quedar fuera de su índice |
| Applebot | Apple | La búsqueda de Spotlight, Siri y Safari. También puede usarse para entrenar sus modelos y para dar contexto a las respuestas que arma con IA en Siri y en su búsqueda, que pueden enlazar a las fuentes | Puedes quedar fuera de esas búsquedas: Apple dice que permitirlo es lo que deja que tu contenido aparezca en ellas |
| Applebot-Extended | Apple | No rastrea: decide si lo que rastrea Applebot se usa para entrenar sus modelos | Tu contenido no se usa para eso; puedes seguir apareciendo en sus búsquedas |
La tabla trae solo las empresas cuyas páginas leímos el 16 de octubre: no incluye a Anthropic, la empresa de Claude, ni a otras. Antes de escribir un nombre que no está en ella, búscalo en la página de esa empresa, porque una línea con un nombre que ningún rastreador usa no frena a nadie. Los de Anthropic, según su página leída el 30 de septiembre, están en la tabla de rastreadores de IA de GEO y SEO.
Si quieres seguir apareciendo en las búsquedas de OpenAI y de Apple pero bloquear el uso de tu contenido para entrenar sus modelos, estas son las líneas. No hace falta nombrar a los que buscan, porque lo que no frenas ya está permitido:
User-agent: GPTBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
Con Apple hay un tercer uso: las respuestas que arma con IA en Siri y en su búsqueda. Según Apple, para que tu contenido no se use en ellas va la etiqueta nosnippet en ese contenido, con un costo: en sus búsquedas, esa página sale solo con el título, sin descripción. Si la escribes para todos los buscadores, Google también la aplica y limita lo que muestra de esa página en su Búsqueda; Apple acepta una versión solo para su rastreador, con «applebot» en lugar de «robots» en el nombre de la etiqueta. Para el entrenamiento, la línea es la de Applebot-Extended.
Google-Extended merece una decisión aparte, porque no es solo entrenamiento: también decide si tu contenido se usa para fundamentar las respuestas de las Apps con Gemini y las de la Fundamentación con la Búsqueda de Google en Vertex AI, el servicio con el que otras empresas usan Gemini en sus aplicaciones. Si lo frenas, tu contenido deja de usarse para eso. Y según la ayuda de Search Console (la herramienta de Google que muestra cómo aparece tu sitio en la Búsqueda), frenarlo también limita el entrenamiento de los modelos que arman las respuestas de las funciones de IA generativa de la Búsqueda. Google aclara que no afecta tu inclusión ni tu posición en la Búsqueda.
Si lo que no quieres es salir en esas funciones de la Búsqueda, el robots.txt no es la herramienta: la única línea que las alcanza es la de Googlebot, y frenarlo deja a Google sin leer tus páginas para toda la Búsqueda, no solo para ellas. Desde el 31 de agosto de 2026, Search Console tiene un ajuste para excluir el sitio entero de ellas, y nosnippet, data-nosnippet, max-snippet y noindex limitan lo que Google muestra de una página en toda la Búsqueda. Cuándo conviene cada cosa, en AI Overviews y Modo IA de Google: qué cambia para tu empresa.
Nuestra posición, para una empresa que busca clientes: deja pasar siempre a los que buscan, porque son los que te pueden mencionar y enlazar. Frenar los de entrenamiento es una decisión de tu empresa, y con Google-Extended tiene un costo en Gemini y en Vertex AI. Qué más necesita tu sitio para que una IA lo use como fuente, en GEO y SEO: cómo lograr que ChatGPT, Gemini y Perplexity citen a tu empresa.
¿Cómo pruebo mi robots.txt?
- Ábrelo en una ventana privada del navegador (tuempresa.com/robots.txt). Si ves el texto, está publicado.
- Mira el informe de robots.txt de Search Console. Muestra qué archivos encontró Google para los 20 hosts principales de tu sitio, cuándo los leyó por última vez y las advertencias o errores. Está en las propiedades de dominio y en las de prefijo sin ruta, como
https://tuempresa.com/. - Prueba una dirección puntual con la inspección de URLs de Search Console, que te dice si esa página está bloqueada por el robots.txt.
- Si tu equipo técnico quiere probarlo en su computadora, Google publica su biblioteca de robots.txt de código abierto, la misma que usa la Búsqueda.
Si buscabas el probador de robots.txt de Google: la página de ayuda del informe de robots.txt, leída el 16 de octubre de 2026, no nombra ninguna herramienta con ese nombre. Para revisar el archivo propone ese informe y, para quien programa, la biblioteca de código abierto; para una dirección puntual, la inspección de URLs, y para los problemas de análisis del archivo, un validador de robots.txt. Bing Webmaster Tools, la herramienta de Bing para quienes manejan un sitio, sí tiene uno, «Robots.txt Tester»: le das una dirección de tu sitio y te dice si está bloqueada y por qué línea. Lo prueba Bing, no Google.
¿Cuánto tarda en aplicarse un cambio en el robots.txt?
| Empresa | Qué dice su página |
|---|---|
| Por lo general, renueva su copia del archivo cada 24 horas. Para que lo lea antes, en el informe de robots.txt está «Solicitar un nuevo rastreo» | |
| OpenAI | Para los resultados de búsqueda, puede tardar unas 24 horas desde que cambias el archivo |
| Perplexity | Hasta 24 horas |
Pedir que Google vuelva a leer el archivo no garantiza que vuelva enseguida a las páginas que desbloqueaste: lo aclara la página de ayuda del informe de robots.txt.
¿Qué hace Google si tu robots.txt da error?
Lo dice su página sobre cómo interpreta el robots.txt, actualizada el 10 de septiembre de 2026:
| Lo que responde tu servidor | Qué hace Google |
|---|---|
| El archivo, sin error | Sigue sus reglas |
| Una redirección | Sigue al menos cinco saltos; después lo toma como un 404 |
| Un 404 (el archivo no existe) u otro error 4xx, menos el 429 (demasiadas solicitudes) | Rastrea como si no tuvieras robots.txt: sin restricciones |
| Un error 5xx (una falla del servidor), o el servidor no responde | Las primeras 12 horas deja de rastrear el sitio. Después usa la última versión que pudo leer, hasta 30 días (sin ninguna guardada, rastrea sin restricciones). Pasados los 30 días, si el resto del sitio responde, rastrea como si no hubiera robots.txt; si no, deja de rastrearlo |
O sea, un robots.txt que da error de servidor puede frenar el rastreo de todo el sitio aunque las páginas estén bien. Que responda sin errores es parte de que Google te lea.
¿Qué errores de robots.txt conviene revisar?
- Un «Disallow: /» que quedó del sitio en desarrollo. Frena todo. Conviene revisarlo cada vez que se publica un sitio nuevo o se muda de servidor.
- Frenar una página para sacarla de Google. No la saca y, además, Google no puede ver su noindex.
- Frenar estilos o scripts que la página necesita. Google dice que, si sin esos archivos le cuesta entender la página, no los bloquees, porque no analizará bien las páginas que dependen de ellos.
- Un grupo para Googlebot sin las reglas generales. Googlebot deja de seguir las del asterisco.
- Creer que el del dominio vale para un subdominio. La tienda o el blog en otro host llevan su propio archivo, si necesitan reglas.
- Nombrar rutas que nadie debería conocer. El archivo es público: lo privado se protege con contraseña, y nombrarlo ahí solo avisa que existe.
- Escribir reglas que Google no usa, como crawl-delay o noindex, y esperar que hagan algo en Google.
- Un firewall que frena lo que el robots.txt deja pasar. El firewall es la protección del servidor que filtra visitas. OpenAI y Perplexity recomiendan, además de permitir sus rastreadores de búsqueda, aceptar las visitas desde las direcciones IP que publican, y Google aconseja que el rastreo esté permitido «en robots.txt y en cualquier CDN o infraestructura de hosting» (una CDN es una red de servidores que entrega tu sitio).
El robots.txt de Mediabros
El de mediabrosonline.com tenía, el 16 de octubre de 2026, una sola línea:
Sitemap: https://mediabrosonline.com/sitemap-index.xml
No frena a ningún rastreador, tampoco a los de IA: lo que no se frena se permite, y queremos que los buscadores y los asistentes lean lo que publicamos. La línea dice dónde está el índice de nuestro mapa del sitio. Al lado vive nuestro llms.txt, que es otra cosa: un resumen para los agentes de IA que no permite ni bloquea nada. Para qué sirve y si conviene tenerlo, en llms.txt: qué es, quién dice leerlo y si a tu empresa le conviene tenerlo.
Revisar el robots.txt es de lo primero en una auditoría SEO: lo que frena por error, Google no lo lee, por bueno que sea. Y no se escribe una sola vez: una sección nueva, una mudanza de servidor o un rastreador de IA que no estaba pueden pedir otra línea. Tenerlo al día es parte del SEO técnico.
