Rastreadores de IA y GPTBot en la web inmobiliaria: qué permitir

Para que ChatGPT, Perplexity, Claude, Copilot o las vistas creadas con IA de Google citen la web de una inmobiliaria, esta debe dejar pasar los robots de búsqueda de cada empresa; bloquear los robots de entrenamiento, como GPTBot, no la saca de las respuestas de búsqueda, según esas empresas. En cuanto al llms.txt, ninguna empresa leída dice usarlo, y Google escribe que su Búsqueda no lo utiliza.

Fuentes leídas el 8 de noviembre de 2026; las que solo existen en inglés se citan en inglés. El artículo completa nuestra guía para que ChatGPT recomiende su inmobiliaria.

Tres tipos de robots

Cada empresa tiene varios robots, nombrados en el robots.txt por un «token» de user-agent. Los robots de entrenamiento recopilan páginas para los modelos. Los robots de búsqueda construyen el índice del que la herramienta saca sus fuentes. Los robots de usuario leen una página cuando una persona lo pide. Para un agente inmobiliario, cada familia pide una decisión distinta.

Lo que dice cada empresa

OpenAI: GPTBot, OAI-SearchBot, ChatGPT-User

La página de los robots de OpenAI fija el principio: «Each setting is independent of the others».

• OAI-SearchBot sirve a la búsqueda de ChatGPT. Bloquearlo saca la web de las respuestas de búsqueda, salvo como enlace de navegación. Cuente «~24 hours» tras un cambio.
• GPTBot recopila para el entrenamiento. Bloquearlo indica que el contenido «should not be used in training generative AI foundation models».
• ChatGPT-User visita una página cuando un usuario hace una pregunta: «robots.txt rules may not apply».

Su ayuda en español, traducida automáticamente, pide además confirmar que el alojamiento o la red de distribución de contenido «permiten el tráfico procedente de las direcciones IP publicadas del bot de búsqueda de OpenAI».

Perplexity: PerplexityBot, Perplexity-User

Según su documentación, PerplexityBot hace aparecer las webs en sus resultados, y «It is not used to crawl content for AI foundation models». Perplexity-User lee una página para un usuario y «generally ignores robots.txt rules». Un cambio puede tardar «up to 24 hours».

Anthropic: ClaudeBot, Claude-SearchBot, Claude-User

La página de Anthropic describe tres. ClaudeBot sirve al entrenamiento: restringirlo señala que «los materiales futuros del sitio deben excluirse» de sus datos de entrenamiento. Claude-SearchBot sirve a la búsqueda: desactivarlo «puede reducir la visibilidad y precisión de su sitio». Claude-User atiende las preguntas de los usuarios: bloquearlo «evita que nuestro sistema recupere su contenido en respuesta a una consulta de usuario».

Google: Googlebot y Google-Extended

Las reglas dirigidas a Googlebot «afectan a la Búsqueda de Google», según la lista de rastreadores de Google. Las vistas creadas con IA (AI Overviews) y el modo IA forman parte de ella: «La IA está integrada en la Búsqueda» (Google).

Google-Extended es un token, no un robot: «no tiene una cadena de user-agent de solicitud HTTP independiente», así que no lo verá en sus registros. Decide si el contenido sirve para entrenar los modelos Gemini y fundamentar las respuestas de las aplicaciones Gemini. Y precisa: «Google-Extended no afecta a la inclusión de los sitios en la Búsqueda de Google ni se utiliza como factor de posicionamiento en la Búsqueda de Google.»

Sus fetchers activados por el usuario, como Google-Agent, «generalmente ignoran las reglas de robots.txt».

Microsoft: Bingbot y Copilot

La lista de rastreadores de Bing no tiene robot reservado a la IA: Bingbot «handles most of our crawling needs each day». Para Copilot, Microsoft lee hoy dos etiquetas: noarchive («Do not link in Chat and Copilot») y nocache («Display only URL/Snippet/Title in Chat or Copilot»).

El 30 de octubre de 2026, Microsoft anunció dos preferencias, entrenamiento y fundamentación de las respuestas, que leerá desde el 1 de febrero de 2027 y que por defecto permiten ambos usos; después del 1 de marzo de 2027, noarchive y nocache dejarán de valer para esos usos. Ninguna opción «guarantees inclusion, traffic, or payment».

Apple y Common Crawl

Applebot alimenta la búsqueda de Spotlight, Siri y Safari. Applebot-Extended «no rastrea páginas web»: sirve para rechazar el entrenamiento de Apple; sus reglas «no se tienen en cuenta al determinar la clasificación de los resultados en Buscar», según la página de Apple, publicada en español el 7 de septiembre de 2026. CCBot es el robot de Common Crawl, una fundación que mantiene un repositorio abierto de la web; bloquearlo detiene sus recopilaciones.

La tabla de los robots

robots.txt: lo que no garantiza

El robots.txt es un archivo de texto en la raíz de la web, normalizado por la RFC 9309 en septiembre de 2022. Tres límites:

1. No es un cerrojo: «These rules are not a form of access authorization.»
2. Muestra lo que esconde: «Listing paths in the robots.txt file exposes them publicly».
3. No impide la indexación: «no es un mecanismo para impedir que una página web aparezca en Google» (Google).

Para sacar una página de los resultados sirve noindex, en una página no bloqueada: si el rastreador no puede acceder, «no verá la regla noindex» (Google). Otra trampa: un robot con grupo propio solo obedece a ese grupo; User-agent: * solo vale si no hay ningún grupo con su nombre (RFC 9309).

Vistas creadas con IA y modo IA: las tres palancas de Google

• Googlebot en el robots.txt: el acceso a toda la Búsqueda.
• Las etiquetas de fragmento: nosnippet «evitará que el contenido se use como entrada directa en las vistas creadas con IA y en el modo IA» (metaetiquetas robots), pero también quita el fragmento de los resultados clásicos.
• El control de IA generativa de Search Console (Ajustes > IA generativa en la Búsqueda). Según la ayuda de Search Console, desde el 31 de agosto de 2026 está implantado «en todos los sitios web de todo el mundo». Cubre las vistas creadas con IA, el modo IA y las funciones de IA generativa de Discover. Si excluye su web: «No recibirás tráfico ni impresiones de estas funciones». Y el control «no afecta al entrenamiento de la IA». La inclusión es la opción predeterminada.

llms.txt: una propuesta, no un ajuste

El llms.txt es una propuesta de Jeremy Howard, publicada el 3 de septiembre de 2024 y revisada el 10 de agosto de 2026: un archivo Markdown en la raíz de la web que la resume para ayudar a los agentes a «use a website».

• Google lo cuenta entre lo que se puede ignorar, «ya que la propia Búsqueda de Google no los utiliza», en su guía de optimización para la IA generativa; tener uno «no perjudicará ni beneficiará a la visibilidad ni al posicionamiento» de la web.
• OpenAI, Perplexity, Anthropic, Microsoft y Apple: sus páginas sobre los robots no dicen leer el llms.txt de una web.

Nuestro veredicto: no es una prioridad. Si se genera sin esfuerzo, consérvelo; no lo pague como opción de posicionamiento.

El bloqueo que la inmobiliaria no eligió

El 1 de julio de 2025, Cloudflare anunció que bloqueaba por defecto los rastreadores de IA no autorizados: cada dominio nuevo debía aceptarlos o no al darse de alta (comunicado).

El registro de cambios de Cloudflare del 1 de julio de 2026 anuncia que, desde el 15 de septiembre de 2026, los dominios nuevos bloquean el entrenamiento y los agentes en las páginas con publicidad; su documentación, actualizada el 2 de noviembre de 2026, dice que en los dominios nuevos todo está permitido por defecto. No suponga nada: mire el ajuste.

Su política de señales de contenido del 24 de septiembre de 2025 añade al robots.txt una línea Content-Signal (search, ai-input, ai-train). Esas señales «expresan preferencias; no son contramedidas técnicas contra la apropiación de contenidos», y ninguna empresa leída dice leerlas.

El gesto: pregunte por escrito a su proveedor si su web de inmobiliaria pasa por un cortafuegos, y qué rastreadores de IA bloquea. Una inmobiliaria puede faltar en ChatGPT sin culpa de su robots.txt.

Lo que dice la ley

En la Unión Europea. El artículo 4 de la Directiva (UE) 2019/790 permite la minería de textos y datos sobre obras accesibles de forma legítima, salvo si los titulares lo han reservado «de manera adecuada, como medios de lectura mecánica en el caso del contenido puesto a la disposición del público en línea». Su considerando 18 cita «los metadatos y las condiciones de un sitio web o un servicio». El Reglamento de IA obliga a los proveedores de modelos de IA de uso general a detectar y cumplir esa reserva (artículo 53).

En España. El artículo 67 del Real Decreto-ley 24/2021, que transpone esa directiva, permite la minería de textos y datos sin autorización del titular, pero no se aplica «cuando los titulares de derechos hayan reservado expresamente el uso de las obras a medios de lectura mecánica u otros medios que resulten adecuados».

En América Latina, las reglas varían según el país.

Para sus anuncios: estos textos hablan de «obras» sin decir si un anuncio o sus fotos lo son, y no nombran ni el robots.txt ni el llms.txt. Esto no es asesoramiento jurídico.

Nuestra recomendación

1. Permitir los robots de búsqueda: Googlebot, Bingbot, Applebot, OAI-SearchBot, PerplexityBot, Claude-SearchBot.
2. Dejar pasar los robots de usuario (ChatGPT-User, Perplexity-User, Claude-User): cuando un comprador pide a un asistente que lea su anuncio, llega uno de ellos.
3. Decidir sobre el entrenamiento (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot): permitirlos es dejar que sus textos alimenten los modelos futuros. OpenAI, Google y Apple escriben que rechazarlos no cambia su búsqueda; rechazar Google-Extended saca, eso sí, la web de la fundamentación de Gemini.
4. Mantener privados el área de clientes, las páginas de cuenta y el buscador interno: la contraseña protege, el robots.txt evita el rastreo inútil.
5. Seguir incluido en la IA de Google (Search Console), salvo motivo concreto.

Un ejemplo de robots.txt, para una inmobiliaria ficticia

La inmobiliaria de www.example.com, en Valencia, es ficticia. Acepta la búsqueda y rechaza el entrenamiento (para permitir el entrenamiento, borre el grupo 2).

# robots.txt de www.example.com (inmobiliaria ficticia de Valencia)

# Grupo 1: todos los robots sin grupo propio
# (Googlebot, Bingbot, OAI-SearchBot, PerplexityBot...).
User-agent: *
Disallow: /area-clientes/
Disallow: /mi-cuenta/
Disallow: /buscar
# Estas rutas siguen siendo legibles: el área de clientes exige contraseña.

# Grupo 2: entrenamiento rechazado (decisión de la inmobiliaria).
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: __usage_ai-training
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

Los robots de búsqueda, no nombrados, siguen el grupo 1. La línea __usage_ai-training es una señal común en preparación, descrita en un borrador del 30 de octubre de 2026 que «has no formal standing» en el IETF. Anthropic dice reconocer desde el 30 de octubre de 2026 una señal «sin entrenamiento de IA» basada en ese trabajo; Microsoft la leerá desde el 1 de febrero de 2027 y Google prevé admitirla «a principios del 2027».

Cómo comprobarlo

1. Abra su robots.txt y busque Disallow: / bajo User-agent: * o bajo un robot de búsqueda. Sin archivo, «Google puede rastrear todas las URLs de tu sitio».
2. El informe de robots.txt de Search Console muestra los archivos encontrados en «los 20 hosts principales» y sus errores, y permite solicitar un nuevo rastreo.
3. Los registros de visitas: pida a su proveedor las visitas del último mes, filtradas por los nombres de la tabla. Cero visitas de OAI-SearchBot o de PerplexityBot pueden delatar un bloqueo.
4. La identidad de los robots: «La cadena de user-agent de HTTP se puede falsificar», advierte Google. Las empresas publican sus direcciones IP, por ejemplo openai.com/searchbot.json o perplexity.ai/perplexitybot.json; Bing ofrece su herramienta «Verify Bingbot».
5. El cortafuegos: un robot permitido que nunca llega es una pregunta para el proveedor.

Lo que propone Cleemo

Cleemo es un software inmobiliario con agentes de IA para agencias. Cleemo App reúne la compraventa, la gestión de alquileres y el CRM en una misma aplicación, que puede usarse sin IA. Cleemo AI añade un asistente de IA por agencia, aislado del de las demás: encuentra información en los expedientes, lee los documentos y prepara un anuncio, que se publica tras la aprobación del equipo. Nada sale sin esa aprobación, y las acciones del asistente quedan registradas.

Preguntas frecuentes

¿Bloquear GPTBot hace desaparecer mi inmobiliaria de ChatGPT?

No, según OpenAI: GPTBot sirve al entrenamiento, y cada ajuste es independiente. Lo que saca una web de la búsqueda de ChatGPT es bloquear OAI-SearchBot.

¿Bloquear Google-Extended me saca de las vistas creadas con IA?

No, según Google: Google-Extended no afecta a la inclusión en la Búsqueda de Google, de la que forman parte las vistas creadas con IA. Para salir de ellas: el control de IA generativa de Search Console o la etiqueta nosnippet.

¿Hace falta un archivo llms.txt para que una IA cite mi web?

No para Google, que escribe que su Búsqueda no utiliza esos archivos. Ninguna otra empresa leída dice leer el llms.txt de las webs.

¿Respetan el robots.txt los rastreadores de IA?

Los robots de entrenamiento y de búsqueda citados se configuran en el robots.txt, según sus empresas. Los que leen una página para un usuario, como ChatGPT-User, pueden ignorarlo; Anthropic sí permite bloquear Claude-User.

¿Pueden bloquear mi web sin que yo lo sepa?

Sí. Un cortafuegos como el de Cloudflare puede bloquear rastreadores de IA sea cual sea su robots.txt, y sus ajustes por defecto han cambiado desde 2025.

¿Cuánto tarda en aplicarse un cambio?

Unas 24 horas para ChatGPT, hasta 24 horas para Perplexity, unos días para el control de Search Console. Una etiqueta leída por Google espera al siguiente rastreo, que puede tardar «de varios días a varios meses».

👉 Descubra cómo trabajan los agentes de IA de Cleemo para su inmobiliaria