Robots IA GPTBot sur un site immobilier : quoi autoriser

Pour être cité par ChatGPT, Perplexity, Claude, Copilot ou les Aperçus IA de Google, le site d'une agence doit laisser passer les robots de recherche de chaque éditeur ; refuser les robots d'entraînement comme GPTBot ne le retire pas des réponses de recherche, selon ces éditeurs. Quant au fichier llms.txt, aucun éditeur lu pour cet article ne dit s'en servir, et Google écrit que sa recherche l'ignore.

Sources lues le 8 novembre 2026. L'article complète notre guide pour faire recommander son agence par ChatGPT et Perplexity.

Trois sortes de robots

Chaque éditeur a plusieurs robots, chacun nommé par un « jeton » dans le robots.txt. Les robots d'entraînement collectent des pages pour les modèles. Les robots de recherche bâtissent l'index où l'outil puise ses sources. Les robots des utilisateurs lisent une page à la demande d'une personne.

Ce que dit chaque éditeur

OpenAI : GPTBot, OAI-SearchBot, ChatGPT-User

La page des robots d'OpenAI pose le principe : « Each setting is independent of the others ».

• OAI-SearchBot sert à la recherche de ChatGPT. Le bloquer retire le site des réponses de recherche, sauf comme lien de navigation. Comptez « ~24 hours » après un changement.
• GPTBot collecte pour l'entraînement. Le refuser indique que le contenu « should not be used in training generative AI foundation models ».
• ChatGPT-User visite une page quand un utilisateur pose une question : « robots.txt rules may not apply ».

Son aide demande aussi que l'hébergeur ou le réseau de diffusion « autorise le trafic provenant des adresses IP publiées du robot de recherche d'OpenAI ».

Perplexity : PerplexityBot, Perplexity-User

Selon sa documentation, PerplexityBot fait apparaître les sites dans les résultats, et « It is not used to crawl content for AI foundation models ». Perplexity-User lit une page pour un utilisateur et « generally ignores robots.txt rules ». Un changement peut prendre « up to 24 hours ».

Anthropic : ClaudeBot, Claude-SearchBot, Claude-User

La page d'Anthropic en décrit trois. ClaudeBot sert à l'entraînement : le restreindre signale que les « matériaux futurs du site doivent être exclus ». Claude-SearchBot sert à la recherche : le désactiver « peut réduire la visibilité et la précision de votre site ». Claude-User sert aux questions des utilisateurs, et le site décide : le bloquer « empêche notre système de récupérer votre contenu en réponse à une requête utilisateur ».

Google : Googlebot et Google-Extended

Les règles adressées à Googlebot « affectent la recherche Google », selon la liste des robots de Google. Les Aperçus IA et le Mode IA en font partie : « L'IA est intégrée à la recherche ».

Google-Extended est un jeton, pas un robot : il « ne dispose pas d'une chaîne user-agent de requête HTTP distincte », et vous ne le verrez donc pas dans vos journaux. Il décide si le contenu sert à entraîner les modèles Gemini et à ancrer les réponses des applications Gemini. Et : « Google-Extended n'a aucune incidence sur l'inclusion d'un site dans la recherche Google et n'est pas utilisé comme signal de classement dans celle-ci. »

Ses extracteurs déclenchés par l'utilisateur, comme Google-Agent, « ignorent généralement les règles du fichier robots.txt ».

Microsoft : Bingbot, et Copilot

La liste des robots de Bing ne compte aucun robot réservé à l'IA : Bingbot « handles most of our crawling needs each day ». Pour Copilot, Microsoft lit aujourd'hui deux balises : noarchive (« Do not link in Chat and Copilot ») et nocache (« Display only URL/Snippet/Title in Chat or Copilot »).

Le 30 octobre 2026, Microsoft a annoncé deux préférences, entraînement et ancrage des réponses, lues dès le 1er février 2027 et autorisées par défaut ; après le 1er mars 2027, noarchive et nocache ne vaudront plus pour ces usages. Aucun choix ne « guarantees inclusion, traffic, or payment ».

Apple et Common Crawl

Applebot alimente la recherche de Spotlight, Siri et Safari. Applebot-Extended « does not crawl webpages » : il sert à refuser l'entraînement chez Apple, et ses règles « are not considered in ranking for Search », selon la page d'Apple du 4 septembre 2026. CCBot est le robot de Common Crawl, une fondation qui tient un dépôt ouvert du web ; le bloquer arrête ses collectes.

Le tableau des robots

robots.txt : ce qu'il ne garantit pas

Le robots.txt est un fichier texte à la racine du site, normalisé par la RFC 9309 en septembre 2022. Trois limites :

1. Ce n'est pas un verrou : « These rules are not a form of access authorization. »
2. Il montre ce qu'il cache : « Listing paths in the robots.txt file exposes them publicly ».
3. Il n'empêche pas l'indexation : il « ne sert pas à empêcher qu'une page Web figure dans les résultats de recherche Google » (Google).

Pour retirer une page des résultats, c'est la balise noindex, sur une page non bloquée : sinon « la règle noindex n'est pas détectée par le robot d'exploration » (Google). Autre piège : un robot qui a son propre groupe n'obéit qu'à lui, User-agent: * ne valant qu'en l'absence de groupe à son nom (RFC 9309).

Les Aperçus IA et le Mode IA : trois leviers chez Google

• Googlebot dans le robots.txt : l'accès à toute la recherche.
• Les balises d'extrait : nosnippet « empêche également l'utilisation du contenu en tant qu'entrée directe pour les Aperçus IA et le Mode IA » (balises meta), mais retire aussi l'extrait des résultats classiques.
• Le réglage « IA générative dans la Recherche » de la Search Console, lancé en France le 22 juillet 2026, ouvert à tous les sites depuis le 31 août 2026. Il couvre les Aperçus IA, le Mode IA et l'IA de Discover. Un site exclu ne reçoit « aucun trafic ni aucune impression provenant de ces fonctionnalités », et le réglage « n'a pas d'incidence sur l'entraînement de l'IA » (aide de la Search Console). L'inclusion est le défaut.

llms.txt : une proposition, pas un réglage

Le llms.txt est une proposition de Jeremy Howard, publiée le 3 septembre 2024 et révisée le 10 août 2026 : un fichier Markdown à la racine du site, qui le résume pour aider des agents à « use a website ».

• Google le range parmi ce qu'on peut ignorer, « car la recherche Google elle-même ne les utilise pas », dans son guide d'optimisation pour l'IA générative ; en garder un n'aura « aucune incidence sur la visibilité ou le classement ». Sa page Fonctionnalités d'IA et votre site Web le redit : pas besoin « de fichiers textuels d'IA ».
• OpenAI, Perplexity, Anthropic, Microsoft et Apple : leurs pages sur les robots ne disent pas lire le llms.txt d'un site.

Notre verdict : pas une priorité. S'il est généré sans effort, gardez-le ; ne le payez pas comme une option de référencement.

Le blocage que l'agence n'a pas choisi

Le 1er juillet 2025, Cloudflare a annoncé bloquer par défaut les robots d'IA non autorisés : chaque nouveau domaine devait les accepter ou non à l'inscription (communiqué).

Le journal de Cloudflare du 1er juillet 2026 annonce qu'à partir du 15 septembre 2026, les nouveaux domaines bloquent l'entraînement et les agents sur les pages avec publicité ; sa documentation, mise à jour le 2 novembre 2026, dit que tout leur est autorisé par défaut. Ne supposez rien : regardez le réglage.

Sa Content Signals Policy du 24 septembre 2025 ajoute au robots.txt une ligne Content-Signal (search, ai-input, ai-train) : des préférences, « not technical countermeasures against scraping », qu'aucun éditeur lu ne dit lire.

Le geste : demandez par écrit au prestataire si le site passe par un pare-feu, et quels robots d'IA y sont bloqués. Une agence peut être absente de ChatGPT sans que son robots.txt y soit pour rien.

Ce que dit le droit

L'article L122-5-3 du code de la propriété intellectuelle permet la fouille de textes et de données sur des œuvres accessibles de manière licite, « quelle que soit la finalité de la fouille, sauf si l'auteur s'y est opposé de manière appropriée, notamment par des procédés lisibles par machine pour les contenus mis à la disposition du public en ligne ». L'article 4 de la directive (UE) 2019/790 pose la même règle ; son considérant 18 cite « des métadonnées et les conditions générales d'utilisation d'un site internet ». Le règlement sur l'IA oblige les fournisseurs de modèles d'IA à usage général à respecter cette réservation (article 53).

Pour vos annonces : ces textes parlent d'« œuvres » sans dire si une annonce ou ses photos en sont, et ne nomment ni le robots.txt ni le llms.txt. Ceci n'est pas un conseil juridique.

Notre recommandation

1. Autoriser les robots de recherche : Googlebot, Bingbot, Applebot, OAI-SearchBot, PerplexityBot, Claude-SearchBot.
2. Laisser passer les robots des utilisateurs (ChatGPT-User, Perplexity-User, Claude-User) : quand un acquéreur demande à un assistant de lire votre annonce, c'est l'un d'eux qui vient.
3. Choisir pour l'entraînement (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) : les autoriser, c'est laisser vos textes nourrir les modèles futurs. OpenAI, Google et Apple écrivent que les refuser ne change rien à leur recherche ; refuser Google-Extended retire toutefois le site de l'ancrage des applications Gemini.
4. Garder privés l'espace client, les pages de compte et la recherche interne : le mot de passe protège, le robots.txt évite l'exploration inutile.
5. Rester inclus dans l'IA de Google (Search Console), sauf raison précise.

Un exemple de robots.txt, pour une agence fictive

L'agence de www.example.com n'existe pas. Elle accepte la recherche et refuse l'entraînement (pour autoriser l'entraînement, supprimez le groupe 2).

# robots.txt de www.example.com (agence fictive)

# Groupe 1 : tous les robots sans groupe à leur nom
# (Googlebot, Bingbot, OAI-SearchBot, PerplexityBot...).
User-agent: *
Disallow: /espace-client/
Disallow: /mon-compte/
Disallow: /recherche
# Ces chemins restent lisibles : l'espace client exige un mot de passe.

# Groupe 2 : entraînement refusé (choix de l'agence).
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: __usage_ai-training
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

Les robots de recherche, non nommés, suivent le groupe 1. La ligne __usage_ai-training est un signal commun en préparation, décrit par un brouillon du 30 octobre 2026 qui « has no formal standing » à l'IETF. Anthropic dit reconnaître depuis le 30 octobre 2026 un signal « pas d'entraînement » issu de ces travaux de l'IETF, Microsoft le lira à partir du 1er février 2027, Google prévoit de le prendre en charge « début 2027 ».

Comment vérifier

1. Ouvrez votre robots.txt et cherchez Disallow: / sous User-agent: * ou sous un robot de recherche. Sans fichier, « Google peut explorer toutes les URL de votre site ».
2. Le rapport robots.txt de la Search Console montre les fichiers trouvés pour « les 20 principaux hôtes » du site et leurs erreurs, et permet de demander une nouvelle exploration.
3. Les journaux de visites : demandez à votre hébergeur les visites du dernier mois, filtrées sur les noms du tableau. Zéro visite d'OAI-SearchBot ou de PerplexityBot peut trahir un blocage.
4. L'identité des robots : « La chaîne user-agent peut être falsifiée », prévient Google. Les éditeurs publient leurs adresses IP, par exemple openai.com/searchbot.json ou perplexity.ai/perplexitybot.json ; Bing propose son outil « Verify Bingbot ».
5. Le pare-feu : un robot autorisé qui n'arrive jamais est une question pour le prestataire.

Ce que propose Cleemo

Le site internet d'agence immobilière de Cleemo est relié au logiciel immobilier pour agences Cleemo App : une annonce publiée ou retirée dans le logiciel l'est aussi sur le site en quelques instants, et elle est retirée à la signature. Le formulaire de contact crée le contact dans le CRM et prévient l'équipe. Le site est hébergé par Cleemo, au nom de domaine de l'agence, et mis en ligne par l'équipe Cleemo ; les pages de présentation se modifient ensuite dans Cleemo. Cleemo App est proposé à partir de 199 € HT par mois.

Questions fréquentes

Bloquer GPTBot fait-il disparaître mon agence de ChatGPT ?

Non, d'après OpenAI : GPTBot sert à l'entraînement, et chaque réglage est indépendant. C'est le blocage d'OAI-SearchBot qui retire un site des réponses de recherche de ChatGPT.

Bloquer Google-Extended me retire-t-il des Aperçus IA ?

Non, selon Google : Google-Extended n'a aucune incidence sur l'inclusion dans la recherche Google, dont font partie les Aperçus IA. Pour en sortir : le réglage « IA générative dans la Recherche » de la Search Console, ou la balise nosnippet.

Faut-il un fichier llms.txt pour être cité par une IA ?

Non pour Google, qui écrit que sa recherche ignore ces fichiers. Aucun autre éditeur lu pour cet article ne dit lire le llms.txt des sites.

Les robots d'IA respectent-ils le robots.txt ?

Les robots d'entraînement et de recherche cités se règlent dans le robots.txt, selon leurs éditeurs. Ceux qui lisent une page pour un utilisateur, comme ChatGPT-User, peuvent l'ignorer ; Anthropic laisse bloquer Claude-User.

Mon site peut-il être bloqué sans que je le sache ?

Oui. Un pare-feu comme celui de Cloudflare peut bloquer des robots d'IA quel que soit votre robots.txt, et ses réglages par défaut ont changé depuis 2025.

Combien de temps pour qu'un changement soit pris en compte ?

Environ 24 heures pour ChatGPT, jusqu'à 24 heures pour Perplexity, quelques jours pour le réglage de la Search Console. Une balise lue par Google attend la prochaine exploration, qui peut prendre « plusieurs jours, voire plusieurs mois ».

👉 Découvrir le site internet d'agence relié à Cleemo App