KI-Crawler und GPTBot: was die Makler-Website zulassen sollte

Damit ChatGPT, Perplexity, Claude, Copilot oder die Übersichten mit KI von Google ein Maklerbüro zitieren, muss seine Website die Such-Crawler jedes Anbieters durchlassen; eine Sperre von Trainings-Crawlern wie GPTBot nimmt sie laut diesen Anbietern nicht aus den Suchantworten. Dass sie eine llms.txt-Datei auswerten, sagt keiner der Anbieter, deren Seiten wir gelesen haben, und Google schreibt, dass seine Suche sie nicht verwendet.

Quellen gelesen am 8. November 2026. Der Artikel ergänzt unseren Leitfaden Immobilienmakler und ChatGPT: So wird Ihr Maklerbüro empfohlen.

Drei Arten von KI-Crawlern

Jeder Anbieter betreibt mehrere Crawler, jeder mit eigenem Namen in der robots.txt, dem User-Agent-Token. Trainings-Crawler sammeln Seiten für die Modelle. Such-Crawler bauen den Index, aus dem das Tool seine Quellen zieht. Nutzer-Abrufe lesen eine Seite, weil eine Person darum bittet.

Was jeder Anbieter sagt

OpenAI: GPTBot, OAI-SearchBot, ChatGPT-User

Die Crawler-Seite von OpenAI, nur auf Englisch, stellt den Grundsatz auf: „Each setting is independent of the others“.

• OAI-SearchBot dient der Suche in ChatGPT. Wer ihn sperrt, erscheint nicht mehr in den Suchantworten, höchstens als Navigationslink. Nach einer Änderung rechnet OpenAI mit „~24 hours“.
• GPTBot sammelt für das Training. Eine Sperre zeigt an, dass die Inhalte „should not be used in training generative AI foundation models“.
• ChatGPT-User ruft eine Seite auf, wenn ein Nutzer eine Frage stellt: „robots.txt rules may not apply“.

Die deutsche Hilfeseite, maschinell übersetzt, verlangt zusätzlich, dass der Websitehost oder das Content Delivery Network „Datenverkehr von den veröffentlichten IP-Adressen des Suchbots von OpenAI zulässt“.

Perplexity: PerplexityBot, Perplexity-User

Laut seiner Dokumentation, ebenfalls auf Englisch, bringt PerplexityBot Websites in die Ergebnisse, und „It is not used to crawl content for AI foundation models“. Perplexity-User liest eine Seite für einen Nutzer und „generally ignores robots.txt rules“. Eine Änderung kann „up to 24 hours“ dauern.

Anthropic: ClaudeBot, Claude-SearchBot, Claude-User

Die deutsche Seite von Anthropic beschreibt drei Robots. ClaudeBot dient dem Training: Eine Einschränkung signalisiert, dass künftige Materialien der Website „aus unseren KI-Modell-Trainingsdatensätzen ausgeschlossen werden sollten“. Claude-SearchBot dient der Suche: Ihn zu deaktivieren kann „die Sichtbarkeit und Genauigkeit Ihrer Website in Benutzersuchergebnissen verringern“. Claude-User ruft Seiten für Fragen von Nutzern ab, und die Website entscheidet: Eine Sperre „verhindert, dass unser System Ihre Inhalte als Reaktion auf eine Benutzerabfrage abruft“.

Google: Googlebot und Google-Extended

Regeln für den Googlebot betreffen laut der Liste der Google-Crawler die Google Suche, „einschließlich Discover und aller Suchergebnis-Spezialformate“. Die Übersichten mit KI und der KI-Modus gehören dazu: „KI ist in die Google Suche integriert“ (KI-Funktionen).

Google-Extended ist ein Token, kein eigener Crawler: Er „hat keinen separaten User-Agent-String für HTTP-Anfragen“, Sie finden ihn also nicht in Ihren Server-Protokollen. Er entscheidet, ob Ihre Inhalte künftige Gemini-Modelle trainieren und Antworten in den Gemini-Apps fundieren dürfen. Und: „Google-Extended hat keinen Einfluss auf die Aufnahme einer Website in die Google Suche und wird auch nicht als Ranking-Signal in der Google Suche verwendet.“

Bei den vom Nutzer ausgelösten Fetchern wie Google-Agent fordert eine Person den Abruf an, deshalb „ignorieren diese Fetcher meist robots.txt-Regeln“.

Microsoft: Bingbot und Copilot

Die Crawler-Liste von Bing nennt keinen eigenen KI-Crawler: Bingbot „handles most of our crawling needs each day“. Für Copilot liest Microsoft heute zwei Meta-Tags: noarchive („Do not link in Chat and Copilot“) und nocache („Display only URL/Snippet/Title in Chat or Copilot“).

Am 30. Oktober 2026 kündigte Microsoft zwei Präferenzen an, für das Training und für die Fundierung von Antworten: gelesen ab dem 1. Februar 2027, standardmäßig auf Erlauben. Nach dem 1. März 2027 gelten noarchive und nocache dafür nicht mehr. Und: „Neither choice guarantees inclusion, traffic, or payment“.

Apple und Common Crawl

Applebot speist die Suche in Spotlight, Siri und Safari. Applebot-Extended „crawlt keine Webseiten“: Mit ihm lehnen Sie das Training bei Apple ab, und Regeln für ihn „werden beim Ranking für die Suche nicht berücksichtigt“, so die deutsche Seite von Apple vom 5. September 2026. CCBot ist der Crawler von Common Crawl, einer gemeinnützigen Stiftung, die ein offenes Archiv des Webs pflegt. Eine Sperre in der robots.txt beendet seine Besuche.

Die Tabelle der KI-Crawler

robots.txt: was sie nicht garantiert

Die robots.txt ist eine Textdatei im Stammverzeichnis der Website, im September 2022 durch die RFC 9309 standardisiert. Drei Grenzen:

1. Sie ist kein Schloss: „These rules are not a form of access authorization.“
2. Sie zeigt, was sie verbergen soll: „Listing paths in the robots.txt file exposes them publicly“.
3. Sie verhindert keine Indexierung: „Sinn und Zweck von robots.txt-Dateien ist es nicht, Webseiten aus der Google Suche auszuschließen“ (Google).

Um eine Seite aus den Ergebnissen zu nehmen, braucht es noindex auf einer Seite, die nicht gesperrt ist. Sonst „sieht der Crawler die Regel noindex nicht“ (Google). Zweite Falle: Ein Crawler mit eigener Gruppe befolgt nur diese; User-agent: * gilt nur, wenn keine Gruppe seinen Namen trägt (RFC 9309).

Übersichten mit KI und KI-Modus: drei Hebel bei Google

• Googlebot in der robots.txt: der Zugang zur gesamten Suche.
• Die Snippet-Regeln: nosnippet verhindert laut den Meta-Tag-Regeln auch, „dass die Inhalte als direkte Eingabe für die Übersicht mit KI und den KI-Modus verwendet werden“, entfernt aber zugleich das Snippet aus den klassischen Ergebnissen.
• Die Einstellung „Generative KI-Funktionen der Google Suche“ in der Search Console: Die Hilfe der Search Console schreibt: „Seit dem 31. August 2026 ist diese Einstellung für alle Websites weltweit verfügbar.“ Sie umfasst die Übersichten mit KI, den KI-Modus und die generativen KI-Funktionen in Google Discover. Eine ausgeschlossene Website erhält „keine Zugriffe oder Impressionen über diese Funktionen“, und die Einstellung „hat keinen Einfluss auf das KI-Training“. Die Aufnahme ist die Standardeinstellung.

llms.txt: ein Vorschlag, keine Einstellung

Die llms.txt ist ein Vorschlag von Jeremy Howard, veröffentlicht am 3. September 2024 und überarbeitet am 10. August 2026: eine Markdown-Datei im Stammverzeichnis, die die Website zusammenfasst, damit Agenten sie nutzen können („use a website“).

• Google zählt sie zu dem, was Sie ignorieren können, „da die Google Suche selbst diese nicht verwendet“, so der Leitfaden zur KI-Optimierung. Eine solche Datei hat „weder positive noch negative Auswirkungen auf die Sichtbarkeit oder das Ranking“. Die Seite KI-Funktionen und deine Website sagt dasselbe über „KI-Textdateien“.
• OpenAI, Perplexity, Anthropic, Microsoft und Apple: Ihre Crawler-Seiten sagen nicht, dass sie die llms.txt einer Website lesen.

Unser Fazit: keine Priorität. Erzeugt Ihr System die Datei ohne Aufwand, lassen Sie sie stehen. Bezahlen Sie sie nicht als SEO-Option.

Die Sperre, die das Maklerbüro nicht gewählt hat

Am 1. Juli 2025 gab Cloudflare bekannt, dass es „standardmäßig KI-Crawler blockiert, die ohne Erlaubnis oder finanziellen Ausgleich auf Inhalte zugreifen“. Neue Domains sollten bei der Anmeldung wählen, ob sie KI-Crawler zulassen (Pressemitteilung).

Das englische Änderungsprotokoll von Cloudflare vom 1. Juli 2026 kündigt an: Ab dem 15. September 2026 blockieren neue Domains Trainings- und Agenten-Bots auf Seiten mit Werbung. Laut der Dokumentation, aktualisiert am 2. November 2026, ist für neue Domains dagegen standardmäßig alles erlaubt. Sehen Sie also selbst in der Einstellung nach.

Die Content Signals Policy vom 24. September 2025 ergänzt die robots.txt um eine Zeile Content-Signal (search, ai-input, ai-train). Damit werden laut Cloudflare „nur Vorlieben zum Ausdruck gebracht“, und keiner der gelesenen Anbieter sagt, dass er diese Zeile liest.

Der Handgriff: Fragen Sie Ihren Dienstleister schriftlich, ob die Website hinter einer Firewall oder einem CDN liegt und welche KI-Crawler dort gesperrt sind. Ein Maklerbüro kann in ChatGPT fehlen, ohne dass seine robots.txt daran schuld ist.

Was das Recht sagt

In Deutschland erlaubt § 44b UrhG Vervielfältigungen „von rechtmäßig zugänglichen Werken für das Text und Data Mining“, aber nur, „wenn der Rechtsinhaber sich diese nicht vorbehalten hat“. Und: „Ein Nutzungsvorbehalt bei online zugänglichen Werken ist nur dann wirksam, wenn er in maschinenlesbarer Form erfolgt.“

In Österreich erlaubt § 42h Abs. 6 UrhG das Vervielfältigen für das Text- und Data-Mining, außer es ist ausdrücklich verboten und das Verbot „durch einen Nutzungsvorbehalt, und zwar etwa bei über das Internet öffentlich zugänglich gemachten Werken mit maschinenlesbaren Mitteln, kenntlich gemacht wird“.

Für die ganze EU steht die Grundregel in Artikel 4 Absatz 3 der Richtlinie (EU) 2019/790; ihr Erwägungsgrund 18 nennt dafür auch „Metadaten und Geschäftsbedingungen einer Website oder eines Dienstes“. Die KI-Verordnung verpflichtet Anbieter von KI-Modellen mit allgemeinem Verwendungszweck in Artikel 53 zu einer Strategie, die einen solchen Rechtsvorbehalt ermittelt und einhält, „auch durch modernste Technologien“.

Was „maschinenlesbar“ heißt, klären die Gerichte. Zum Vorbehalt einer Bildagentur in ihren Benutzungsbedingungen ließ das Landgericht Hamburg am 27. September 2024 (310 O 227/23) laut seiner Pressemitteilung erkennen, dass zu diesem Zeitpunkt wohl „auch in natürlicher Sprache formulierte Nutzungsvorbehalte als maschinenlesbar im Sinne der Vorschrift anzusehen sein“ dürften; entscheiden musste es das nicht. Das Oberlandesgericht Hamburg wies die Berufung am 10. Dezember 2025 zurück (5 U 104/24): Der Vorbehalt habe zum Zeitpunkt des Downloads, in der zweiten Jahreshälfte 2021, „nicht die gesetzlich vorgesehene Form (Maschinenlesbarkeit) aufgewiesen“. Der Bundesgerichtshof hat die Verkündung seiner Entscheidung (I ZR 281/25) für den 17. Dezember 2026 angesetzt.

Für Ihre Inserate: Die Gesetze sprechen von „Werken“, nennen weder Inserate noch robots.txt oder llms.txt und sagen nicht, ob eine Sperre in der robots.txt als Vorbehalt genügt. Dies ist keine Rechtsberatung.

Unsere Empfehlung

1. Such-Crawler zulassen: Googlebot, Bingbot, Applebot, OAI-SearchBot, PerplexityBot, Claude-SearchBot.
2. Nutzer-Abrufe durchlassen (ChatGPT-User, Perplexity-User, Claude-User): Wenn ein Kaufinteressent einen Assistenten bittet, Ihr Exposé zu lesen, kommt einer von ihnen.
3. Über das Training entscheiden (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot): Wer sie zulässt, lässt seine Texte in künftige Modelle einfließen. Laut OpenAI, Google und Apple ändert eine Sperre ihre Suche nicht; eine Sperre von Google-Extended beendet aber die Fundierung in den Gemini-Apps.
4. Privates privat halten: Kundenbereich, Kontoseiten und interne Suche. Das Passwort schützt, die robots.txt erspart nur unnötiges Crawling.
5. In den KI-Funktionen von Google bleiben (Search Console), außer aus einem bestimmten Grund.

Ein Beispiel für eine robots.txt, für ein fiktives Maklerbüro

Das Grazer Maklerbüro hinter www.example.com ist fiktiv. Es lässt die Suche zu und lehnt das Training ab. Wer das Training zulassen will, löscht Gruppe 2.

# robots.txt von www.example.com (fiktives Maklerbüro in Graz)

# Gruppe 1: alle Crawler ohne eigene Gruppe
# (Googlebot, Bingbot, OAI-SearchBot, PerplexityBot...).
User-agent: *
Disallow: /kundenbereich/
Disallow: /mein-konto/
Disallow: /suche
# Diese Pfade sind öffentlich lesbar: Der Kundenbereich verlangt ein Passwort.

# Gruppe 2: Training abgelehnt (Entscheidung des Maklerbüros).
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: __usage_ai-training
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

Die nicht genannten Such-Crawler folgen Gruppe 1. Die Zeile __usage_ai-training ist ein gemeinsames Signal in Vorbereitung. Ein Entwurf vom 30. Oktober 2026 beschreibt es; er „has no formal standing“, also keinen offiziellen Status in der IETF. Anthropic hat nach eigener Aussage am 30. Oktober 2026 begonnen, ein solches Signal für „kein KI-Training“ zu erkennen. Microsoft liest es ab dem 1. Februar 2027, Google plant die Unterstützung für „Anfang 2027“.

So prüfen Sie es

1. Öffnen Sie Ihre robots.txt (ihre-domain.de/robots.txt) und suchen Sie Disallow: / unter User-agent: * oder unter einem Such-Crawler. Fehlt die Datei, kann Google laut seiner Hilfe „alle URLs auf Ihrer Website crawlen“.
2. Der robots.txt-Bericht der Search Console zeigt die Dateien, die Google für „die 20 wichtigsten Hosts“ der Website gefunden hat, samt Fehlern, und erlaubt ein erneutes Crawlen.
3. Die Server-Protokolle: Bitten Sie Ihren Hoster um die Zugriffe des letzten Monats, gefiltert nach den Namen aus der Tabelle. Null Besuche von OAI-SearchBot oder PerplexityBot können auf eine Sperre hindeuten.
4. Die Identität der Crawler: „Der HTTP-User-Agent-String kann gefälscht werden“, warnt Google. Die Anbieter veröffentlichen ihre IP-Adressen, etwa unter openai.com/searchbot.json oder perplexity.ai/perplexitybot.json. Bing bietet dafür sein Tool „Verify Bingbot“.
5. Die Firewall: Ein zugelassener Crawler, der nie ankommt, ist eine Frage an Ihren Dienstleister.

Was Cleemo anbietet

Die KI-Agenten von Cleemo arbeiten in den Akten des Maklerbüros: Jedes Maklerbüro hat seinen eigenen KI-Assistenten, abgeschottet von den anderen. Er findet eine Information in Ihren Akten, liest Ihre Dokumente und bereitet ein Inserat oder einen Antwortentwurf vor. Dann wartet er auf Ihre Freigabe: „Nichts geht ohne Ihre Freigabe hinaus“, und seine Aktionen werden protokolliert. Er arbeitet in Cleemo App oder rund um Ihre bisherige Software, je nach deren Zugängen. Mehr dazu auf der Seite KI-Mitarbeitende.

Häufig gestellte Fragen

Verschwindet mein Maklerbüro aus ChatGPT, wenn ich GPTBot sperre?

Nein, laut OpenAI: GPTBot dient dem Training, und jede Einstellung ist unabhängig. Erst eine Sperre von OAI-SearchBot nimmt eine Website aus den Suchantworten von ChatGPT.

Nimmt mich eine Sperre von Google-Extended aus den Übersichten mit KI?

Nein, laut Google: Google-Extended hat keinen Einfluss auf die Aufnahme in die Google Suche, zu der die Übersichten mit KI gehören. Zum Ausstieg dienen die Einstellung der Search Console oder das Meta-Tag nosnippet.

Braucht eine Makler-Website eine llms.txt, um von einer KI zitiert zu werden?

Für Google nicht: Seine Suche verwendet solche Dateien laut Google nicht. Kein anderer gelesener Anbieter sagt, dass er die llms.txt von Websites liest.

Halten sich KI-Crawler an die robots.txt?

Die genannten Trainings- und Such-Crawler folgen laut ihren Anbietern der robots.txt. Abrufe für einen Nutzer wie ChatGPT-User oder Perplexity-User können sie ignorieren; Claude-User dagegen lässt sich sperren.

Kann meine Website gesperrt sein, ohne dass ich es weiß?

Ja. Eine Firewall wie die von Cloudflare kann KI-Crawler unabhängig von Ihrer robots.txt blockieren, und ihre Standardeinstellungen haben sich seit 2025 geändert.

Ist eine Sperre in der robots.txt ein wirksamer Nutzungsvorbehalt nach dem UrhG?

§ 44b UrhG verlangt bei Online-Werken einen maschinenlesbaren Vorbehalt, § 42h UrhG in Österreich nennt maschinenlesbare Mittel als Beispiel; die robots.txt nennt keines der Gesetze. Der Bundesgerichtshof will am 17. Dezember 2026 in einem Hamburger Fall zu einem Vorbehalt in natürlicher Sprache entscheiden. Dies ist keine Rechtsberatung.

Wie lange dauert es, bis eine Änderung wirkt?

Etwa 24 Stunden bei ChatGPT, bis zu 24 Stunden bei Perplexity, einige Tage bei der Einstellung der Search Console. Ein Meta-Tag wirkt bei Google erst nach dem nächsten Crawling, das laut Google „mehrere Tage bis mehrere Monate“ dauern kann.

👉 So arbeiten die KI-Agenten von Cleemo für Ihr Maklerbüro