KI-Crawler und KI-Antworten: Was die Messung bei 105 Berliner Betrieben zeigt

Die wichtigsten Ergebnisse

Für 105 etablierte Berliner Betriebe aus fünf Branchen habe ich zwei Fragen untersucht: Liefern ihre Websites die Startseite bei Testabrufen mit den Kennungen GPTBot, ClaudeBot und PerplexityBot aus? Und werden die Betriebe in ausgewählten Antworten von KI-Assistenten genannt?

Bei 10 von 82 stabil eingeordneten Betrieben wurde mindestens eine der drei Testkennungen abgewiesen. Das 95-Prozent-Intervall beträgt 7 bis 21 Prozent. Keine dieser zehn Abweisungen war durch eine robots.txt-Regel erklärt. Quelle: eigene Messung, 02. bis 04.09.2026, n=82; eigene Berechnung.

In mindestens einer von 528 KI-Antworten wurden 41 von 105 Betrieben erwähnt; das 95-Prozent-Intervall für diesen Anteil liegt bei 30 bis 49 Prozent. Die Intervalle der Gruppen mit abgewiesenen und mit lesbaren Testabrufen überlappen. Daraus lässt sich keine Wirkung einer Sperre ableiten. Antworten von ChatGPT und Claude sowie deren Suchbots wurden nicht gemessen. Quelle: eigene Messung, 02. bis 03.09.2026, n=105; eigene Berechnung.

Für Berlin und diese Branchen war mir keine vergleichbare Auswertung bekannt. Deshalb habe ich diese Daten erhoben.

Warum das für Ihren Betrieb relevant ist

Wer einen KI-Assistenten nach einer Kanzlei, einer Praxis oder einem Küchenstudio fragt, erhält häufig eine Antwort mit Informationen aus mehreren Quellen. Dazu können Bewertungsportale, Verzeichnisse, die Google-Präsenz und die Unternehmenswebsite gehören. Das ist eine Einordnung des beobachteten Antwortformats; die Studie weist nicht die Entstehung jeder einzelnen Aussage nach.

Wie stark weitere Domains schon die Google-Suche nach einem Betriebsnamen prägen, zeigt die Marken-SERP-Studie mit derselben Stichprobe: Im Median führte dort einer von zehn organischen Treffern zur hinterlegten Unternehmensdomain. Quelle: eigene Messung, 02.09.2026, n=105.

Die eigene Website ist damit eine mögliche Quelle neben anderen. Ihre technische Erreichbarkeit kann für die Nutzung als Quelle wichtig sein. Dabei erfüllen Suchcrawler, Trainingscrawler und Abrufe auf Nutzerwunsch unterschiedliche Aufgaben. Wird eine Anfrage mit einer Trainingskennung abgewiesen, ist damit noch keine Sperre für eine aktuelle KI-Suche belegt.

Die Begriffe SEO, Local SEO und GEO erläutert mein Ratgeber zur Auffindbarkeit in Suchmaschinen und KI-Suchen. Die vorliegende Studie erfasst einen Zustand in diesen angrenzenden Bereichen. Ein auffälliges Ergebnis betrifft die Rechtsanwälte: In den Antworten auf anwaltsbezogene Fragen wurde genau einer von 25 untersuchten Betrieben erwähnt. Quelle: eigene Messung, 02. bis 03.09.2026, n=25. Die Einzelheiten stehen im Abschnitt „Ebene B“.

Was ich gemessen habe

Die Stichprobe ist dieselbe wie in der Marken-SERP-Studie: 105 etablierte Berliner Betriebe, ausgewählt mit festem Startwert aus den Google-Maps-Top-Ergebnissen für Berlin. Bei Steuerberatern wurde der Auswahlrahmen auf die Top 80 erweitert. Voraussetzungen waren eine eigene Domain, mindestens 20 Google-Bewertungen und mindestens 4,0 Sterne. Enthalten sind 25 Rechtsanwälte, 25 Steuerberater, 20 Tierärzte, 20 Zahnärzte und 15 Küchenstudios. Quelle: eigene Messung, n=105.

Ebene A: Testabrufe der Websites. Jede Startseite wurde mit vier Kennungen geprüft: einem gewöhnlichen Browser als Kontrolle sowie GPTBot, ClaudeBot und PerplexityBot. Pro Kennung gab es drei Abrufe, am Ende eine weitere Browser-Kontrolle.

Die erste Runde fand am 02.09.2026 statt. Die zweite lief am 03.09.2026 zwischen 18:19 und 19:09 Uhr; vier Domains wurden am 04.09.2026 nachgeprüft. Insgesamt konnte die zweite Runde 84 der 105 Domains erfassen. Bei den übrigen 21 verhinderten Drosselungen oder Verbindungssperren des Hosters eine weitere Einordnung. Als stabil zählen nur Ergebnisse, die in beiden Runden übereinstimmten. Quelle: eigene Messung, 02. bis 04.09.2026.

Die User-Agent-Kennungen wurden von mir gesetzt. Die Anfragen kamen von meinen Messstandorten und nicht von verifizierten IP-Adressen der jeweiligen Bot-Betreiber. Gemessen wird deshalb die Reaktion auf diese Testanfragen. Echte Bot-Zugriffe können wegen zusätzlicher IP-Prüfungen oder anderer Sicherheitsregeln anders behandelt werden.

Ebene B: Antworten von KI-Diensten. Dafür wurden 75 Fragen vor Beginn der Messung festgelegt: fünf Fragetypen je Branchengruppe in jeweils drei geografischen Varianten. Die Fragen orientierten sich daran, wie ein Entscheider nach einem passenden Anbieter fragen könnte. Die Erhebung lief am 02. und 03.09.2026 mit Standort Berlin.

• Perplexity, Modell Sonar: drei Wiederholungen, insgesamt 225 Antworten.
• Gemini 2.5 Flash mit Google-Grounding: drei Wiederholungen, insgesamt 225 Antworten.
• Google AI Overview: Abfragen an zwei Tagen; bei 78 von 150 Abfragen erschien eine KI-Übersicht.

Quelle: eigene Messung, 02. bis 03.09.2026. Zusammen wurden 528 KI-Antworten ausgewertet.

Für die ausgewiesenen Anteile verwende ich 95-Prozent-Intervalle nach Wilson. Sie verdeutlichen die Unsicherheit, die bei Gruppen mit nur 15 bis 25 Betrieben groß sein kann. Die Antworten wurden nach drei festen Definitionen ausgewertet:

Erwähnung: Der Betriebsname erscheint im Antworttext.

Zitation: Die Domain des Betriebs steht in der Quellenliste oder an einer Belegstelle der Antwort; bei AI Overview in den ausgewiesenen Quellen.

Empfehlung: Der Betrieb wird als Handlungsempfehlung genannt und nicht nur aufgezählt.

Für Erwähnungen wurden die unterscheidenden Bestandteile des Namens abgeglichen. Allgemeine Wörter wie „Zahnarztpraxis Berlin“ reichen allein nicht zur Identifizierung. Eine im Antworttext genannte Unternehmensdomain zählt ebenfalls als Erwähnung. Als Empfehlung wurde eine Nennung nur dann gewertet, wenn die Antwort den Betrieb mit einem Beleg als konkreten Anbieter vorschlug. Eine bloße Aufzählung genügte nicht.

Ebene A: Welche Websites die Testabrufe abweisen

Quelle: eigene Messung, 02. bis 04.09.2026, n=105.

Die Klassen beschreiben die Testabrufe:

• Gesperrt: Der Browser erhält die Startseite, mindestens eine der drei KI-Kennungen nicht. Das Ergebnis stimmt in beiden Runden überein. Daraus folgt noch kein Nachweis einer Sperre echter Bots.
• Lesbar: Die getesteten Kennungen erhalten die Startseite, mit stabilem Ergebnis über beide Runden.
• Nicht messbar: Der Hoster drosselt die Mess-IP oder verweigert die Verbindung, bevor ein belastbarer Befund möglich ist.
• Instabil: Die beiden Runden widersprechen sich, beispielsweise weil eine Kennung nur einmal abgewiesen wurde. Diese Fälle zählen weder als lesbar noch als gesperrt.
• Startseite defekt: Die Startseite ist für alle getesteten Kennungen nicht erreichbar.

Der Nenner von 82 stabil eingeordneten Betrieben umfasst 71 lesbare Websites, 10 mit abgewiesenen Testabrufen und 1 durchgehend defekte Startseite. Damit bleibt die Berechnungsbasis der veröffentlichten Auswertung unverändert.

Der Anteil mit abgewiesenen Testabrufen beträgt 12,2 Prozent der stabil eingeordneten Betriebe, also 10 von 82. Das 95-Prozent-Intervall liegt bei 7 bis 21 Prozent. Über alle 105 Betriebe gerechnet sind es konservativ 9,5 Prozent, mit einem Intervall von 5 bis 17 Prozent. Der Anteil lesbarer Websites beträgt 86,6 Prozent der stabil eingeordneten Betriebe, also 71 von 82; das Intervall liegt bei 78 bis 92 Prozent. Quelle: eigene Berechnung aus der Erhebung.

Alle zehn stabilen Abweisungen traten in beiden Runden mit denselben Kennungen und Statuscodes auf. Quelle: eigene Messung, 02. bis 04.09.2026, n=84.

Das Muster der zehn Abweisungen: Alle zehn Websites wiesen die Kennung ClaudeBot ab, sieben zusätzlich GPTBot und eine zusätzlich PerplexityBot. Keine dieser zehn Abweisungen ließ sich durch eine robots.txt-Regel erklären. Der normale Browser erhielt jeweils Status 200 und den vollständigen Text. Sechs Websites liefen auf Apache-Servern, zwei hinter Cloudflare, eine auf nginx und eine hinter einer spezialisierten Sicherheitslösung. Quelle: eigene Messung, 03.09.2026, n=10.

Eine Hoster-Voreinstellung, ein Sicherheits-Plugin oder ein CDN kommen als Ursache infrage. Das ist eine plausible Erklärung, kein nachgewiesener Auslöser. Ob der jeweilige Betrieb die Einstellung bewusst gewählt hatte, wurde nicht erhoben.

Weitere technische Beobachtungen: Von 90 geprüften Domains lieferten 12 eine echte llms.txt aus. Bei sechs deutete die Datei auf die automatische Erzeugung durch ein SEO-Plugin oder einen Homepage-Baukasten hin. Quelle: eigene Messung, 02. bis 03.09.2026, n=90; Herkunftsprüfung am 03. und 04.09.2026. Ob die Betreiber diese Funktion bewusst aktiviert hatten, lässt sich daraus nicht ablesen.

51 von 91 erreichbaren Startseiten enthielten strukturierte Daten im Format JSON-LD. Quelle: eigene Messung, 02. bis 03.09.2026, n=91. Von 88 Domains mit erreichbarer robots.txt enthielten drei Regeln für KI-Bots. Bei genau einem Betrieb schloss die Datei KI-Bots, darunter ClaudeBot, vollständig aus. Quelle: eigene Messung, n=88. Das ist eine ausdrücklich in der Datei formulierte Zugriffsregel; wer sie eingerichtet hat, wurde nicht ermittelt.

Ebene B: Welche Betriebe in den KI-Antworten vorkommen

Quelle: eigene Messung, 02. bis 03.09.2026, n=105; eigene Berechnung.

Besonders groß ist der Unterschied zwischen Rechtsanwälten und Steuerberatern. Von 25 Rechtsanwälten wurde ein Betrieb in insgesamt 103 Antworten auf anwaltsbezogene Fragen erwähnt; seine Website wurde nicht zitiert. Das Intervall für die Erwähnungsquote beträgt 1 bis 20 Prozent. Bei Steuerberatern wurden 19 von 25 Betrieben erwähnt, mit einem Intervall von 57 bis 89 Prozent. Quelle: eigene Messung, jeweils n=25; eigene Berechnung. Die Ursache dieses Unterschieds wurde nicht untersucht.

Ein ergänzender Befund betrifft die Domains in den Antworten. Bei Perplexity stammten 7 Prozent der genannten Domains von den Websites der untersuchten Betriebe, bei Gemini ebenfalls 7 Prozent und bei AI Overview 11 Prozent. Der übrige Anteil entfiel auf Portale und andere Websites. Quelle: eigene Messung, 528 Antworten; eigene Berechnung.

Zu den genannten Portalen gehörten werkenntdenbesten.de, gelbeseiten.de, dasoertliche.de, jameda.de und anwalt.de. Quelle: eigene Messung, 02. bis 03.09.2026. Solche Portale sind auch in der Google-Suche nach dem eigenen Betriebsnamen häufig vertreten.

Die Wiederholungen zeigen, dass eine einzelne Nennung nicht beständig sein muss: 28 von 105 Betrieben wurden in allen drei Läufen genannt, drei in zwei Läufen und zehn nur in einem Lauf. Quelle: eigene Messung, n=105.

Testabrufe und KI-Nennungen im Vergleich

Quelle: eigene Messung, 02. bis 04.09.2026, n=105; eigene Berechnung. „In Klärung“ bezeichnet die nicht messbaren Fälle, aufgeteilt nach Massenhoster und Verbindungssperre.

Von den zehn Betrieben mit stabil abgewiesenen Testabrufen wurden fünf erwähnt. Das 95-Prozent-Intervall liegt bei 24 bis 76 Prozent. Von den 71 lesbaren Betrieben wurden 29 erwähnt, mit einem Intervall von 30 bis 52 Prozent. Die Intervalle überlappen. Bei nur zehn Betrieben in der ersten Gruppe bleibt die Unsicherheit groß. Quelle: eigene Messung, 02. bis 04.09.2026, n=105; eigene Berechnung.

Diese Beobachtung belegt weder einen Nachteil noch die Wirkungslosigkeit einer Abweisung. Die Antwortquellen lagen überwiegend außerhalb der untersuchten Unternehmensdomains. Daraus lässt sich jedoch nicht ableiten, welche Quelle eine konkrete Betriebsnennung ausgelöst hat.

Auch die geprüften Kennungen begrenzen die Aussage: Die zehn Websites wiesen vor allem ClaudeBot und GPTBot ab, nur eine zusätzlich PerplexityBot. GPTBot sammelt Inhalte für mögliches Modelltraining. OAI-SearchBot dient der ChatGPT-Suche. Ihre robots.txt-Einstellungen sind voneinander unabhängig. Eine GPTBot-Sperre allein ist daher kein Nachweis einer Sperre für die ChatGPT-Suche. Quelle: OpenAI-Dokumentation zu den Crawlern.

Anthropic unterscheidet ebenfalls ClaudeBot für mögliches Modelltraining, Claude-SearchBot für die Suche und Claude-User für Abrufe auf Nutzerwunsch. Quelle: Anthropic-Dokumentation zu den Crawlern.

OAI-SearchBot und Claude-SearchBot wurden in dieser Studie nicht getestet. Erfasst wurden Antworten von Perplexity, Gemini und Google AI Overview, keine Antworten von ChatGPT oder Claude. Die geplante ChatGPT-Erhebung entfiel, weil die Websuche im verwendeten API-Aufbau zum Messzeitpunkt nicht funktionierte. Quelle: eigene Messung, 02. bis 03.09.2026. Aus den Ergebnissen lässt sich deshalb weder eine Ursache fehlender ChatGPT-Nennungen noch eine Wirkung der Freigabe von Trainingsbots ableiten.

Was Sie selbst prüfen können

Die Ergebnisse geben drei Ansatzpunkte für eine erste Prüfung. Sie ersetzen keine technische Anleitung zur Konfiguration Ihrer Website.

1. Zuständigkeiten und Bot-Regeln klären. Fragen Sie Hoster oder Agentur, ob eine Bot-Abwehr aktiv ist und welche Kennungen sie betrifft. Unterscheiden Sie Training, Suche und Abrufe auf Nutzerwunsch. Keine der zehn stabilen Abweisungen im Test war durch die robots.txt erklärt. Quelle: eigene Messung, n=10. Für tatsächliche Bot-Zugriffe sollten Serverprotokolle und die Herkunft der Anfragen geprüft werden. Ob die untersuchten Betriebe ihre jeweilige Konfiguration kannten, wurde nicht erfragt.

2. Angaben auf relevanten Portalen prüfen. Stimmen Ihre Leistungen und Kontaktdaten auf den Portalen für lokale Sichtbarkeit noch? Je nach Engine stammten in dieser Untersuchung 7 bis 11 Prozent der genannten Domains von den Betrieben selbst; der übrige Anteil lag bei Portalen und weiteren Websites. Quelle: eigene Messung, 528 Antworten; eigene Berechnung. Aktualität ist deshalb auch außerhalb der eigenen Website relevant.

3. Eine typische Kundenfrage ausprobieren. Stellen Sie einem KI-Assistenten eine Frage, mit der Ihre Kunden nach einem passenden Anbieter suchen könnten. Notieren Sie, welche Namen und Quellen erscheinen. Das gibt in wenigen Minuten einen ersten Eindruck. Eine einzelne Antwort ist allerdings nur eine Momentaufnahme; die Studie nutzte feste Fragen und wiederholte Abfragen. Welche Maßnahmen aus Ihrer Beobachtung folgen sollten, muss gesondert geprüft werden.

Grenzen der Studie

• 21 von 105 Betrieben waren nicht messbar. Ein großer deutscher Massenhoster drosselte bei 13 Betrieben die Mess-IP nach wenigen Abrufen, unabhängig von Client oder Kennung. Bei acht weiteren Betrieben verweigerten andere Hoster nach wenigen Abrufen die Verbindung. Hinzu kamen zwei instabile Fälle, bei denen eine Kennung nur in einer der beiden Runden abgewiesen wurde. Quelle: eigene Messung, 02. bis 04.09.2026, n=23.
• ChatGPT und Claude wurden nicht gemessen. Die Websuche funktionierte im verwendeten OpenAI-API-Aufbau zum Messzeitpunkt nicht. OAI-SearchBot und Claude-SearchBot gehörten ebenfalls nicht zu den getesteten Kennungen.
• Drei statt zehn Wiederholungen je Frage. Aus Kostengründen gab es drei Wiederholungen. Damit ist die Streuung nur grob erfasst; einzelne Nennungen können zufällig auftreten.
• AI Overview an zwei Tagen. Eine KI-Übersicht erschien in 78 von 150 Abfragen. Abfragen ohne Übersicht lieferten in diesem Teil der Studie keine KI-Antwort. Quelle: eigene Messung, 02. bis 03.09.2026.
• Automatisierte Bewertung. Für Erwähnungen, Zitationen und Empfehlungen wurde ein Sprachmodell als Auswerter mit einem eigenen Namensabgleich eingesetzt. Nicht jede Antwort wurde zusätzlich manuell gegengeprüft.
• Keine repräsentative Stichprobe für Berlin. Enthalten sind Betriebe mit eigener Domain, mindestens 20 Google-Bewertungen und mindestens 4,0 Sternen. Unternehmen ohne Google-Profil oder mit wenigen Bewertungen fehlen vollständig.
• Weitere Quellen wurden nicht einzeln bewertet. Unternehmensprofile und Portaleinträge können zu Nennungen beitragen. Ihre jeweilige Bedeutung wurde nicht isoliert untersucht.
• Keine Wirkung von Maßnahmen gemessen. Es handelt sich um eine Zustandsbeschreibung im Erhebungszeitraum, nicht um einen Vorher-Nachher-Vergleich.
• Eigene Testanfragen statt verifizierter Bot-Zugriffe. Ein Status 403 bei gesetzter GPTBot-Kennung belegt die Abweisung dieser Anfrage. Er beweist weder die Sperre echter GPTBot-Zugriffe noch deren Ursache. Dafür wären verifizierte Betreiber-IP-Adressen und Serverprotokolle nötig. Umgekehrt garantiert ein erfolgreicher Testabruf nicht, dass auch der echte Bot zugreifen kann.

Einzelne Betriebe werden weder direkt noch mittelbar benannt. Veröffentlicht werden ausschließlich zusammengefasste Werte je Gruppe.

Daten, Nachvollziehbarkeit und Wiederholung

Alle veröffentlichten Gruppen- und Gesamtwerte ohne Einzelbetriebe stehen als Datensatz zum Herunterladen (JSON) bereit. Zitieren mit Quellenangabe ist erlaubt (Lizenz CC BY 4.0).

Für Dezember 2026 ist eine Wiederholung mit derselben Stichprobe und denselben vorab festgelegten Fragen vorgesehen. Erst mehrere Zeitpunkte erlauben einen Vergleich der Sperr- und Nennungsquoten im Zeitverlauf. Die vorliegende Untersuchung beschreibt die Messung vom 02. bis 04.09.2026.

Häufige Fragen

Quelle: Lukas Lavicka, KI-Crawler- und KI-Sichtbarkeitsmessung Berlin, September 2026. Erhebung vom 02. bis 04.09.2026, 105 Berliner Betriebe aus fünf Branchen, Testabrufe mit vier Kennungen und Auswertung von 528 KI-Antworten über drei Engines.