Anthropic-Crawler

Liest Claude Ihre Website?

Claude liest öffentliche Seiten über drei Anthropic-Agents: ClaudeBot sammelt Trainingsdaten, Claude-User ruft eine Seite ab, wenn jemand Claude danach fragt, Claude-SearchBot verbessert die Suche. Anthropic gibt an, dass alle drei robots.txt beachten. Sperren Sie Claude-User, kann Claude Ihre Seite für Nutzerfragen nicht mehr abrufen.

Wie teste ich, ob Perplexity und Claude meine Inhalte sehen können?

Claude greift über drei Agents auf öffentliche Seiten zu: ClaudeBot (Training), Claude-SearchBot (Suche) und Claude-User (Abruf, wenn jemand Claude nach Ihrer Seite fragt); Perplexity über PerplexityBot (Suchindex) und Perplexity-User (Abruf auf Nutzerfrage). Anthropic gibt an, dass alle drei Claude-Agents robots.txt beachten; Perplexity-User hält sich laut Perplexity in der Regel nicht daran. Eine Freigabe in robots.txt macht den Zugriff möglich, garantiert aber weder einen Abruf noch eine Nennung in Antworten. So testen Sie es: 1. Öffnen Sie ihre-domain.ch/robots.txt und prüfen Sie, ob «ClaudeBot», «Claude-SearchBot», «Claude-User», «PerplexityBot» oder «Perplexity-User» mit «Disallow: /» gesperrt sind. 2. Sehen Sie sich den Quelltext Ihrer wichtigsten Seite an: Inhalte, die erst JavaScript erzeugt, können diese Agents in der Regel nicht lesen. 3. Fragen Sie Claude oder Perplexity direkt nach Ihrer Firma oder einer konkreten Seite und prüfen Sie, ob die Antwort Ihre Inhalte nennt. Der kostenlose Live-Scan von KI-Console (Alpasana GmbH, Safenwil) erledigt Schritt 1 und 2 ohne Konto; mit dem Gratis-Konto belegt KI-Console echte Besuche dieser Agents über den Tracker, ab CHF 19 pro Monat auch aus Logs und mit täglichem Monitoring.

Anthropic

Die Claude-Agents sauber trennen

ClaudeBot, Claude-User und Claude-SearchBot beschreiben unterschiedliche Zugriffsmuster. Die Trennung zeigt, ob Claude Ihre öffentlichen Seiten trainieren, live abrufen oder über Suche erreichen kann.

Training

ClaudeBot

Training-Crawler

ClaudeBot ist der wichtigste Anthropic-Crawler für Modelltraining und Entscheidungen zum breiten Zugriff auf öffentliche Webinhalte.

Live-Abrufe

Claude-User

Live-Abruf durch Claude

Claude-User erscheint, wenn Claude eine Seite für eine konkrete Nutzerfrage abruft. Das ist der Live-Lese-Nachweis, den Website-Betreiber meist sehen wollen. Laut Anthropic beachtet er robots.txt: Eine Sperre verhindert den Abruf und kann die Sichtbarkeit in nutzergesteuerter Websuche verringern.

KI-Suche

Claude-SearchBot

Suchgestützter Claude-Zugriff

Claude-SearchBot verbessert laut Anthropic die Qualität der Suchergebnisse. Eine Sperre stoppt die Indexierung für die Suche und kann Sichtbarkeit und Genauigkeit der Antworten verringern.

Alte Anthropic-Tokens

Ältere oder kompatible Tokens wie anthropic-ai und Claude-Web können in Loganalysen weiter wichtig sein. KI-Console führt sie in der Training-Gruppe, damit alte Nachweise nicht verloren gehen.

anthropic-ai Claude-Web

robots.txt-Empfehlung

Nennen Sie die aktuellen Claude-Agents explizit und ergänzen Sie die alten Tokens, wenn Ihre Policy Anthropic-Zugriff erlauben soll. Private Pfade bleiben wie gewohnt blockiert.

Claude-Starterregeln

User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Claude-Web
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Warum Claude-Zugriff anders zählt

Anthropic veröffentlicht keine Rangliste, auf der man sich eine Position erarbeiten könnte; es gibt kein Ranking, das sich verbessern liesse. Was zählt, ist der Abruf im Moment der Frage – und dabei entscheidet nur, ob Ihre Seite erreichbar ist und die Antwort enthält. Es gibt nichts zu erkaufen und keinen Vorsprung durch Budget. Wer erreichbar und deutlich ist, hat dieselbe Ausgangslage wie ein Konzern.

Wenn Kunden Claude Ihre Seite selbst geben

Ein grosser Teil der Claude-Zugriffe entsteht nicht durch Suche, sondern weil jemand eine Adresse in ein Gespräch kopiert: "Was steht auf dieser Seite?", "Vergleiche diese beiden Angebote". Das ist der wertvollste Besuch überhaupt, denn dahinter steht ein Mensch mit einer konkreten Absicht. Er scheitert aber, wenn die Seite den Abruf abweist – und der Kunde sieht dann nicht eine Fehlermeldung Ihres Servers, sondern nur, dass Claude nichts dazu sagen kann. Genau darum lohnt es sich, Claude-User erreichbar zu halten.

Was eine Seite zitierfähig macht

Claude nennt Quellen mit Link, wenn es aus ihnen schöpft. Zitiert wird, was sich sauber herauslösen lässt: ein Absatz, der für sich allein verständlich bleibt, mit einer klaren Aussage und einer Zahl oder einem Datum darin. Nicht zitierfähig ist ein Satz, der sich auf den vorigen Abschnitt bezieht, ohne ihn zu wiederholen. Eine praktische Probe: Kopieren Sie einen Absatz Ihrer Website in eine leere Datei. Ergibt er ohne Kontext noch Sinn und stimmt er? Dann ist er zitierfähig.

Crawl-delay: hier wirkt es wirklich

Anthropic dokumentiert die Unterstützung der Crawl-delay-Angabe in robots.txt, mit ClaudeBot als Beispiel. Das ist ungewöhnlich – Google ignoriert sie seit Jahren. Wer unter Crawler-Last leidet, kann mit einem Wert in Sekunden bremsen, statt gleich ganz zu sperren. Das ist fast immer die bessere Entscheidung: Eine Sperre kostet Sichtbarkeit dauerhaft, eine Verzögerung nur Zeit. Die Angabe steht in derselben Gruppe wie die übrigen Regeln des Agents; ob auch Claude-User und Claude-SearchBot sie beachten, nennt Anthropic nicht ausdrücklich.

Wie KI-Console Besuche belegt

KI-Console erkennt ClaudeBot, Claude-User, Claude-SearchBot, anthropic-ai und Claude-Web in Logs und Tracker-Meldungen und gruppiert sie, damit Live-Nachweis und Training-Traffic getrennt bleiben.

Was Claude-Zugriff nicht verspricht

Claude-Crawler zu erlauben verbessert den technischen Zugriff, garantiert aber nicht, dass Claude die Website crawlt, zitiert, empfiehlt oder rankt. Auch eine llms.txt ändert das nicht: Anthropic hat nicht zugesagt, sie auszuwerten.

Klare Antworten

Was skeptische Website-Betreiber zuerst wissen wollen

KI-Console verkauft keine magische Sichtbarkeit. Wir machen Ihre Website für KI-Systeme lesbarer und zeigen Nachweise, wo Tracker oder Logs sie hergeben.

Welcher Claude-Token beweist einen Live-Abruf?

Claude-User ist der klarste Live-Lese-Token, weil er zu einer konkreten Nutzeraktion gehört. ClaudeBot ist ein anderes Training-Signal.

Sind anthropic-ai und Claude-Web noch wichtig?

Ja, für historische Logs und Kompatibilität. Sie erscheinen vielleicht seltener als aktuelle Tokens, aber die Zuordnung verhindert verpasste ältere Anthropic-Nachweise.

Zeigt KI-Console Claude-Traffic getrennt?

Ja. KI-Console erkennt die Claude- und alten Anthropic-Tokens und trennt Live-, Training- und Such-Traffic im Crawler-Nachweis.

Muss ich ClaudeBot erlauben, damit Claude meine Seite lesen kann?

Nein. ClaudeBot ist der Trainings-Crawler; für das Lesen im Gespräch ist Claude-User zuständig. Sie können ClaudeBot verbieten und Claude-User erlauben – das ist eine gängige und gut begründbare Haltung: Die Inhalte sollen nicht ins Training, aber ein Mensch, der die Seite gerade ansieht, soll sie sehen dürfen. Wichtig ist nur, dass die Regeln getrennt formuliert sind und keine pauschale Sperre darüberliegt.

Wie erkenne ich einen echten Claude-Abruf von einer Fälschung?

Am User-Agent allein gar nicht – der lässt sich in einer Zeile fälschen. Anthropic veröffentlicht die IP-Bereiche seiner Agents; ein Abruf aus einem fremden Bereich ist kein Claude-Abruf, egal was in der Kennung steht. KI-Console gleicht das beim Nachweis ab, statt der Kennung zu glauben. Für eine eigene Prüfung reicht ein Blick, aus welchem Netz die Anfrage kam.

Eigene Website prüfen

Sehen Sie, welche KI-Signale jetzt funktionieren

Starten Sie zuerst den Gratis-Scan. Mit einem Konto verifizieren Sie die Domain, speichern Verlauf, generieren Dateien und dokumentieren Crawler-Besuche.

Gratis-Scan starten Kostenlos registrieren