Training
ClaudeBot
Training-Crawler
ClaudeBot ist der wichtigste Anthropic-Crawler für Modelltraining und Entscheidungen zum breiten Zugriff auf öffentliche Webinhalte.
Anthropic-Crawler
Liest Claude Ihre Website?
Claude-Sichtbarkeit hängt von mehr als einem Token ab. Anthropic nutzt getrennte Agents für Training, Live-Abrufe durch Nutzer und suchgestützten Zugriff, plus ältere Tokens, die noch in Logs auftauchen.
Anthropic
Die Claude-Agents sauber trennen
ClaudeBot, Claude-User und Claude-SearchBot beschreiben unterschiedliche Zugriffsmuster. Die Trennung zeigt, ob Claude Ihre öffentlichen Seiten trainieren, live abrufen oder über Suche erreichen kann.
Live-Abrufe
Claude-User
Live-Abruf durch Claude
Claude-User erscheint, wenn Claude eine Seite für eine konkrete Nutzeraktion abruft. Das ist der Live-Lese-Nachweis, den Website-Betreiber meist sehen wollen.
KI-Suche
Claude-SearchBot
Suchgestützter Claude-Zugriff
Claude-SearchBot gehört zu Such- und Retrieval-Flows, die aktuelle Antworten unterstützen können.
Alte Anthropic-Tokens
Ältere oder kompatible Tokens wie anthropic-ai und Claude-Web können in Loganalysen weiter wichtig sein. KI-Console führt sie in der Training-Gruppe, damit alte Nachweise nicht verloren gehen.
anthropic-ai
Claude-Web
robots.txt-Empfehlung
Nennen Sie die aktuellen Claude-Agents explizit und ergänzen Sie die alten Tokens, wenn Ihre Policy Anthropic-Zugriff erlauben soll. Private Pfade bleiben wie gewohnt blockiert.
Claude-Starterregeln
User-agent: ClaudeBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Claude-Web
Allow: /
Sitemap: https://www.example.com/sitemap.xmlWarum Claude-Zugriff anders zählt
Claude hat keinen öffentlichen Suchindex, in dem man sich eine Position erarbeiten könnte. Es gibt keine Rangliste, keine Platzierung, kein Ranking, das sich verbessern liesse. Was es gibt, ist der Abruf im Moment der Frage – und dabei zählt nur, ob Ihre Seite erreichbar ist und die Antwort enthält. Für Website-Betreiber ist das eine gute Nachricht: Es gibt nichts zu erkaufen und keinen Vorsprung durch Budget. Wer erreichbar und deutlich ist, hat dieselbe Ausgangslage wie ein Konzern.
Wenn Kunden Claude Ihre Seite selbst geben
Ein grosser Teil der Claude-Zugriffe entsteht nicht durch Suche, sondern weil jemand eine Adresse in ein Gespräch kopiert: "Was steht auf dieser Seite?", "Vergleiche diese beiden Angebote". Das ist der wertvollste Besuch überhaupt, denn dahinter steht ein Mensch mit einer konkreten Absicht. Er scheitert aber, wenn die Seite den Abruf abweist – und der Kunde sieht dann nicht eine Fehlermeldung Ihres Servers, sondern nur, dass Claude nichts dazu sagen kann. Genau darum lohnt es sich, Claude-User erreichbar zu halten.
Was eine Seite zitierfähig macht
Claude nennt Quellen mit Link, wenn es aus ihnen schöpft. Zitiert wird, was sich sauber herauslösen lässt: ein Absatz, der für sich allein verständlich bleibt, mit einer klaren Aussage und einer Zahl oder einem Datum darin. Nicht zitierfähig ist ein Satz, der sich auf den vorigen Abschnitt bezieht, ohne ihn zu wiederholen. Eine praktische Probe: Kopieren Sie einen Absatz Ihrer Website in eine leere Datei. Ergibt er ohne Kontext noch Sinn und stimmt er? Dann ist er zitierfähig.
Crawl-delay: hier wirkt es wirklich
Anthropic dokumentiert ausdrücklich, dass seine Bots Crawl-delay unterstützen. Das ist ungewöhnlich – Google ignoriert die Angabe seit Jahren. Wer also unter Crawler-Last leidet, kann bei Anthropic mit einem Wert in Sekunden bremsen, statt gleich ganz zu sperren. Das ist fast immer die bessere Entscheidung: Eine Sperre kostet Sichtbarkeit dauerhaft, eine Verzögerung kostet nur Zeit. Formuliert wird sie in derselben Gruppe wie die übrigen Regeln für den jeweiligen Agent.
Wie KI-Console Besuche belegt
KI-Console erkennt ClaudeBot, Claude-User, Claude-SearchBot, anthropic-ai und Claude-Web in Logs und Tracker-Meldungen und gruppiert sie, damit Live-Nachweis und Training-Traffic getrennt bleiben.
Was Claude-Zugriff nicht verspricht
Claude-Crawler zu erlauben verbessert technischen Zugriff, garantiert aber nicht, dass Claude die Website crawlt, zitiert, empfiehlt oder rankt.
Klare Antworten
Was skeptische Website-Betreiber zuerst wissen wollen
KI-Console verkauft keine magische Sichtbarkeit. Wir machen Ihre Website für KI-Systeme lesbarer und zeigen Nachweise, wo Logs sie hergeben.
Welcher Claude-Token beweist einen Live-Abruf?
Claude-User ist der klarste Live-Lese-Token, weil er zu einer konkreten Nutzeraktion gehört. ClaudeBot ist ein anderes Training-Signal.
Sind anthropic-ai und Claude-Web noch wichtig?
Ja, für historische Logs und Kompatibilität. Sie erscheinen vielleicht seltener als aktuelle Tokens, aber die Zuordnung verhindert verpasste ältere Anthropic-Nachweise.
Zeigt KI-Console Claude-Traffic getrennt?
Ja. KI-Console erkennt die Claude- und alten Anthropic-Tokens und trennt Live-, Training- und Such-Traffic im Crawler-Nachweis.
Muss ich ClaudeBot erlauben, damit Claude meine Seite lesen kann?
Nein. ClaudeBot ist der Trainings-Crawler; für das Lesen im Gespräch ist Claude-User zuständig. Sie können ClaudeBot verbieten und Claude-User erlauben – das ist eine gängige und gut begründbare Haltung: Die Inhalte sollen nicht ins Training, aber ein Mensch, der die Seite gerade ansieht, soll sie sehen dürfen. Wichtig ist nur, dass die Regeln getrennt formuliert sind und keine pauschale Sperre darüberliegt.
Wie erkenne ich einen echten Claude-Abruf von einer Fälschung?
Am User-Agent allein gar nicht – der lässt sich in einer Zeile fälschen. Anthropic veröffentlicht die IP-Bereiche seiner Agents; ein Abruf aus einem fremden Bereich ist kein Claude-Abruf, egal was in der Kennung steht. KI-Console gleicht das beim Nachweis ab, statt der Kennung zu glauben. Für eine eigene Prüfung reicht ein Blick, aus welchem Netz die Anfrage kam.
Eigene Website prüfen
Sehen Sie, welche KI-Signale jetzt funktionieren
Starten Sie zuerst den Gratis-Scan. Mit einem Konto verifizieren Sie die Domain, speichern Verlauf, generieren Dateien und dokumentieren Crawler-Besuche.