Training
ClaudeBot
Training-Crawler
ClaudeBot ist der wichtigste Anthropic-Crawler für Modelltraining und Entscheidungen zum breiten Zugriff auf öffentliche Webinhalte.
Anthropic-Crawler
Liest Claude Ihre Website?
Claude liest öffentliche Seiten über drei Anthropic-Agents: ClaudeBot sammelt Trainingsdaten, Claude-User ruft eine Seite ab, wenn jemand Claude danach fragt, Claude-SearchBot verbessert die Suche. Anthropic gibt an, dass alle drei robots.txt beachten. Sperren Sie Claude-User, kann Claude Ihre Seite für Nutzerfragen nicht mehr abrufen.
Anthropic
Die Claude-Agents sauber trennen
ClaudeBot, Claude-User und Claude-SearchBot beschreiben unterschiedliche Zugriffsmuster. Die Trennung zeigt, ob Claude Ihre öffentlichen Seiten trainieren, live abrufen oder über Suche erreichen kann.
Live-Abrufe
Claude-User
Live-Abruf durch Claude
Claude-User erscheint, wenn Claude eine Seite für eine konkrete Nutzerfrage abruft. Das ist der Live-Lese-Nachweis, den Website-Betreiber meist sehen wollen. Laut Anthropic beachtet er robots.txt: Eine Sperre verhindert den Abruf und kann die Sichtbarkeit in nutzergesteuerter Websuche verringern.
KI-Suche
Claude-SearchBot
Suchgestützter Claude-Zugriff
Claude-SearchBot verbessert laut Anthropic die Qualität der Suchergebnisse. Eine Sperre stoppt die Indexierung für die Suche und kann Sichtbarkeit und Genauigkeit der Antworten verringern.
Alte Anthropic-Tokens
Ältere oder kompatible Tokens wie anthropic-ai und Claude-Web können in Loganalysen weiter wichtig sein. KI-Console führt sie in der Training-Gruppe, damit alte Nachweise nicht verloren gehen.
anthropic-ai
Claude-Web
robots.txt-Empfehlung
Nennen Sie die aktuellen Claude-Agents explizit und ergänzen Sie die alten Tokens, wenn Ihre Policy Anthropic-Zugriff erlauben soll. Private Pfade bleiben wie gewohnt blockiert.
Claude-Starterregeln
User-agent: ClaudeBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Claude-Web
Allow: /
Sitemap: https://www.example.com/sitemap.xmlWarum Claude-Zugriff anders zählt
Anthropic veröffentlicht keine Rangliste, auf der man sich eine Position erarbeiten könnte; es gibt kein Ranking, das sich verbessern liesse. Was zählt, ist der Abruf im Moment der Frage – und dabei entscheidet nur, ob Ihre Seite erreichbar ist und die Antwort enthält. Es gibt nichts zu erkaufen und keinen Vorsprung durch Budget. Wer erreichbar und deutlich ist, hat dieselbe Ausgangslage wie ein Konzern.
Wenn Kunden Claude Ihre Seite selbst geben
Ein grosser Teil der Claude-Zugriffe entsteht nicht durch Suche, sondern weil jemand eine Adresse in ein Gespräch kopiert: "Was steht auf dieser Seite?", "Vergleiche diese beiden Angebote". Das ist der wertvollste Besuch überhaupt, denn dahinter steht ein Mensch mit einer konkreten Absicht. Er scheitert aber, wenn die Seite den Abruf abweist – und der Kunde sieht dann nicht eine Fehlermeldung Ihres Servers, sondern nur, dass Claude nichts dazu sagen kann. Genau darum lohnt es sich, Claude-User erreichbar zu halten.
Was eine Seite zitierfähig macht
Claude nennt Quellen mit Link, wenn es aus ihnen schöpft. Zitiert wird, was sich sauber herauslösen lässt: ein Absatz, der für sich allein verständlich bleibt, mit einer klaren Aussage und einer Zahl oder einem Datum darin. Nicht zitierfähig ist ein Satz, der sich auf den vorigen Abschnitt bezieht, ohne ihn zu wiederholen. Eine praktische Probe: Kopieren Sie einen Absatz Ihrer Website in eine leere Datei. Ergibt er ohne Kontext noch Sinn und stimmt er? Dann ist er zitierfähig.
Crawl-delay: hier wirkt es wirklich
Anthropic dokumentiert die Unterstützung der Crawl-delay-Angabe in robots.txt, mit ClaudeBot als Beispiel. Das ist ungewöhnlich – Google ignoriert sie seit Jahren. Wer unter Crawler-Last leidet, kann mit einem Wert in Sekunden bremsen, statt gleich ganz zu sperren. Das ist fast immer die bessere Entscheidung: Eine Sperre kostet Sichtbarkeit dauerhaft, eine Verzögerung nur Zeit. Die Angabe steht in derselben Gruppe wie die übrigen Regeln des Agents; ob auch Claude-User und Claude-SearchBot sie beachten, nennt Anthropic nicht ausdrücklich.
Wie KI-Console Besuche belegt
KI-Console erkennt ClaudeBot, Claude-User, Claude-SearchBot, anthropic-ai und Claude-Web in Logs und Tracker-Meldungen und gruppiert sie, damit Live-Nachweis und Training-Traffic getrennt bleiben.
Was Claude-Zugriff nicht verspricht
Claude-Crawler zu erlauben verbessert den technischen Zugriff, garantiert aber nicht, dass Claude die Website crawlt, zitiert, empfiehlt oder rankt. Auch eine llms.txt ändert das nicht: Anthropic hat nicht zugesagt, sie auszuwerten.
Klare Antworten
Was skeptische Website-Betreiber zuerst wissen wollen
KI-Console verkauft keine magische Sichtbarkeit. Wir machen Ihre Website für KI-Systeme lesbarer und zeigen Nachweise, wo Tracker oder Logs sie hergeben.
Welcher Claude-Token beweist einen Live-Abruf?
Claude-User ist der klarste Live-Lese-Token, weil er zu einer konkreten Nutzeraktion gehört. ClaudeBot ist ein anderes Training-Signal.
Sind anthropic-ai und Claude-Web noch wichtig?
Ja, für historische Logs und Kompatibilität. Sie erscheinen vielleicht seltener als aktuelle Tokens, aber die Zuordnung verhindert verpasste ältere Anthropic-Nachweise.
Zeigt KI-Console Claude-Traffic getrennt?
Ja. KI-Console erkennt die Claude- und alten Anthropic-Tokens und trennt Live-, Training- und Such-Traffic im Crawler-Nachweis.
Muss ich ClaudeBot erlauben, damit Claude meine Seite lesen kann?
Nein. ClaudeBot ist der Trainings-Crawler; für das Lesen im Gespräch ist Claude-User zuständig. Sie können ClaudeBot verbieten und Claude-User erlauben – das ist eine gängige und gut begründbare Haltung: Die Inhalte sollen nicht ins Training, aber ein Mensch, der die Seite gerade ansieht, soll sie sehen dürfen. Wichtig ist nur, dass die Regeln getrennt formuliert sind und keine pauschale Sperre darüberliegt.
Wie erkenne ich einen echten Claude-Abruf von einer Fälschung?
Am User-Agent allein gar nicht – der lässt sich in einer Zeile fälschen. Anthropic veröffentlicht die IP-Bereiche seiner Agents; ein Abruf aus einem fremden Bereich ist kein Claude-Abruf, egal was in der Kennung steht. KI-Console gleicht das beim Nachweis ab, statt der Kennung zu glauben. Für eine eigene Prüfung reicht ein Blick, aus welchem Netz die Anfrage kam.
Eigene Website prüfen
Sehen Sie, welche KI-Signale jetzt funktionieren
Starten Sie zuerst den Gratis-Scan. Mit einem Konto verifizieren Sie die Domain, speichern Verlauf, generieren Dateien und dokumentieren Crawler-Besuche.