Technische Zugänglichkeit ist der Grad, in dem KI-Such-Crawler auf den Content einer Website zugreifen, ihn abrufen und interpretieren können — eine Voraussetzung für jede AI Search Sichtbarkeit, unabhängig von Content-Qualität oder Entity Clarity.
Warum es wichtig ist
AI Search Sichtbarkeit beginnt mit Zugang. Wenn ein System Ihren Content nicht crawlen, abrufen oder interpretieren kann, kann es ihn nicht zuverlässig zitieren — egal wie gut der Content strukturiert ist oder wie stark die Entity-Signale sind.
Nicht jeder KI-Crawler hat denselben Zweck. Das Verständnis des Unterschieds zwischen Such-Crawlern und Modell-Trainings-Crawlern ist wesentlich, bevor robots.txt-Entscheidungen getroffen werden, die die AI Search Sichtbarkeit beeinflussen.
KI-Crawler — Suche vs. Training
OAI-SearchBot
ChatGPT Search EntdeckungVon OpenAI genutzt, um Websites in ChatGPT Search-Funktionen zu surfieren. Das Erlauben dieses Crawlers ermöglicht es, Ihren Content als zitierte Quelle in ChatGPT Search-Ergebnissen zu erscheinen.
→ Erlauben wenn AI Search Sichtbarkeit das Ziel ist
GPTBot
OpenAI Modell-TrainingVon OpenAI für potenzielle Modell-Trainingsdaten-Erfassung genutzt. Unabhängig von OAI-SearchBot — das Blockieren von GPTBot beeinflusst die ChatGPT Search Sichtbarkeit nicht.
→ Separat basierend auf Trainingsdaten-Richtlinie bewerten
PerplexityBot
Perplexity Such-IndexierungVon Perplexity genutzt, um Websites in Suchergebnissen zu surfieren. Laut Perplexity-Dokumentation respektiert er robots.txt und nutzt blockierten Content nicht für Pre-Training von Foundation Models.
→ Erlauben wenn Perplexity Sichtbarkeit das Ziel ist
ClaudeBot
Anthropic CrawlingVon Anthropic genutzt. Aktuelle Dokumentation zu Crawl-Zweck und robots.txt-Konfiguration prüfen.
→ Aktuelle Anthropic-Dokumentation konsultieren
robots.txt Konfigurationsbeispiel
# ChatGPT Search Crawler erlauben
User-agent: OAI-SearchBot
Allow: /
# Modell-Training Crawler blockieren
User-agent: GPTBot
Disallow: /
# Perplexity Such-Crawler erlauben
User-agent: PerplexityBot
Allow: /
llms.txt
llms.txt ist eine Textdatei im Root-Verzeichnis einer Website, die KI-Agenten signalisiert, welche Inhalte maßgeblich sind und wie die Site-Struktur interpretiert werden soll. Es ist ein vorgeschlagener Standard — keine bestätigte universelle Anforderung für AI Search Sichtbarkeit — aber eine leicht umzusetzende Ergänzung neben robots.txt, sitemap.xml, Schema-Markup und starker interner Verlinkung.
Implementierungs-Checkliste
- →
robots.txt prüfen — sicherstellen, dass OAI-SearchBot und PerplexityBot nicht blockiert sind
- →
GPTBot separat basierend auf der Trainingsdaten-Richtlinie Ihrer Organisation bewerten
- →
Sicherstellen, dass Kern-Content-Seiten als indexierbares HTML verfügbar sind — nicht hinter JavaScript oder Login-Schranken versteckt
- →
Kanonische URLs sauber und konsistent halten — doppelter Content schafft Abruf-Mehrdeutigkeit
- →
Core Web Vitals überwachen — Performance beeinflusst Crawlbarkeit und Auffindbarkeit
- →
llms.txt als experimentelle AI-Readiness-Schicht neben sitemap.xml und robots.txt implementieren
- →
Sicherstellen, dass sitemap.xml bei Google Search Console eingereicht und aktuell ist