Crawlbarkeit ist der Grad, in dem die Seiten und Ressourcen einer Website für automatisierte Crawler zugänglich sind - einschließlich Suchmaschinen-Bots und KI-Crawler wie OAI-SearchBot, GPTBot und PerplexityBot. Eine crawlbare Website hat keine Blockierungsdirektiven, die die Indizierung wichtiger Inhalte verhindern, korrekt konfigurierte robots.txt- und llms.txt-Dateien, keine technischen Barrieren wie reines JavaScript-Rendering für kritische Inhalte und eine klare interne Linkstruktur, die es Crawlern ermöglicht, alle relevanten Seiten zu entdecken. Im Kontext von AI Search Readiness bestimmt die Crawlbarkeit, ob KI-Systeme auf die Inhalte zugreifen können, die sie benötigen, um eine Website zu bewerten und zu zitieren.
