rawlowalność to stopień, w jakim strony i zasoby serwisu są dostępne dla automatycznych crawlerów - w tym botów wyszukiwarek i crawlerów AI takich jak OAI-SearchBot, GPTBot i PerplexityBot. Strona o dobrej crawlowalności nie ma dyrektyw blokujących, które uniemożliwiają indeksowanie ważnych treści, ma poprawnie skonfigurowane pliki robots.txt i llms.txt, nie ma barier technicznych takich jak renderowanie wyłącznie przez JavaScript dla krytycznych treści, oraz posiada przejrzystą strukturę linków wewnętrznych umożliwiającą crawlerom odkrycie wszystkich istotnych podstron. W kontekście AI Search Readiness crawlowalność decyduje o tym, czy systemy AI mogą uzyskać dostęp do treści potrzebnych do oceny i zacytowania strony.
