In den endlosen Weiten des Netzes verstrickt, der Robot, der nach Freiheit blickt. (Microsoft Copilot, 2025)

Crawltiefe

Die Crawltiefe, engl. Crawl Depth, umfasst die Anzahl der Schritte, die ein Bot von der Startseite einer Website aus benötigt, um eine bestimmte Unterseite zu erreichen. Sie gibt also an, wie tief eine Seite in der Linkstruktur einer Website verborgen ist. Die Startseite selbst hat dabei die Crawltiefe 0, direkt verlinkte Seiten die Tiefe 1, und so weiter.

Das Ziel einer guten SEO-Strategie ist es, dass Suchmaschinen wichtige Inhalte schnell und effizient finden, indexieren und bewerten können. Google nutzt einen hierarchischen Crawling-Prozess, bei dem die Startseite als Ausgangspunkt (Tiefe 0) dient. Von dort aus werden Seiten der Tiefe 1, also direkt verlinkte Seiten wie Hauptkategorien, gecrawlt, gefolgt von Seiten der Tiefe 2 und tiefer. Wichtig ist dabei zu beachten, dass Google nicht unendlich tief crawlt – das sogenannte Crawl-Budget, also die Ressourcen, die Google einer Website zuweist, ist begrenzt.

Wir testen auf robotz.info die relative Crawltiefe, d. h. die Crawltiefe ab der Startseite unseres Tests.

Warum ist Crawltiefe für SEO entscheidend?

Die Crawltiefe hat direkte Auswirkungen auf mehrere zentrale SEO-Faktoren. Zunächst beeinflusst sie die Indexierung: Seiten mit hoher Crawltiefe werden später oder gar nicht in den Suchindex aufgenommen. Zudem erhalten Seiten, die näher an der Startseite liegen, mehr Link Equity, also Autorität durch interne und externe Links, was ihre Suchmaschinenrankings und Sichtbarkeit verbessert. Eine zu tiefe Struktur kann auch die Nutzererfahrung beeinträchtigen, da Besucher wichtige Inhalte schwerer finden. Schließlich werden Seiten mit geringer Crawltiefe häufiger gecrawlt, sodass Suchmaschinen Aktualisierungen schneller erkennen und indizieren können. Ein weiterer kritischer Punkt ist das Crawl-Budget. Google weist jeder Website eine begrenzte Menge an Crawling-Ressourcen zu. Wenn wichtige Seiten zu tief in der Struktur liegen, wird dieses Budget möglicherweise für unwichtige Inhalte verschwendet. Das Crawl-Budget hängt von Faktoren wie der Server-Geschwindigkeit, der Website-Größe, der Qualität der Inhalte und der Anzahl der Crawl-Anfragen ab. Langsame Seiten oder viele 404-Fehler können das Budget unnötig belasten.

Optimale Crawltiefe: Wie tief darf es sein?

Als Faustregel gilt, dass wichtige Seiten eine Crawltiefe von maximal 3 haben sollten. Seiten mit einer Tiefe von 4 oder mehr werden oft schlecht oder gar nicht gecrawlt. Eine Ausnahme bilden sehr große Websites wie Online-Shops mit tausenden Produkten, die eine tiefere Struktur aufweisen können. Hier sollten jedoch interne Verlinkung und XML-Sitemaps genutzt werden, um die Auffindbarkeit zu verbessern. Für E-Commerce-Shops ist es besonders wichtig, die Struktur zu optimieren. Ein typisches Problem ist eine zu tiefe Navigation, bei der der Pfad von der Startseite bis zum Produkt über mehrere Filterebenen führt. Die Lösung besteht darin, wichtige Produkte direkt im Hauptmenü zu verlinken, eine XML-Sitemap mit Priorisierung der Produktseiten zu erstellen und Breadcrumbs für eine klare Hierarchie zu nutzen.

Praktische Optimierung der Crawltiefe

Um die Crawltiefe zu optimieren, sollte zunächst eine flache Website-Struktur aufgebaut werden. Das Ziel ist es, wichtige Seiten in maximal 3 Klicks erreichbar zu machen. Dies kann durch die Optimierung des Hauptmenüs, die Nutzung von Breadcrumbs und eine thematische Gruppierung der Inhalte erreicht werden. Ein weiterer wichtiger Schritt ist die Stärkung der internen Verlinkung. Eine gute interne Verlinkung verteilt die Link Equity und hilft Crawlern, auch tiefere Seiten zu entdecken. Hier können Hub-Seiten, also thematische Überblicksseiten, die auf relevante Unterseiten verweisen, sowie kontextuelle Links in Blogartikeln und die Vermeidung von Orphaned Pages (Seiten ohne interne Links) helfen. Die XML-Sitemap spielt im Internet ebenfalls eine zentrale Rolle. Sie gibt Google eine Liste aller wichtigen URLs und hilft, auch tiefere Seiten zugänglich zu machen. Best Practices umfassen das Setzen von Prioritäten für wichtige Seiten, die Sicherstellung der Aktualität der Sitemap und das Einreichen in die Google Search Console. Das Crawl-Budget kann durch die Bereinigung von 404-Fehlern, die Vermeidung von Weiterleitungsketten und das Blockieren unwichtiger Seiten über die robots.txt optimiert werden. Tools wie Screaming Frog, die Google Search Console und Ahrefs können dabei helfen, die Crawltiefe zu analysieren und zu monitoren.

Ein häufiger Fehler ist eine zu tiefe Navigation, die dazu führt, dass wichtige Seiten nicht indexiert werden. Die Lösung besteht darin, die Struktur auf maximal 3 Ebenen zu reduzieren. Fehlende XML-Sitemaps können dazu führen, dass Crawler tiefe Seiten übersehen – hier hilft das Erstellen und Einreichen einer Sitemap. Zu viele Weiterleitungen verschwenden das Crawl-Budget und sollten durch direkte 301-Weiterleitungen ersetzt werden. Fehlende Breadcrumbs können die Orientierung erschweren, während duplizierte Inhalte dazu führen, dass Google falsche Versionen indexiert. Canonical-Tags können hier Abhilfe schaffen.

Fazit und Handlungsempfehlungen

Zusammenfassend sollte die Crawltiefe für wichtige Seiten auf maximal 3 Ebenen begrenzt werden. Durch den Einsatz interner Verlinkung, XML-Sitemaps und die Optimierung des Crawl-Budgets kann die Auffindbarkeit tief liegender Seiten verbessert werden. Regelmäßige Analysen mit Tools wie Screaming Frog oder der Google Search Console helfen, die Struktur kontinuierlich zu optimieren.

Eine Checkliste für die Umsetzung umfasst die Reduzierung der Hierarchie auf maximal 3 Ebenen, das Setzen interner Links zu wichtigen Seiten, das Erstellen und Einreichen einer XML-Sitemap, die Bereinigung von 404-Fehlern und Weiterleitungen sowie das regelmäßige Monitoring der Crawl-Statistiken.

Crawltiefe vs. Klicktiefe

Oberflächlich unterscheinden sich Crawl- und Klicktiefe nicht. Die Crawltiefe misst die Anzahl der Klicks, die ein Bot für das erreichen der Zielseite mindestens benötigt - bei der Klicktiefe ist es der Mensch, der die Klicks tätigt. Wichtige unterschiede sind nach unserer Auffassung die Sichtbarkeit von Links. Einige Links verbergen sich tief in den Inhalten der Seite, bzw. sind in Bereichen, die für den Menschen kaum wahrgenommen werden - Bots sehen diese Links besser. Manche Links werden auch ganz bewußt vor Menschen versteckt und dienen der Steuerung von Bots. Die dafür eingesetzten Techniken kommen eher aus dem Black-Hat Bereich - es gibt jedoch auch seriöse Anwendungsfälle. Teilweise werde Links vor Bots versteckt, z. B. um das Crawl-Budget einer Webseite zu optimieren.

Impressum & Datenschutzerklärung