Seitenanalyse Werkzeuge: 5 Tools für die technische Prüfung im Überblick

Das Wichtigste auf einen Blick

Aufnahmekriterien: Crawl-Tiefe, Preis und Export

Drei Kriterien entscheiden, ob ein Werkzeug in diese Liste gehört: die Crawl-Tiefe, also die Zahl der URLs pro Lauf, das Preis- und Lizenzmodell und die Exportfunktionen. Erst der Export macht Befunde für Entwicklungsteams nutzbar, etwa als CSV, Excel, JSON oder über eine API.

Die technische Prüfung hat sich von Server-Logfiles zu programmierbaren Crawlern verschoben. Frühe Programme zählten Links und Statuscodes, heutige führen JavaScript aus und rendern Seiten wie ein Browser. Diese Entwicklungslinie erklärt, warum hier Desktop-Programme neben Cloud-Diensten und browserbasierten Prüfern stehen.

Die fünf Werkzeuge im Vergleich

Screaming Frog und Sitebulb: die lokalen Crawler

Der SEO Spider von Screaming Frog ist ein Desktop-Crawler für Windows, macOS und Linux. Die kostenlose Version crawlt bis 500 URLs pro Lauf, darüber verlangt der Anbieter eine Jahreslizenz. Laut Preisliste des SEO Spider liegt sie bei 199 Pfund pro Jahr und Arbeitsplatz. Exporte gehen nach CSV, Excel und Google Sheets, JavaScript lässt sich beim Crawl ausführen.

Sitebulb arbeitet ebenfalls lokal, auf Windows und macOS. Das Programm ordnet Befunde in Hinweise ein und zeigt sie im Browser, was die Übergabe an Entwicklungsteams erleichtert. Die Tarife staffeln sich nach URL-Kontingent und Projektzahl, eine Testversion ist verfügbar. Exporte laufen über Excel, PDF, Google Sheets und BigQuery.

DeepCrawl, Search Console und Lighthouse: Cloud, Index und Labor

DeepCrawl tritt heute unter dem Namen Lumar auf und arbeitet als Cloud-Dienst ohne Installation. Die Enterprise-Plattform von Lumar prüft Bestände im Millionenbereich, segmentiert nach Seitentypen und vergleicht Crawls über die Zeit. Das richtet sich an Konzerne mit vielen Sprachversionen. Preise werden individuell angeboten, die Ausgabe erfolgt per API und Data-Warehouse-Anbindung.

Die Google Search Console crawlt nicht selbst, sie zeigt Googles Sicht auf den Bestand. Der Bericht zur Seitenindexierung listet Statusmeldungen wie "Gefunden, zurzeit nicht indexiert" oder "Gecrawlt, zurzeit nicht indexiert" mit Beispiel-URLs. Für technische Prüfungen ist sie die Referenz, an der sich Crawler-Befunde messen lassen. Exporte laufen als CSV, per Bulk-Export oder über die API.

Lighthouse ist ein Open-Source-Projekt von Google und prüft einzelne URLs auf Leistung, Barrierefreiheit, Best Practices und SEO. Die Einführung in Lighthouse beschreibt die Ausführung in den Chrome-Entwicklertools, in der Kommandozeile und als Node-Modul. Die Bewertung beruht auf Labordaten und ersetzt keinen Crawl über den gesamten Bestand.

Rechenbeispiel: drei Lizenzen pro Jahr

Ein Onlineshop mit 120.000 URLs soll monatlich geprüft werden, drei Personen arbeiten parallel. Bei 199 Pfund pro Lizenz und Jahr ergibt das 3 × 199 = 597 Pfund, eine Beispielrechnung ohne Umsatzsteuer und ohne Umrechnungskurs.

Die Preisliste wird in Pfund geführt, für deutsche Teams kommen Tageskurs und Umsatzsteuer hinzu. Wer keine eigenen Prüfungen aufsetzen will, findet im Agenturvergleich des BVDW Anhaltspunkte zu Kosten und Leistungen von Agenturen gegenüber Inhouse-Teams.

Häufige Fragen

Welches Werkzeug eignet sich für den Einstieg?

Für Bestände bis 500 URLs genügt der kostenlose SEO Spider. Wer priorisierte Berichte braucht, greift zu Sitebulb.

Warum ersetzt die Search Console keinen eigenen Crawl?

Sie zeigt nur, was Google gecrawlt und indexiert hat. Vollständige Listen aller URLs, Weiterleitungen und Statuscodes liefert nur ein eigener Crawler.

Wie oft sollte eine Website geprüft werden?

Nach jeder strukturellen Änderung, sonst monatlich. Lighthouse lässt sich in eine CI-Pipeline einbinden und dann bei jedem Deployment ausführen.

Was kostet DeepCrawl?

Der Anbieter nennt keinen Listenpreis. Angebote richten sich nach URL-Umfang, Segmentierung und Funktionsumfang.

Ist Lighthouse ein Ersatz für einen Crawler?

Nein. Lighthouse bewertet einzelne URLs im Labor, für Bestandsanalysen bleibt ein Crawler nötig.