SEO Spider

SEO Spider Tool

Der Screaming Frog SEO Spider ist ein Website-Crawler, mit dem du die Onsite-SEO verbessern kannst, indem du die häufigsten technischen SEO-Probleme überprüfst.

Hier findest du das Screaming Frog Benutzerhandbuch mit den Konfigurationen und Einstellungen

Was kannst du mit dem SEO Spider Tool tun?

Identifiziere über 300 SEO-Probleme, Warnungen und Möglichkeiten zur Verbesserung der SEO, der Website-Gesundheit und der Benutzererfahrung.

Finde defekte Links

Crawle eine Website sofort und finde defekte Links (404er) und Serverfehler. Exportiere die Fehler und Quell-URLs in großen Mengen, um sie zu beheben, oder sende sie an einen Entwickler.

Überprüfe Weiterleitungen

Finde temporäre und permanente Weiterleitungen, identifizieren Sie Weiterleitungsketten und -schleifen oder lade eine Liste von URLs hoch, die bei einer Website-Migration überprüft werden sollen.

Analysiere Seitentitel und Metadaten

Analysiere während eines Crawls Seitentitel und Meta-Beschreibungen und identifiziere diejenigen, die zu lang, zu kurz, fehlend oder auf Ihrer Website doppelt vorhanden sind.

Duplikate entdecken

Entdecke exakte Duplikate von URLs mit einer md5-Algorithmusprüfung, teilweise duplizierte Elemente wie Seitentitel, Beschreibungen oder Überschriften und finde Seiten mit wenig Inhalt.

Daten mit XPath extrahieren

Sammel beliebige Daten aus dem HTML-Code einer Webseite mit CSS Path, XPath oder Regex. Dazu können soziale Meta-Tags, zusätzliche Überschriften, Preise, SKUs und vieles mehr gehören!

Robots und Direktiven überprüfen

Zeige URLs an, die durch robots.txt, Meta-Robots oder X-Robots-Tag-Direktiven wie „noindex“ oder „nofollow“ blockiert sind, sowie Canonicals und rel=„next“ und rel=„prev“.

XML-Sitemaps generieren

Erstelle schnell XML-Sitemaps und Bild-XML-Sitemaps mit erweiterten Konfigurationsmöglichkeiten für URLs, die einbezogen werden sollen, letzte Änderung, Priorität und Änderungshäufigkeit.

Integration mit GA, GSC und PSI

Verbinde das Tool mit APIs von Google Analytics, Search Console und PageSpeed Insights und rufe Benutzer- und Leistungsdaten für alle URLs in einem Crawl ab, um bessere Einblicke zu erhalten.

Crawle JavaScript-Websites

Render Webseiten mit dem integrierten Chromium WRS, um dynamische, JavaScript-reiche Websites und Frameworks wie Angular, React und Vue.js zu crawlen.

Visualisiere die Website-Architektur

Bewerte die interne Verlinkungen und die URL-Struktur mithilfe interaktiver Crawl- und Verzeichnis-Force-Directed-Diagramme und Baumdiagramm-Visualisierungen der Website.

Audits planen

Plane Crawls in ausgewählten Intervallen und exportiere Crawl-Daten automatisch an einen beliebigen Ort, einschließlich Google Sheets. Oder automatisiere den Vorgang vollständig über die Befehlszeile.

Crawls und Staging vergleichen

Verfolge den Fortschritt von SEO-Problemen und -Möglichkeiten und sehe, was sich zwischen den Crawls geändert hat. Vergleichen Staging- mit Produktionsumgebungen mithilfe von erweiterter URL-Zuordnung.

 

Das SEO Spider Tool crawlt und berichtet über…

Das Screaming Frog SEO Spider ist ein SEO-Audit-Tool, das von echten SEOs entwickelt wurde und weltweit Tausende von Nutzern hat. Eine kurze Zusammenfassung einiger der beim Crawling gesammelten Daten umfasst:

  • Fehler – Client-Fehler wie defekte Links und Serverfehler (keine Antworten, 4XX-Client- und 5XX-Serverfehler).
  • Weiterleitungen – Permanente, temporäre, JavaScript-Weiterleitungen, Meta- und HTTP-Aktualisierungen, Weiterleitungsketten und -schleifen.
  • Blockierte URLs – Anzeigen und Überprüfen von URLs, die durch das robots.txt-Protokoll gesperrt sind.
  • Blockierte Ressourcen – Anzeigen und Überprüfen blockierter Ressourcen im Rendering-Modus.
  • Externe Links – Anzeigen aller externen Links, ihrer Statuscodes und Quellseiten.
  • Website-Struktur – Analysieren Sie die Website-Architektur, die Indizierbarkeit und die Crawling-Tiefe nach Verzeichnis.
  • Interne Verlinkung – Analysieren Sie interne Links, Link-Anzahlen und Crawling-Tiefe und berechnen Sie den internen Link-Score.
  • Ankertext – Zeigen Sie aggregierten und granularen Ankertext aller Links an. Identifizieren Sie nicht beschreibenden Ankertext, um ihn für Benutzer und Suchmaschinen zu verbessern.
  • Sicherheit – Entdecken Sie unsichere Seiten, gemischte Inhalte, unsichere Formulare, fehlende Sicherheitsheader und mehr.
  • URL-Probleme – Nicht-ASCII-Zeichen, Unterstriche, Großbuchstaben, Parameter, lange URLs, sich wiederholende Pfade oder defekte Lesezeichen.
  • Seitentitel – Identifizieren Sie fehlende, doppelte, lange, kurze oder mehrere Titel.
  • Meta-Beschreibung – Identifizieren Sie fehlende, doppelte, lange, kurze oder mehrere Beschreibungen.
  • Überschriften – Zeigen Sie h1- und h2-Überschriften an, einschließlich fehlender, doppelter, langer, kurzer, mehrfacher oder nicht sequenzieller Überschriften.
  • Inhalt – Zeigen Sie die Wortanzahl an, analysieren Sie die Lesbarkeit und identifizieren Sie Inhalte mit geringer Relevanz, die vom durchschnittlichen Inhaltsschwerpunkt der Website abweichen.
  • Direktiven – Zeigen Sie Direktiven in Meta-Robots oder dem X-Robots-Tag-Header an, einschließlich noindex, nofollow, none, nosnippet und mehr.
  • Canonicals – Analysieren Sie kanonische Link-Elemente und kanonische HTTP-Header.
  • Paginierung – Zeigen Sie die Attribute rel=„next“ und rel=„prev“ sowie häufige Einrichtungsprobleme bei paginierten Seiten an.
  • hreflang-Attribute – Überprüfen Sie fehlende Return-Tags, inkonsistente und falsche Sprachcodes, Nicht-200-Antworten von hreflang und mehr.
  • Duplicate Content – Entdecken Sie exakte, nahezu identische und semantisch ähnliche Seiten mithilfe algorithmischer Überprüfungen und Vektor-Einbettungen.
  • Rendering – Crawlen Sie JavaScript-Frameworks wie AngularJS und React, indem Sie den gerenderten HTML-Code nach der Ausführung von JavaScript crawlen.
  • JavaScript – Identifizieren Sie Inhalte, Links, Seitentitel, Beschreibungen, Überschriften und andere wichtige Elemente, die auf JavaScript basieren.
  • Bilder – Finden Sie alle Bilder und entdecken Sie diejenigen, die zu groß sind, fehlenden Alt-Text, Hintergrundbilder, fehlende Größenattribute und mehr.
  • Validierung – Finden Sie Probleme, die Such-Bots daran hindern können, eine Seite zuverlässig zu analysieren und zu verstehen.
  • User-Agent – Crawlen Sie als Such-Bot wie Googlebot oder Bingbot, als KI-Crawler oder mit Ihrem eigenen benutzerdefinierten UA.
  • Benutzerdefinierte HTTP-Header – Geben Sie beliebige Header-Werte in einer Anfrage an, von Accept-Language bis Cookie.
  • Benutzerdefinierte Quellcode-Suche – Suchen Sie nach beliebigen Elementen im Quellcode einer Website, z. B. nach Analytics-Tracking-Tags, Schlüsselwörtern oder Code.
  • Benutzerdefinierte Extraktion – Extrahieren Sie beliebige Daten aus dem HTML-Code einer URL mithilfe von XPath, CSS-Pfadselektoren oder regulären Ausdrücken.
  • Benutzerdefiniertes JavaScript – Führen Sie während des Crawlings benutzerdefinierte JavaScript-Snippets aus, um Daten zu extrahieren, Mouseover-Ereignisse auszulösen, eine Seite zu scrollen oder fast alles andere zu tun, was Sie in der Chrome-Konsole tun können.
  • Google Analytics-Integration – Stellen Sie eine Verbindung zur Google Analytics-API her und rufen Sie Benutzer- und Conversion-Daten direkt während eines Crawls ab.
  • Google Search Console-Integration – Stellen Sie eine Verbindung zu den Google Search Analytics- und URL Inspection-APIs her und sammeln Sie Leistungs- und Indexstatusdaten in großen Mengen.
  • PageSpeed Insights-Integration – Stellen Sie eine Verbindung zur PSI-API her, um Lighthouse-Metriken, Geschwindigkeitsoptionen, Diagnosen und Chrome User Experience Report (CrUX)-Daten in großem Umfang abzurufen.
  • Mobile Usability – Verwenden Sie Lighthouse, um häufige Probleme bei der mobilen Usability zu überprüfen.
  • Externe Link-Metriken – Laden Sie externe Link-Metriken aus den APIs von Majestic, Ahrefs und Moz in einen Crawl, um Inhaltsprüfungen durchzuführen oder Links zu profilieren.
  • XML-Sitemap-Generierung – Erstellen Sie mit dem SEO-Spider eine XML-Sitemap und eine Bild-Sitemap.
  • Benutzerdefinierte robots.txt – Laden Sie die robots.txt einer Website herunter, bearbeiten Sie sie und testen Sie sie mit der neuen benutzerdefinierten robots.txt.
  • Gerenderte Screenshots – Rufen Sie die gerenderten gecrawlten Seiten ab, zeigen Sie sie an und analysieren Sie sie.
  • HTML und gerenderte HTML speichern und anzeigen – Unverzichtbar für die Analyse des DOM.
  • AMP-Crawling und -Validierung – Crawlen Sie AMP-URLs und validieren Sie sie mit dem offiziellen integrierten AMP-Validator.
  • XML-Sitemap-Analyse – Crawlen Sie eine XML-Sitemap unabhängig oder als Teil eines Crawls, um fehlende, nicht indexierbare und verwaiste Seiten zu finden.
  • Visualisierungen – Analysieren Sie die interne Verlinkung und URL-Struktur der Website mithilfe der Crawl- und Verzeichnisbaum-Diagramme und Baumgraphen.
  • Strukturierte Daten und Validierung – Extrahieren und validieren Sie strukturierte Daten anhand der Schema.org-Spezifikationen und der Rich-Result-Funktionen von Google.
  • Rechtschreibung und Grammatik – Überprüfen Sie Ihre Website in über 25 verschiedenen Sprachen auf Rechtschreibung und Grammatik.
  • Barrierefreiheit der Website – Verwenden Sie den Open-Source-Regelsatz AXE für die automatisierte Validierung der Barrierefreiheit, um die Website anhand der Web Content Accessibility Guidelines (WCAG) zu testen.
  • KI-Integration – Richten Sie benutzerdefinierte KI-Eingabeaufforderungen mit OpenAI, Gemini, Ollama und Anthropic ein, während Sie nach Erkenntnissen crawlen.
  • Crawl-Vergleich – Vergleichen Sie Crawl-Daten, um Änderungen zu identifizieren und den technischen SEO-Fortschritt zu verfolgen. Vergleichen Sie die Website-Struktur, erkennen Sie Änderungen an Schlüsselelementen und verwenden Sie URL-Mapping, um Staging und Produktion zu vergleichen.
  • Looker Studio Crawl-Berichte – Richten Sie automatisierte Looker Studio Crawl-Berichte ein, um den Zustand und die Trends Ihrer Website zu überwachen.