Die Analyse von SEO-Protokolldateien hilft, das Verhalten des Crawlers auf der Website zu verstehen und potenzielle Möglichkeiten zur technischen SEO-Optimierung zu identifizieren.
SEO ohne Analyse des Verhaltens der Crawler ist wie ein Blindflug. Möglicherweise haben Sie die Website bei der Google-Suchkonsole eingereicht und indexiert, aber ohne die Protokolldateien zu studieren, werden Sie keine Vorstellung davon bekommen, ob Ihre Website von Suchmaschinen-Bots richtig gecrawlt oder gelesen wird oder nicht.
Aus diesem Grund habe ich alles zusammengestellt, was Sie wissen müssen, um SEO-Protokolldateien zu analysieren und daraus Probleme und SEO-Möglichkeiten zu identifizieren.
Inhaltsverzeichnis
Was ist Logdatei-Analyse?
Die Analyse von SEO-Protokolldateien ist ein Prozess, um das Muster der Interaktion von Suchmaschinen-Bots mit der Website zu erkennen. Die Logfile-Analyse ist ein Teil des technischen SEO.
Die Prüfung von Protokolldateien ist für SEOs wichtig, um Probleme im Zusammenhang mit Crawling, Indizierung und Statuscodes zu erkennen und zu lösen.
Was sind Protokolldateien?
Protokolldateien verfolgen, wer eine Website besucht und welche Inhalte sie sich ansehen. Sie enthalten Informationen darüber, wer Zugriff auf die Website angefordert hat (auch bekannt als „der Kunde“).
Die wahrgenommenen Informationen können sich auf Suchmaschinen-Bots wie Google oder Bing oder einen Website-Besucher beziehen. Typischerweise werden Protokolldateiaufzeichnungen vom Webserver der Website gesammelt und gepflegt und normalerweise für eine bestimmte Zeit aufbewahrt.
Was enthält die Protokolldatei?
Bevor Sie wissen, wie wichtig Protokolldateien für SEO sind, ist es wichtig zu wissen, was sich in dieser Datei befindet. Die Protokolldatei e enthält die folgenden Datenpunkte:-
- Seiten-URL, die der Website-Besucher anfordert
- Der HTTP-Statuscode der Seite
- Angeforderte Server-IP-Adresse
- Datum und Uhrzeit des Treffers
- Daten des User Agents (Suchmaschinen-Bot), der eine Anfrage stellt
- Anfragemethode (GET/POST)
Protokolldateien können Ihnen auf den ersten Blick kompliziert erscheinen. Sobald Sie jedoch den Zweck und die Bedeutung von Protokolldateien für SEO kennen, werden Sie sie effektiv nutzen, um wertvolle SEO-Erkenntnisse zu generieren.
Zweck der Analyse von Protokolldateien für SEO
Die Logfile-Analyse hilft bei der Lösung einiger wichtiger technischer SEO-Probleme, wodurch Sie eine effektive SEO-Strategie zur Optimierung der Website erstellen können.
Hier sind einige SEO-Probleme, die mithilfe von Protokolldateien analysiert werden können:
#1. Häufigkeit des Crawlens der Website durch den Googlebot
Suchmaschinen-Bots oder Crawler sollten Ihre wichtigen Seiten häufig crawlen, damit die Suchmaschine über Ihre Website-Updates oder neue Inhalte Bescheid weiß.
Ihre wichtigen Produkt- oder Informationsseiten sollten alle in den Protokollen von Google erscheinen. Eine Produktseite für ein Produkt, das Sie nicht mehr verkaufen, sowie das Fehlen einer Ihrer wichtigsten Kategorieseiten sind Hinweise auf ein Problem, das anhand von Protokolldateien erkannt werden kann.
Wie nutzt ein Suchmaschinen-Bot das Crawl-Budget?
Jedes Mal, wenn ein Suchmaschinen-Crawler Ihre Website besucht, hat er ein begrenztes „Crawl-Budget“. Google definiert ein Crawl-Budget als die Summe aus der Crawl-Rate und der Crawl-Nachfrage einer Website.
Das Crawlen und Indizieren einer Website kann behindert werden, wenn sie viele URLs mit niedrigem Wert oder URLs enthält, die in der Sitemap nicht korrekt übermittelt werden. Das Crawlen und Indizieren wichtiger Seiten ist einfacher, wenn Ihr Crawl-Budget optimiert ist.
Die Logfile-Analyse hilft bei der Optimierung des Crawl-Budgets, das die SEO-Bemühungen beschleunigt.
#2. Probleme und Status der Mobile-First-Indizierung
Die Mobile-First-Indexierung ist mittlerweile für alle Websites wichtig und wird von Google bevorzugt. Die Logfile-Analyse verrät Ihnen, wie oft der Smartphone-Googlebot Ihre Seite crawlt.
Diese Analyse hilft Webmastern, die Webseiten für mobile Versionen zu optimieren, wenn die Seiten vom Smartphone-Googlebot nicht korrekt gecrawlt werden.
#3. HTTP-Statuscode, der von Webseiten auf Anfrage zurückgegeben wird
Die letzten Antwortcodes, die unsere Webseiten zurückgeben, können entweder über Protokolldateien oder über die Option zum Abrufen und Rendern von Anfragen in der Google Search Console abgerufen werden.
Protokolldateianalysatoren können die Seiten mit den Codes 3xx, 4xx und 5xx finden. Sie können diese Probleme beheben, indem Sie die entsprechenden Maßnahmen ergreifen, z. B. die URLs an die richtigen Ziele umleiten oder den 302-Status in 301 ändern.
#4. Analyse der Crawling-Aktivitäten wie Crawling-Tiefe oder interne Links
Google bewertet Ihre Websitestruktur anhand der Crawling-Tiefe und der internen Links. Gründe für das unsachgemäße Crawlen der Website können eine schlechte Interlink-Struktur und Crawling-Tiefe sein.
Wenn Sie irgendwelche Schwierigkeiten mit der Hierarchie oder Seitenstruktur Ihrer Website oder der Verbindungsstruktur haben, können Sie die Protokolldateianalyse verwenden, um sie zu finden.
Die Logfile-Analyse hilft, die Website-Architektur und die Verknüpfungsstruktur zu optimieren.
#4. Entdecken Sie verwaiste Seiten
Verwaiste Seiten sind die Webseiten auf der Website, die von keiner anderen Seite verlinkt sind. Es ist schwierig für solche Seiten, indiziert zu werden oder in Suchmaschinen zu erscheinen, da sie nicht leicht von Bots entdeckt werden können.
Verwaiste Seiten können leicht von Crawlern wie Screaming Frog entdeckt werden, und dieses Problem kann gelöst werden, indem diese Seiten mit den anderen Seiten der Website verknüpft werden.
#5. Prüfen Sie die Seiten auf Seitengeschwindigkeit und -erfahrung
Page Experience und Core Web Vitals sind jetzt offiziell die Ranking-Faktoren, und es ist jetzt wichtig, dass Webseiten den Google-Richtlinien zur Seitengeschwindigkeit entsprechen.
Langsame oder große Seiten können mit Protokolldatei-Analysatoren entdeckt werden, und diese Seiten können für die Seitengeschwindigkeit optimiert werden, was das Gesamtranking in den SERPs unterstützt.
Die Protokolldateianalyse hilft Ihnen, die Kontrolle darüber zu erlangen, wie Ihre Website gecrawlt wird und wie Suchmaschinen mit Ihrer Website umgehen
Nachdem wir uns nun mit den Grundlagen von Protokolldateien und ihrer Analyse vertraut gemacht haben, wollen wir uns den Prozess der Prüfung der Protokolldateien für SEO ansehen
So führen Sie eine Protokolldateianalyse durch
Wir haben uns bereits mit verschiedenen Aspekten von Logfiles und der Bedeutung von SEO beschäftigt. Jetzt ist es an der Zeit, den Prozess der Dateianalyse und die besten Tools zur Analyse der Protokolldateien kennenzulernen.
Sie benötigen Zugriff auf die Serverprotokolldatei der Website, um auf die Protokolldatei zugreifen zu können. Die Dateien können auf folgende Weise analysiert werden:
Für den manuellen Zugriff auf die Protokolldateien sind verschiedene Schritte erforderlich.
- Sammeln oder exportieren Sie die Protokolldaten vom Webserver, und die Daten sollten für die Suchmaschinen-Bots oder Crawler gefiltert werden.
- Konvertieren Sie die heruntergeladene Datei mithilfe von Datenanalysetools in ein lesbares Format.
- Analysieren Sie die Daten manuell mit Excel oder anderen Visualisierungstools, um SEO-Lücken und -Möglichkeiten zu finden.
- Sie können auch Filterprogramme und Befehlszeilen verwenden, um Ihre Arbeit zu vereinfachen
Das manuelle Bearbeiten von Dateidaten ist nicht einfach, da es Excel-Kenntnisse erfordert und das Entwicklungsteam einbezieht. Dennoch erleichtern Tools zur Analyse von Logdateien SEOs die Arbeit.
Sehen wir uns die wichtigsten Tools zum Auditieren der Protokolldateien an und erfahren Sie, wie diese Tools uns bei der Analyse der Protokolldateien helfen.
Screaming Frog Log File Analyzer
Technische SEO-Probleme können anhand von hochgeladenen Logfile-Daten identifiziert und Suchmaschinen-Bots anhand der verifiziert werden Screaming Frog Log File Analyzer. Sie können auch wie folgt vorgehen:
- Suchmaschinen-Bot-Aktivität und Daten für die Suchmaschinenoptimierung.
- Entdecken Sie die Website-Crawling-Frequenz durch Suchmaschinen-Bots
- Informieren Sie sich über alle technischen SEO-Probleme und externe und interne defekte Links
- Analyse der URLs, die am wenigsten und am meisten gecrawlt wurden, um Verluste zu reduzieren und die Effizienz zu steigern.
- Entdecken Sie Seiten, die nicht von Suchmaschinen gecrawlt werden.
- Alle Daten können verglichen und kombiniert werden, einschließlich externer Linkdaten, Richtlinien und anderer Informationen.
- Zeigen Sie die Daten zu Referrer-URLs an
Das Analysetool für Protokolldateien von Screaming Frog kann für ein einzelnes Projekt mit einem Limit von 1000 Zeilenprotokollereignissen völlig kostenlos verwendet werden. Sie müssen auf die kostenpflichtige Version upgraden, wenn Sie uneingeschränkten Zugriff und technische Unterstützung wünschen.
JetOctopus
Wenn es um erschwingliche Protokollanalyse-Tools geht, ist JetOctopus am besten. Es hat eine siebentägige kostenlose Testversion, keine Kreditkarte erforderlich und eine Zwei-Klick-Verbindung. Crawling-Frequenz, Crawling-Budget, beliebteste Seiten und mehr können anhand von identifiziert werden JetOctopus-Protokollanalysatorgenau wie die anderen Tools auf unserer Liste.
Mit diesem Tool können Sie Logfile-Daten mit Google Search Console-Daten integrieren und sich so einen deutlichen Vorteil gegenüber der Konkurrenz verschaffen. Mit dieser Kombination können Sie sehen, wie der Googlebot mit Ihrer Website interagiert und wo Sie sich verbessern können.
Auf Crawl Log Analyzer
Über 500 Millionen Protokollzeilen werden täglich von verarbeitet Oncrawl Log Analyzer, ein Tool für mittlere bis große Websites. Es behält Ihre Webserver-Protokolle in Echtzeit im Auge, um sicherzustellen, dass Ihre Seiten ordnungsgemäß indiziert und gecrawlt werden.
Oncrawl Log Analyzer ist DSGVO-konform und hochsicher. Anstelle von IP-Adressen speichert das Programm alle Protokolldateien in einer sicheren und getrennten FTP-Cloud.
Neben JetOctopus und Screaming Frog Log File Analyzer hat Oncrawl einige weitere Funktionen, wie zum Beispiel:
- Unterstützt viele Protokollformate wie IIS, Apache und Nginx.
- Das Tool passt sich leicht an Ihre Verarbeitungs- und Lageranforderungen an, wenn diese sich ändern
- Die dynamische Segmentierung ist ein leistungsstarkes Tool zum Aufdecken von Mustern und Verbindungen in Ihren Daten, indem Sie Ihre URLs und internen Links nach verschiedenen Kriterien gruppieren.
- Verwenden Sie Datenpunkte aus Ihren rohen Protokolldateien, um umsetzbare SEO-Berichte zu erstellen.
- Protokolldateien, die auf Ihren FTP-Bereich übertragen werden, können mit Hilfe von technischen Mitarbeitern automatisiert werden.
- Alle gängigen Browser können überwacht werden, darunter Google, Bing, Yandex und die Crawler von Baidu.
OnCrawl Log Analyzer hat zwei weitere wichtige Tools:
Oncrawl SEO-Crawler: Mit Oncrawl SEO Crawler können Sie Ihre Website mit hoher Geschwindigkeit und mit minimalen Ressourcen durchsuchen. Verbessert das Verständnis des Benutzers, wie sich Ranking-Kriterien auf die Suchmaschinenoptimierung (SEO) auswirken.
Oncrawl-Daten: Oncrawl-Daten analysieren alle SEO-Faktoren, indem sie Daten aus Crawl und Analyse kombinieren. Es ruft die Daten aus den Crawl- und Protokolldateien ab, um das Crawl-Verhalten zu verstehen, und empfiehlt das Crawl-Budget für vorrangige Inhalte oder Ranking-Seiten.
SEMrush Log File Analyzer
Das SEMrush Log File Analyzer ist eine kluge Wahl für ein unkompliziertes, browserbasiertes Protokollanalysetool. Dieser Analysator muss nicht heruntergeladen werden und kann in der Online-Version verwendet werden.
SEMrush präsentiert Ihnen zwei Berichte:
Seiten-Hits: Pages‘ Hits meldet die Interaktion der Web-Crawler mit dem Inhalt Ihrer Website. Es gibt Ihnen die Daten von Seiten, Ordnern und URLs mit den maximalen und minimalen Interaktionen mit Bots.
Die Aktivität des Googlebots: Der Googlebot-Aktivitätsbericht bietet tagesaktuelle Einblicke in die Website, wie z. B.:
- Die Typen der durchforsteten Dateien
- Der allgemeine HTTP-Statuscode
- Die Anzahl der Anfragen, die von verschiedenen Bots an Ihre Website gesendet wurden
Loggly von SolarWinds
Loggly von SolarWinds untersucht die Zugriffs- und Fehlerprotokolle Ihres Webservers sowie die wöchentlichen Metriken der Website. Sie können Ihre Protokolldaten jederzeit einsehen und es verfügt über Funktionen, die das Durchsuchen von Protokollen vereinfachen.
Ein robustes Protokolldatei-Analysetool wie SolarWinds Loggly ist erforderlich, um die Protokolldateien auf Ihrem Webserver effizient nach Informationen über den Erfolg oder Misserfolg von Ressourcenanforderungen von Clients zu durchsuchen.
Loggly kann Diagramme mit den am wenigsten besuchten Seiten bereitstellen und die durchschnittliche, minimale und maximale Seitenladegeschwindigkeit berechnen, um Sie bei der Optimierung der Suchmaschinenoptimierung Ihrer Website zu unterstützen.
Crawling-Statistiken der Google Search Console
Google Search Console erleichterte es den Benutzern, indem es einen nützlichen Überblick über seine Praktiken bot. Die Bedienung der Konsole ist unkompliziert. Ihre Crawling-Statistiken werden dann in drei Kategorien unterteilt:
- Kilobytes, die pro Tag heruntergeladen werden: Gibt die Kilobytes an, die von Googlebots beim Besuch der Website heruntergeladen werden. Dies weist im Wesentlichen auf zwei wichtige Punkte hin: Wenn in der Grafik hohe Durchschnittswerte angezeigt werden, bedeutet dies, dass die Website häufiger gecrawlt wird, oder es kann auch darauf hinweisen, dass der Bot lange braucht, um eine Website zu crawlen, und dass sie nicht leicht ist.
- Gecrawlte Seiten pro Tag: Gibt die Anzahl der Seiten an, die der Googlebot jeden Tag crawlt. Es notiert auch den Status der Crawling-Aktivität, unabhängig davon, ob er niedrig, hoch oder durchschnittlich ist. Eine niedrige Crawling-Rate weist darauf hin, dass die Website vom Googlebot nicht richtig gecrawlt wird
- Zeitaufwand für das Herunterladen einer Seite (in Millisekunden): Dies gibt die Zeit an, die der Googlebot benötigt, um beim Crawlen der Website HTTP-Anforderungen zu stellen. Je weniger Zeit der Googlebot für Anfragen aufwenden muss, desto besser ist das Herunterladen der Seite, da die Indizierung schneller erfolgt.
Fazit
Ich hoffe, Sie haben viel aus diesem Leitfaden zur Analyse von Protokolldateien und Tools zur Prüfung der Protokolldateien für SEO mitgenommen. Die Prüfung der Protokolldateien kann sehr effektiv sein, um die technischen SEO-Aspekte der Website zu verbessern.
Google Search Console und SEMrush Log File Analyzer sind zwei Optionen für ein kostenloses und einfaches Analysetool. Alternativ können Sie Screaming Frog Log File Analyzer, JetOctopus oder Oncrawl Log Analyzer überprüfen, um besser zu verstehen, wie Suchmaschinen-Bots mit Ihrer Website interagieren. Sie können gemischte Premium- und kostenlose Logdatei-Analysetools für SEO verwenden.
Sie können sich auch einige fortschrittliche Website-Crawler ansehen, um die SEO zu verbessern.