Googlebot – Suche und Analyse von Webseiten im Internet

4.7/5 - (70 votes)

Der Googlebot ist ein spezielles Programm von Google, das dem Zweck dient, der Suchmaschine verschiedenste Informationen zu Webseiten zur Verfügung zu stellen. Dabei handelt es sich um einen sogenannten Webcrawler oder Searchbot. Der Begriff ist eine Kombination aus dem Namen des Unternehmens und einer Abkürzung des Wortes Roboter und beschreibt bereits relativ genau, wie dieses technische Hilfsmittel funktioniert: nämlich automatisch, wie ein Roboter.

Wie der Googlebot funktioniert

Wenn man im Internet etwas sucht und einen entsprechenden Suchbegriff eingibt, dann durchstöbert man damit nicht das gesamte Internet. Das würde viel zu lange dauern. Um die Zeit zu verkürzen, gibt es den Suchindex von Google. Ein Googlebot ist eine Software, die vollkommen selbstständig Webseiten durchforstet, deren Inhalte analysiert und die Ergebnisse an Google meldet. Das Unternehmen platziert den Inhalt dann in seinem Suchindex, in dem er gefunden wird, sobald jemand bestimmte Suchbegriffe eingibt. Google verwendet dabei unterschiedliche Bots:

  • für Texte,
  • für Bilder,
  • für Werbung,
  • für Nachrichten.

Die verschiedenen Bots „scannen“ sozusagen jede vorhandene Webseite in regelmäßigen Abständen und suchen nach relevanten Daten. Wie oft der Bot eine Seite besucht, hängt vor allem von ihrem Google-Ranking ab. Auch die Anzahl der Links, die auf die Webseite verweisen, ist von Bedeutung. Je öfter ein Link dorthin gesetzt wird, desto öfter schaut der Webcrawler vorbei. Das bedeutet umgekehrt natürlich, dass der Googlebot Seiten, zu denen keine Links führen, nur selten oder gar nicht durchsucht. Solche Webseiten tauchen dann auch nicht im Suchindex auf und werden von Usern nicht gefunden.

Ein Weg, den Googlebot auf die eigene Webseite zu locken, ist neuer und aktueller Content. Denn stetig aktualisierte Seiten werden von Bots häufiger besucht und analysiert, als Webseiten, auf denen sich über lange Zeiträume nichts am Inhalt ändert.

Ablauf der Googlebot-Suche

Um eine Webseite zu analysieren, unternimmt der Googlebot bestimmte Schritte, die ihn zum Ergebnis führen und die darüber entscheiden, wie ein Internetauftritt beurteilt wird. Der Ablauf ist folgender:

  1. Früher gecrawlte Webseiten werden aufgelistet.
  2. Alle Dokumente einer Seite werden durchsucht.
  3. Es wird festgelegt, ob eine Indexierung stattfindet oder nicht.
  4. Inhalten werden indexiert.
  5. Links, die von der Webseite ausgehen, werden verfolgt.

Am Ende eines jeden Crawlvorgangs steht dann die Einordnung in den Google-Suchindex, woraus sich letztlich das Google Ranking ableitet.

Welcher Googlebot darf eine Webseite durchsuchen?

Wer glaubt, Google könnte einfach nach eigenen Vorstellungen Webseiten durchforsten und sich sämtliche Inhalte zunutze machen, der irrt. Es liegt ferner in der Hand des Webmasters einer Seite, welchem Googlebot er in welchem Umfang Zugang zum Internetauftritt gewährt. Es gibt verschiedene Methoden, wie ein Administrator Inhalte für Google sperren kann. Er kann dies mithilfe der sogenannten robots.txt-Datei erreichen. Der entsprechende Befehl lautet im Meta-Tag:

  • <meta name = „Googlebot“ content = „nofollow“/>
  • <meta name = „Googlebot“ content = „noindex“/>

Häufige Besuche von Googlebots wirken sich negativ auf die Serverleistung aus. Daher kann man über das Webmaster-Tool von Google nicht nur Inhalte sperren, sondern auch die Frequenz festlegen, mit der die Webseite von einem Googlebot durchsucht wird.

Fernlehrgang Suchmaschinenoptimierung

Das Crawlbudget für Googlebots

Es gibt auch das Crawlbudget, das festlegt, wie viele Unterseiten einer Webseite durch den Googlebot durchsucht werden. Die Nutzung dieses Budgets kann man als Webmaster selbst steuern. Beispielsweise kann man sein Crawlbudget dadurch schonen, dass man jeden vorhandenen Double Content, Spam oder nicht relevanten Inhalt von seiner Webseite entfernt. Zudem sollte verhindert werden, dass sich Serverfehler einschleichen oder die Webseite gehackt wird. Auch eine zu komplizierte Seitennavigation mit zahllosen URLs oder gänzlich fehlende Inhalte verringern das Crawlbudget und wirken sich negativ auf die Besuchsfrequenz und die Crawltiefe der Bots aus. Auch Google muss sparen und ist darauf angewiesen, dass seine Software möglichst effizient arbeitet. Bei jedem Besuch einer Unterseite der Webseite alles zu durchsuchen und zu analysieren, würde selbst die zeitlichen und finanziellen Kapazitäten von Google deutlich übersteigen.

Der Googlebot und die URL einer Webseite

Während seines Besuchs auf einer Webseite verfolgt ein Googlebot stets alle vorhandenen URLs. Für das Crawltbudget ist es unerheblich, ob es sich bei der URL um die eigentliche Adresse handelt oder um eine alternative beziehungsweise eingebettete URL. Das kann gleichzeitig positiv und negativ sein. Möchte man sein Crawlbudget nicht für das Durchsuchen von unwichtigen Unterseiten mit eigener URL verschwenden, ist es sinnvoll, diese nicht benötigten URL-Adressen von der Webseite zu entfernen.

Crawling durch Googlebot und sein Einfluss auf das Ranking

Laut Experten hat zwar das Crawling einer Webseite mithilfe eines Googlebot keinen Einfluss darauf, wie Google die Seite rankt. Allerdings ist anzunehmen, dass eine oft und tief durchsuchte (gecrawlte) Webseite im Ranking steigt. Grund dafür dürfte sein, dass die von Google verwendeten Algorithmen jedes Mal kontrollieren, wie gut eine Webseite mit vorhandenen Suchbegriffen harmoniert. Zudem wird nach jeder Durchsuchung der Suchindex angepasst.

SEO Seminar

Sie möchten mit Ihrer Webseite gute Rankings erzielen? Im SEO Seminar lernen Sie die wichtigsten Maßnahmen zur Suchmaschinenoptimierung kennen. Informieren Sie sich über die Termine und genauen Inhalte:

Legende:
Freie Plätze vorhanden.
Nur noch wenige Plätze frei!
Leider ausgebucht.

Aktualisierung von Webseiten als Lockmittel für jeden Googlebot

Wer eine Webseite betreibt, egal, ob es sich um eine private Seite oder eine Unternehmensseite handelt, möchte von Internetnutzern möglichst oft gefunden werden. Ein Googlebot kann dies bewerkstelligen. Allerdings muss mit verschiedenen Tricks auf die Webseite gelockt und dafür gesorgt werden, dass er sein gesamtes Crawlbudget ausschöpft. Um dies zu erreichen, führt man am besten eine stetige Aktualisierung der Webseite durch. Neue, interessante und nicht doppelt vorhandene Inhalte sorgen in den meisten Fällen für häufigere Besuche der Googlebots. Auch Verlinkungen auf die Webseite beziehungsweise selbst aktiv vorgenommenes Linkbuilding wirken wie ein Magnet auf die Bots von Google. Sie zeigen an, dass die Seite beliebt und damit für viele Nutzer relevant ist. Bei allen Aktivitäten geht es letztlich darum, die Webseite zu optimieren.

Die Arbeit der Googlebots als Teilaspekt einer optimierten Marketingstrategie

Jedes im Internet vertretene Unternehmen möchte von potenziellen Kunden gefunden werden. Je mehr Suchanfragen Kunden auf die Unternehmenswebseite führen, umso größer ist die Chance, Umsatz zu generieren. Ein leider negatives Beispiel für das Verpassen der Chancen, die das Internet bietet, ist die Marke H&M. Das Unternehmen hat nach Auffassung vieler Experten zu lange auf seine Ladengeschäfte gesetzt und dabei den Ausbau des Onlinegeschäftes mithilfe einer hoch gerankten Webseite verschlafen.

Aus diesem Grund ist es für eine Firma ratsam, sich mit dem Thema Googlebot zu befassen und durch die entsprechenden Optimierungsmaßnahmen der Webseiteninhalte dafür Sorge zu tragen, dass die Bots die Seite möglichst häufig und tief crawlen, neue Inhalte finden und sich für eine Indexierung im Suchindex von Google entscheiden. Insofern ist ein gutes Ergebnis der Botarbeit ein wichtiger Hinweis auf die Erfolge einer modernen Marketingstrategie.

Die Anwendung von Suchmaschinenoptimierung im Rahmen eines SEO Contest

In einem SEO Contest (Search Engine Optimization Contest, Suchmaschinenoptimierungs-Wettbewerb) versuchen die Teilnehmer mit fiktiven Wörtern/Keywords möglichst weit vorne bei einer Suchmaschine gelistet zu werden. Die Website, die an einem bestimmten Stichtag oder nach einem definierten Punktesystem auf dem 1. Platz der Suchmaschine, beispielweise bei Google, erscheint, gewinnt den SEO Contest.

Ein solcher Contest bietet den Webseitenbetreibern die Möglichkeit neue Strategien im Rahmen der Suchmaschinenoptimierung auszuprobieren und die Wirkung bestehender Strategien zu beobachten.

SEO Conteste stehen im Verdacht die Suchmaschinen durch den künstlich und speziell für den Contest erzeugten Content voll zu spammen. Allerdings können die realen Suchergebnisse durch die meist frei erfundenen Keywords nicht verfälscht werden, sodass keine negativen Auswirkungen auf die realen Suchanfragen bestehen. Ganz im Gegenteil: Wettbewerbe können sogar Schwachstellen in den Such- und Bewertungsverfahren der Suchmaschinen identifizieren und so zu einer Verbesserung der Suchmaschine führen.

Aktuell findet der SEO Contest von Cinestock statt, in dem es darum geht entweder für das fiktive Keyword Black Hat Sith oder White Hat Jedi im generischen Suchergebnis von Google.de zu ranken.

Ihre Kontaktanfrage

Wir unterstützen Unternehmen durch Seminare, Schulungen, Beratungsansätze und Coachings!
Wie können wir Sie unterstützen?


    Hier können Sie uns mitteilen, wann wir Sie zwischen 09.00 Uhr und 18.00 Uhr am besten telefonisch erreichen.