Index

Googles Index speichert alle Informationen zu allen Dokumenten und den dazugehörigen Ressourcen, Links und strukturierte Daten, sowie viele mehr. Ohne diesen riesigen Speicher an Informationen könnte Google die Suchergebnisse nicht so schnell zur Verfügung stellen.

Damit die Suchmaschine nicht bei jeder Suche einen Crawler „durch das Internet” schicken muss, werden die Informationen, die die Crawler gesammelt haben dezentral – in sogenannten Shards – gespeichert. Es gibt also nicht eine Datenbank, sondern viele Teile, die über verschiedene Datencenter verteilt sind.

Im Zuge der steigenden mobilen Internetnutzung hat Google seinen Suchindex auf einen Mobile First Index umgestellt.

Indexierung

Beim Indexieren spricht man, im Rahmen von Suchmaschinenoptimierung, von der Erfassung eines Internetauftritts in den Bestand einer Suchmaschine. Webcrawler von zB. Google untersuchen das Internet stetig auf neue Inhalte und nehmen diese anschließend in den Index der entsprechenden Suchmaschine auf.

Eine Seite gilt als von Google indexiert, wenn sie vom Google-Crawler („Googlebot“) aufgerufen, auf Inhalt und Bedeutung hin analysiert und im Google-Index gespeichert wurde.

Indexierte Seiten können in den Google-Suchergebnissen angezeigt werden, sofern sie nicht gegen die Richtlinien für Webmaster von Google verstoßen. Während die meisten Seiten vor der Indexierung gecrawlt werden, indexiert Google einige Seiten auch ohne Zugriff auf den Inhalt, beispielsweise wenn eine Seite durch eine robots.txt Anweisung blockiert wird.