Crawler
Ein Crawler (oftmals auch als „Bot“, Kurzform von „Robot“ oder als „Spider“ bezeichnet) ist ein Computerprogramm, das automatisiert Dokumente im Web durchsucht, er wird so programmiert, dass das Durchsuchen automatisiert abläuft.
Hierbei handelt es sich um Computerprogramme, die das Internet automatisch durchsuchen und Webseiten analysieren. Crawler dienen vor allem Suchmaschinen zur Indexierung von Webseiten.
Synonyme für Crawler sind Webcrawler, Spider, Searchbot oder auch Robot.
Vor allem Suchmaschinen setzen Crawler ein, um das Internet zu durchsuchen und einen Suchindex aufzubauen. Dabei werden Crawler hauptsächlich zum Zweck des Erfassen von Inhalten verwendet. Doch auch die Ermittlung von veränderten, verschobenen oder gelöschten Inhalten gehören zu ihren Aufgaben.
Der bekannteste aller Webcrawler ist der von Google und wird im Allgemeinen auch als Googlebot bezeichnet. Andere Crawler wiederum können unterschiedliche Arten von Informationen durchsuchen wie RSS-Feeds oder gezielte Daten, wie beispielsweise E-Mail Adressen.