Ein Crawler ist ein automatisches Computerprogramm in Form eines Suchroboters, welches das World Wide Web durchsucht, analysiert und Daten sammelt. Webcrawler sind auch unter den Namen Spider oder Robot bekannt.