Crawler

Auch: Bot · Spider

Ein Programm, das Websites automatisch abruft, um sie für eine Suchmaschine zu erfassen.

Wann ein Crawler vorbeikommt, entscheidet die Suchmaschine — Stunden bis Wochen. In der Datei robots.txt lässt sich festlegen, welche Bereiche er nicht abrufen soll.