Glossar

Crawler

Crawler, auch Spider oder Robot genannt, sind Programme von Suchmaschinen, die Webseiten durchsuchen und die Inhalte an die Suchmaschinen weiterleiten. Ein Crawler wandelt die Internet-Adressen dabei in eine IP-Adresse um, damit der Crawler mit dem jeweiligen Server in Verbindung treten kann. Crawler indexieren auch neue Seiten, indem sie z.B. einem Link folgen und dadurch die neue Seite entdecken. Crawler sind auch dafür zuständig neue Inhalte auf einer Seite zu finden und diese dann an die Suchmaschine weiterzuleiten.