Crawler kurz erklärt

Ein Crawler ist ein Programm, das Suchmaschinen verwenden, um Daten aus dem Internet zu sammeln.

Besucht ein Crawler eine Website, dann liest er alle Inhalte (d.h. Texte) der Website aus und speichert sie in einer Datenbank. Zusätzlich speichert er alle internen und externen Links der Website. Die gespeicherten Links besucht der Crawler dann zu einem späteren Zeitpunkt und gelangt so im Internet von einer Website zur nächsten. Dadurch erfasst und indiziert er alle Websites, die mindestens einmal von einer anderen Website aus verlinkt wurden.


Das neue 1&1 IONOS Hilfe-Center mit Anleitungen, Informationen und Tutorials zu unseren Hosting-Produkten.