Crawler kurz erklärt

Ein Crawler ist ein Programm, das Suchmaschinen verwenden, um Daten aus dem Internet zu sammeln.

Besucht ein Crawler eine Website, dann liest er alle Inhalte (d.h. Texte) der Website aus und speichert sie in einer Datenbank. Zusätzlich speichert er alle internen und externen Links der Website. Die gespeicherten Links besucht der Crawler dann zu einem späteren Zeitpunkt und gelangt so im Internet von einer Website zur nächsten. Dadurch erfasst und indiziert er alle Websites, die mindestens einmal von einer anderen Website aus verlinkt wurden.


War diese Information für Sie hilfreich?

Ihr Feedback hilft uns, unseren Service weiter zu verbessern. Melden Sie sich dafür in Ihrem IONOS Kundenkonto an, indem Sie oben rechts auf die Login-Schaltfläche klicken. Danach können Sie unterhalb des Artikels eine Bewertung abgeben.