Crawler

Ein Crawler durchsucht systematisch das Word Wide Web. Dabei werden Links durchsucht und Daten über Webseiten gesammelt. Diese Daten sind Grundlegend für die Platzierung von Suchmaschinen.