Crawler - Marketinglexikon

Ein Crawler oder auch Webcrawler ist eine Software, mit der das Internet unter Zuhilfenahme von Indexeinträgen nach neuen Webseiten oder bestimmten Inhalten durchsucht und analysiert wird. Weiterhin erfasst die Software RSS-Newsfeeds und E-Mail-Adressen. Suchmaschinen setzen Crawler ein, um ihren Datenbestand zu erweitern, wobei sie sich ständig wiederholende Aufgaben durchführen und weitestgehend autonom arbeiten.