Damit Webseiten von Suchmaschinen indexiert werden können, lesen diese Seiten. Die entsprechenden Programme für diese Funktion heißen Spider, oder auch Robot und Crawler. Diese Analyseprogramme können allerdings nur Text und keine Bilder, Filme oder andere Formate auswerten.
