robots.txt - Marketinglexikon

Robots.txt ist die Bezeichnung für eine Textdatei. Sie ist im Stammverzeichnis einer Domain abgelegt, die ein Robot nach der Übereinkunft des Robots-Exclusion-Standard-Protokolls zuerst liest, wenn er eine Webseite findet. Mit der robots.txt-Datei ist es einem Webseiten-Betreiber möglich, festzulegen, unter welchen Bedingungen eine Robot seine Seite lesen darf. Der Inhaber kann so bestimmte Inhalte vor Suchmaschinen schützen oder gewisse Bereich indexieren.