Glossar

Robots.txt

Die Robots.txt ist eine ausgelagerte Textdatei, in der Anweisungen für die Suchmaschinen-Crawler stehen. Mithilfe dieser Datei können Seiten, Dateien oder ganze Bereiche einer Webseite von der Indexierung in die Suchmaschinen ausgeschlossen werden. Das Befolgen dieser Anweisungen in der Robots.txt nehmen viele Suchmaschinen aber nicht immer wahr - denn es kommt häufiger vor, dass eigentlich ausgeschlossene Seiten trotzdem von den Suchmaschinen indexiert wurden.