Zurück zur Übersicht
Was ist eine Robots.txt?
Die robots.txt ist eine Textdatei im Root-Verzeichnis einer Website, die Suchmaschinen-Crawler anweist, welche Seiten oder Bereiche indexiert oder ignoriert werden sollen. Sie steuert das Crawling, beeinflusst aber nicht direkt die Indexierung.
Abgelegt in: