Robots.txt – plik umieszczany na serwerze strony internetowej w folderze głównym. Zawiera polecenia dla robotów internetowych odwiedzających strony, zezwalające im lub zabraniające dostępu do określonych zasobów witryny. Przy jego użyciu zablokować można dostęp do konkretnego rodzaju plików, poszczególnych folderów lub też adresów stron.

robots-txt

Zawartość przykładowego pliku robots.txt

Zobacz również: