Robots.txt co to jest?
Jest to mechanizm, który stworzono, aby informować roboty wyszukiwarek, czego nie powinny robić. To właśnie zasady zawarte w robots.txt informują m.in., że jakaś strona nie powinna być indeksowana (np. podstrona promująca produkt, który jeszcze nie wyszedł).
Plik robots.txt – jak działa?
Plik robots.txt działa bardzo prosto. Do procesu wyszukiwania nowych materiałów w sieci Internet wykorzystywane są roboty, np. Google, które podążają po stronie i indeksują całą jej zawartość, analizując ją i decydując, czy warto wrzucić je na wysokie pozycje, czy też nie. Plik robots.txt ogranicza dostęp do części strony lub do całej witrynie robotom, które przeszukują Internet i nie jest ona wtedy indeksowana.
Robots.txt jak utworzyć?
Warto wspomnieć, że po utworzeniu odpowiedniego pliku robots.txt i opublikowaniu go na serwerze wszystkie zasady, które zostały w nim zdefiniowane, są natychmiast aktywne. Plik robots.txt można utworzyć w najprostszym edytorze tekstowym, co jest znacznym ułatwieniem.
