Robots.txt to prosty plik tekstowy umieszczany w głównym katalogu witryny, który zawiera instrukcje dla robotów wyszukiwarek – informując je, które zasoby mogą być indeksowane, a które powinny zostać pominięte. Plik ten oparty jest na standardzie Robots Exclusion Protocol i pozwala właścicielowi strony częściowo kontrolować sposób, w jaki wyszukiwarki przeszukują witrynę.
Rola pliku robots.txt w kontroli dostępu dla botów
Robots.txt znajduje zastosowanie przede wszystkim tam, gdzie istnieje potrzeba wykluczenia niektórych katalogów lub plików z indeksowania – np. zaplecza administracyjnego, stron testowych, zasobów tymczasowych lub technicznych elementów, które nie powinny być widoczne w wynikach wyszukiwania. Warto jednak pamiętać, że plik ten nie zabezpiecza treści przed dostępem – jedynie sugeruje robotom, czego nie analizować.
Najważniejsze cechy pliku robots.txt:
- musi być umieszczony w katalogu głównym witryny (example.com/robots.txt),
- wykorzystuje dyrektywy takie jak User-agent, Disallow, Allow,
- ma wpływ na to, jak efektywnie i zgodnie z intencją właściciela strony przebiega proces indeksacji.
Dobrze skonfigurowany robots.txt ułatwia zarządzanie zasobami i pomaga wyszukiwarkom skupić się na kluczowych treściach serwisu.
« Wróć do słownika SEO