robots.txt

robots.txt (czasem nazywany plikem robots.txt lub plikiem reguł dla robotów) jest prostym plikiem tekstowym umieszczanym w katalogu głównym serwera WWW (/), w którym wydawane są instrukcje dla automatycznych programów przeglądających sieć, zwanych robotami indeksującymi lub wyszukiwarkami internetowymi. Plik ten określa, które zasoby witryny mogą być odwiedzane i indeksowane, a które mają być pomijane.

Historia

Standard Robots Exclusion Protocol został po raz pierwszy opisany w 1994 roku w formie nieformalnego RFC RFC 9309, a później uzupełniony w RFC 1998 oraz RFC 2144. Pierwszy publicznie dostępny plik robots.txt pojawił się na stronie W3C w 1994 roku, a od tego czasu protokół stał się powszechnie przyjętym elementem SEO i zarządzania dostępem do treści.

Składnia i najważniejsze dyrektywy

Plik robots.txt składa się z jednej lub wielu sekcji, z których każda zaczyna się od deklaracji User-agent, określającej nazwę robota, do którego odnoszą się kolejne reguły. Najważniejsze dyrektywy to:

User-agent – identyfikator robota (np. * dla wszystkich robotów).
Disallow – ścieżka, której dany robot nie powinien odwiedzać.
Allow – (wprowadzona w późniejszych wersjach protokołu) ścieżka, którą robot może odwiedzić, nawet jeżeli szersza reguła Disallow zabrania dostępu.
Crawl-delay – liczba sekund, jaką robot powinien odczekać między kolejnymi żądaniami do serwera.
Sitemap – adres URL pliku mapy witryny, ułatwiający robotom znajdowanie wszystkich dostępnych zasobów.

Przykład typowego pliku

# Przykładowy robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Crawl-delay: 10
Sitemap: https://example.com/sitemap.xml

Powyższy plik informuje wszystkie roboty (*), aby nie wchodziły do katalogów /admin/ i /private/, ale mogły przeglądać /public/. Dodatkowo nakłada 10‑sekundowy odstęp między kolejnymi żądaniami oraz wskazuje lokalizację mapy witryny.

Zastosowanie i znaczenie

Robots.txt jest wykorzystywany w kilku kluczowych obszarach:

Ograniczenie obciążenia serwera – poprzez Crawl-delay można zmniejszyć częstotliwość żądań dużych witryn.
Ochrona prywatnych lub niegotowych do publikacji treści – wykluczanie katalogów /tmp/, /test/ itp.
Zarządzanie indeksowaniem – w połączeniu z meta tagiem robots pozwala precyzyjnie określić, które strony mają być indeksowane.
Ułatwienie indeksacji – podanie adresu Sitemap przyspiesza i uzupełnia proces indeksowania.

Powiązane technologie

Robots.txt współdziała z innymi elementami ekosystemu sieciowego:

Protokół HTTP – plik jest pobierany metodą GET pod adresem http://example.com/robots.txt.
Meta tagi robots – stosowane wewnątrz dokumentów HTML w celu precyzyjniejszych zaleceń.
Mapa witryny (sitemap.xml) – uzupełnia robots.txt, wskazując wszystkie dostępne zasoby.
SEO – dobre praktyki w zakresie robots.txt wpływają na widoczność w wynikach wyszukiwania.

Ograniczenia i kontrowersje

Choć protokół jest szeroko respektowany, ma kilka istotnych ograniczeń:

Nie jest wymuszany prawnie – nieuczciwe boty mogą go zignorować.
Brak wsparcia dla zaawansowanych reguł, takich jak wyrażenia regularne (choć niektóre wyszukiwarki wprowadzają rozszerzenia).
Plik dostępny publicznie może ujawnić strukturę witryny, co w rękach atakującego może stanowić wyciek informacji.

Najlepsze praktyki

Umieszczaj robots.txt w katalogu głównym serwera, aby był dostępny pod adresem https://domena.pl/robots.txt.
Używaj znacznika # do komentarzy – ułatwia utrzymanie i zrozumienie pliku.
Stosuj Allow i Disallow w sposób jednoznaczny – najdłuższa pasująca ścieżka ma pierwszeństwo.
Dodawaj Sitemap – przyspiesza indeksację i zmniejsza liczbę niepotrzebnych żądań.
Regularnie testuj plik przy pomocy narzędzi dostępnych w wyszukiwarkach internetowych (np. Test robots.txt w Google Search Console).
Unikaj blokowania zasobów niezbędnych do renderowania stron (pliki CSS, JS, obrazy), aby nie obniżać jakości indeksacji.