Co to jest robots.txt? Definicja

Plik robots.txt to jeden z podstawowych elementów związanych z optymalizacją stron internetowych, w szczególności z SEO. Jego główną funkcją jest komunikowanie się z robotami indeksującymi wyszukiwarek, takimi jak Googlebot czy Bingbot, i instruowanie ich, które części witryny mają być indeksowane, a które powinny zostać pominięte. Można więc uznać robots.txt za „znak drogowy” dla robotów, który wskazuje im dozwolone i zabronione ścieżki dostępu do zawartości strony.
Plik ten jest umieszczany w głównym katalogu strony internetowej i dostępny pod adresem:
https://www.twojadomena.pl/robots.txt
Chociaż robots.txt nie ma wpływu na samą treść witryny czy jej funkcjonowanie, ma ogromne znaczenie z punktu widzenia widoczności w wyszukiwarkach. Dla administratorów jest to prosty sposób, aby kontrolować, co jest dostępne do indeksowania, a co nie, bez konieczności skomplikowanych zmian w strukturze serwisu.
Przykład pliku robots.txt:
User-agent: *
Disallow: /private/
Allow: /public/
W powyższym przykładzie:
User-agent: określa, do których robotów odnosi się dyrektywa. Gwiazdka (*) oznacza, że reguła dotyczy wszystkich robotów.
Disallow: określa foldery lub pliki, do których roboty nie mają dostępu (tu: /private/).
Allow: wskazuje, co roboty mogą indeksować (tu: /public/).

Jak poprawnie stworzyć plik robots.txt?

Tworzenie poprawnego pliku robots.txt wymaga odpowiedniego zrozumienia, które zasoby na stronie są istotne z punktu widzenia SEO, a które powinny być ukryte przed robotami wyszukiwarek. Niewłaściwe skonfigurowanie pliku może prowadzić do poważnych problemów z indeksowaniem strony, co wpłynie na jej widoczność w wynikach wyszukiwania.

Krok po kroku, jak stworzyć plik robots.txt:

1. Zidentyfikowanie zasobów, które nie powinny być indeksowane: Niektóre części witryny, takie jak strony logowania, panele administracyjne czy zasoby multimedialne (np. obrazy lub pliki PDF), nie muszą być widoczne w wyszukiwarkach. Przed przystąpieniem do tworzenia pliku robots.txt, warto zmapować strukturę strony i zidentyfikować te obszary, które nie powinny być indeksowane.
2. Tworzenie pliku: Plik robots.txt można stworzyć w prostym edytorze tekstowym (np. Notatnik, VS Code). Ważne, aby zapisać plik w formacie tekstowym z rozszerzeniem .txt.
3. Określenie dyrektyw dla robotów:
   • User-agent: Zdefiniuj, dla których robotów mają obowiązywać reguły. Można ustawić reguły uniwersalne (dla wszystkich robotów) lub specyficzne dla poszczególnych wyszukiwarek.
   • Disallow: Wskazuje, które ścieżki mają być wyłączone z indeksowania.
   • Allow: Pozwala na zdefiniowanie wyjątków dla wykluczeń (np. umożliwienie indeksowania części folderu, który ogólnie jest zablokowany).
4. Umieszczenie pliku w odpowiednim katalogu: Plik robots.txt musi znajdować się w głównym katalogu witryny, aby roboty mogły go odnaleźć. W przeciwnym razie jego funkcje nie będą działać poprawnie.
5. Testowanie pliku: Google oferuje narzędzia, takie jak Google Search Console, które umożliwiają testowanie pliku robots.txt, aby upewnić się, że działa on prawidłowo i nie blokuje ważnych zasobów.

Przykłady zaawansowanych konfiguracji robots.txt

• Blokowanie tylko jednego pliku:

User-agent: *

Disallow: /katalog/prywatny-plik.html

• Blokowanie całego katalogu:

User-agent: *

Disallow: /katalog/

• Zezwalanie na dostęp do części katalogu:

User-agent: *

Disallow: /katalog/

Allow: /katalog/plik-do-indeksowania.html

• Zablokowanie indeksowania obrazów:

User-agent: Googlebot-Image

Disallow: /

Jakie ograniczenia ma plik robots.txt?

Chociaż robots.txt jest przydatnym narzędziem w zarządzaniu indeksacją strony, ma pewne ograniczenia, o których warto pamiętać:

• Zaufanie do robotów: Plik robots.txt opiera się na tym, że roboty wyszukiwarek będą przestrzegały ustalonych reguł. Choć większość wyszukiwarek, takich jak Google czy Bing, honoruje dyrektywy zawarte w robots.txt, niektóre roboty mogą je ignorować. Dotyczy to zwłaszcza botów nielegalnych lub podejrzanych, które nie działają w zgodzie ze standardami.
• Brak ochrony danych: Robots.txt nie chroni zasobów przed dostępem. Jeśli adres URL jest znany lub zostanie odkryty w inny sposób, plik nadal może być dostępny publicznie. Dlatego nie jest to skuteczna metoda ukrywania poufnych informacji.
• Nie blokuje indeksowania linków: Plik robots.txt może uniemożliwić dostęp do zasobu, ale nie blokuje indeksowania linków prowadzących do tych zasobów. Na przykład, jeśli inne strony linkują do zablokowanych plików, adresy URL nadal mogą pojawiać się w wynikach wyszukiwania, mimo że ich zawartość nie jest indeksowana.
• Nie dotyczy wszystkich mediów: Robots.txt działa przede wszystkim na strony HTML i pliki, ale w przypadku niektórych typów treści (np. plików graficznych, wideo), roboty mogą działać inaczej. Dla pełnej kontroli nad mediami warto rozważyć dodatkowe dyrektywy lub narzędzia.
• Nie działa wstecz: Zmiana w pliku robots.txt dotyczy tylko przyszłych działań robotów wyszukiwarek. Jeśli wyszukiwarka wcześniej zaindeksowała stronę, blokada w robots.txt nie spowoduje usunięcia jej z indeksu. Aby to osiągnąć, trzeba użyć innych narzędzi, takich jak Google Search Console i funkcji usuwania adresów URL.