Meta Robots — Co to jest? Definicja

Meta Robots to specjalny tag HTML, który umieszczany jest w sekcji <head> strony internetowej. Służy on do przekazywania wyszukiwarkom, jak mają zachowywać się podczas indeksowania zawartości danej strony. Jest to jeden z kluczowych elementów optymalizacji pod kątem wyszukiwarek internetowych (SEO), umożliwiający właścicielom witryn kontrolowanie tego, jak roboty wyszukiwarek (tzw. crawlers) traktują ich strony.

Metatag Robots może zawierać różne instrukcje, takie jak:

index/noindex – określa, czy strona ma być indeksowana (widoczna w wynikach wyszukiwania).
follow/nofollow – decyduje, czy roboty wyszukiwarek mają podążać za linkami na stronie.
noarchive – blokuje wyszukiwarkę przed tworzeniem kopii cache strony.
nosnippet – zapobiega wyświetlaniu fragmentów tekstu (snippets) z danej strony w wynikach wyszukiwania.
noimageindex – blokuje indeksowanie obrazów na stronie.
unavailable_after – określa datę, po której strona powinna zostać usunięta z wyników wyszukiwania.

Jak działa metatag Robots?

Metatag Robots działa jako mechanizm komunikacyjny między stroną internetową a robotami wyszukiwarek. Gdy robot wyszukiwarki odwiedza stronę, najpierw analizuje sekcję <head> dokumentu HTML, aby sprawdzić, czy istnieją instrukcje Meta Robots. Na podstawie tych instrukcji robot decyduje, jak postępować z zawartością strony.

Przykład metatagu Robots w kodzie HTML może wyglądać następująco:

html

W powyższym przykładzie roboty wyszukiwarek są instruowane, aby nie indeksowały tej strony (noindex) i nie podążały za żadnymi linkami znajdującymi się na niej (nofollow).

Działanie metatagu Robots można porównać do zasad obowiązujących w bibliotece: mówi on wyszukiwarkom, które książki (strony) mogą być widoczne dla odwiedzających (indeksowanie), a które mają być pominięte (brak indeksowania).

Czym się różni Meta Robots od Robots.txt?

Choć zarówno Meta Robots, jak i plik Robots.txt służą do kontrolowania dostępu robotów wyszukiwarek do stron internetowych, istnieje kilka różnic między nimi.

Zakres działania

Meta Robots wpływa na sposób indeksowania konkretnej strony lub dokumentu. Instrukcje te są stosowane na poziomie strony i znajdują się w jej kodzie HTML.
Robots.txt jest plikiem umieszczonym w głównym katalogu witryny, który definiuje reguły dostępu dla całej witryny lub określonych jej części. Robots.txt może blokować dostęp robotów do całych folderów, sekcji strony czy typów plików.

Miejsce umieszczenia

Meta Robots jest umieszczany w sekcji <head> strony HTML, co oznacza, że jest stosowany na poziomie pojedynczej strony.
Robots.txt to plik tekstowy umieszczony w głównym katalogu witryny (/robots.txt).

Typy instrukcji

Meta Robots obsługuje szczegółowe instrukcje, takie jak noindex, nofollow, noarchive czy nosnippet. To pozwala na bardziej precyzyjną kontrolę nad tym, co roboty wyszukiwarek mogą lub nie mogą robić z danymi na stronie.
Robots.txt głównie określa dostępność całych obszarów witryny, używając poleceń Allow (zezwól) lub Disallow (zabroń) dla konkretnego user-agenta (robota wyszukiwarki).

Hierarchia i priorytet

Jeśli instrukcje w Meta Robots i Robots.txt są sprzeczne, zwykle wygrywa Meta Robots, ponieważ dotyczy konkretnej strony i jest oceniany przez roboty wyszukiwarek na późniejszym etapie procesu indeksowania.