Robots.txt to prosty plik tekstowy, który można utworzyć w każdym edytorze tekstowym. Taki plik zawsze umieszczamy na serwerze w głównym folderze domeny. Wykorzystujemy go jeśli chcemy, aby roboty wyszukiwarek indeksowały w swoich wynikach tylko określone przez nas strony. Umieszczamy w nim listę poleceń: allow i/lub disallow.
Podstawowy kod w robots.txt prezentuje się następująco:
User-agent: * Allow: /
Co on oznacza? Pierwsza linijka oznacza, że polecenie dotyczy wszystkich robotów (oznaczenie gwiazdką). Kolejna linijka – Allow oznacza cheć indeksowania całej strony.
Istnieje również opcja Disallow, która działa odwrotnie – czyli blokuje dostęp do całej strony, lub określonych folderów.
Dla przykładu:
User-agent: * Disallow: /
Samo Disallow oznacza wyłączenie z indeksacji, natomiast slash informuje, że zależy nam na nie indeksowaniu całej witryny.
Należy pamiętać, że w robots.txt możemy również blokować indeksację tylko wybranych podstron wpisując np.komendę:
User-agent: * Disallow: /podstrona.html
lub w przypadku całego katalogu
User-agent: * Disallow: /podstrony/
Ważne! Jeśli chcesz indeksować całą stronę plik robots.txt jest zbędny. Google radzi, aby w takim przypadku nie tworzyć pustego pliku – nawet jeśli jest on pusty.
Przykład pliku robots.txt – blokuje indeksację folderów wp-admin, wp-includes, jak również podstron regulamin, jak również polityka cookies.
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /regulamin Disallow: /polityka-cookies
O tym czy warto indeksować daną podstronę, czy też nie przeczytacie tutaj.
Od dawna pasjonuje się wszystkim co związane z tworzeniem stron, optymalizacją oraz pozycjonowaniem. Starając się przybliżyć zagadnienia związane z tymi tematami w jak najprostszy sposób.
O mnie
Oferuję kompleksowe usługi marketingu internetowego. Posiadam doświadczenie, dzięki któremu pomogę odnieść sukces Twojej firmie. Zapraszam do kontaktu.
Więcej na blogu
Zobacz więcej wpisów
