Tag: Allow

Robots.txt to prosty plik tekstowy, który można utworzyć w każdym edytorze tekstowym. Taki plik zawsze umieszczamy na serwerze w głównym folderze domeny. Wykorzystujemy go jeśli chcemy, aby roboty wyszukiwarek indeksowały w swoich wynikach tylko określone przez nas strony.  Umieszczamy w nim listę poleceń: allow i/lub disallow. Podstawowy kod w robots.txt prezentuje się następująco: User-agent: * Allow: / Co […]