Poradnik SEO

Specjalne narzędzie dostarczane przez wyszukiwarkę Google pozwala sprawdzać aktualny dokument robots.txt – o ile istnieje – ale także generować nowy zupełnie od postaw.

Korzystając z menu nawigacyjnego:

należy wybrać konfigurację witryny, po czym Dostęp robotów. Wyświetli nam się odpowiednia podstrona, na której dzięki zakładkom należy wybrać „Generowanie pliku robots.txt”.

Punkt pierwszy formularza generującego pozwala nam ustalić sposób dostępności: Zablokowanie lub zezwolenie robotom wyszukiwarek. Ta deklaracja zostanie dodana na samym początku, odnosząc się do wszystkich robotów.

Następnie możemy opcjonalnie dodać dodatkowe dyrektywy blokujące dostęp wybranym z listy botom, te dyrektywy zostaną dodane poniżej dyrektywy globalnego zezwolenia/zabronienia.

Po wypełnieniu pól opcjonalnych (wpis po wpisie, należy klikać specjalny button) możemy już wygenerować plik robots.txt.

Wygenerowany plik należy zapisać na dysku lokalnym i przenieść na serwer swojego serwsu przy pomocy klienta FTP.

O tym, jak szybko i sprawnie wygenerować plik Robots.txt, dzięki narzędziu dostarczonym przez wyszukiwarkę Google, przeczytasz w następnym podrozdziale.