Jednym z podstawowych elementów optymalizacji SEO strony jest ułatwienie robotom dotarcia do konkretnych stron czy też zabronienie indeksacji konkretnych folderów i plików.
Dzięki temu możemy przyśpieszyć dotarcie robotów do konkretnych podstron serwisu.
Możemy to uzyskać za pomocą odpowiednich instrukcji w pliku robots.txt.
Przykład zawartości pliku robots.txt i jego znaczenie
Plik robots.txt powinien zawierać przede wszystkim informacje o odnośniku do sitemapy serwisu oraz o zakazie indeksacji konkretnych folderów lub plików.
Jednakże należy pamiętać, by nie wykorzystywać go do zabronienia dostępu do danego folderu lub pliku. W tym celu należy użyć odpowiednich uwierzytelnień i nagłówków zwracanych przez serwer.
Przykładowa zawartość pliku robots.txt:
User-agent: * Allow: / Sitemap: https://tenodwordpressa.pl/sitemap.xml
Taki zapis pozwala na indeksowanie wszystkich dostępnych folderów strony oraz wskazuje adres sitemapy.
Możesz wykluczyć konkretne roboty czy też foldery dla nich np.:
User-agent: Googlebot Disallow: /nogooglebot/
O czym należy pamiętać tworząc plik robots.txt?
- na stronie powinien być tylko jeden plik robots.txt dostępny pod adresem url /robots.txt
- plik dotyczy tylko jednej domeny i nie można go stosować do subdomen, nawet jeśli są one w folderach obok
- plik musi być plikiem tekstowym kodowanym w UTF-8
- plik musi zawierać przynajmniej jedną regułę
- w jednym wierszu może być tylko jedna instrukcja
- pierwszeństwo ma instrukcja umieszczona wyżej w pliku
- # oznacza początek komentarza
Domyślnie na WordPress plik robots.txt nie jest tworzony. Możesz go utworzyć ręcznie i go przesłać na serwer ftp.
Mini wskazówka: Yoast SEO tworzy ten plik i zamieszcza w nim swoje podstawowe blogi.
Źródło:
https://developers.google.com/search/docs/advanced/robots/intro?hl=pl