Robots.txt na wordpress i jego wpływ na SEO

Jednym z podstawowych elementów optymalizacji SEO strony jest ułatwienie robotom dotarcia do konkretnych stron czy też zabronienie indeksacji konkretnych folderów i plików.

Dzięki temu możemy przyśpieszyć dotarcie robotów do konkretnych podstron serwisu.

Możemy to uzyskać za pomocą odpowiednich instrukcji w pliku robots.txt.

Przykład zawartości pliku robots.txt i jego znaczenie

Plik robots.txt powinien zawierać przede wszystkim informacje o odnośniku do sitemapy serwisu oraz o zakazie indeksacji konkretnych folderów lub plików.

Jednakże należy pamiętać, by nie wykorzystywać go do zabronienia dostępu do danego folderu lub pliku. W tym celu należy użyć odpowiednich uwierzytelnień i nagłówków zwracanych przez serwer.

Przykładowa zawartość pliku robots.txt:

User-agent: *
Allow: /

Sitemap: https://tenodwordpressa.pl/sitemap.xml

Taki zapis pozwala na indeksowanie wszystkich dostępnych folderów strony oraz wskazuje adres sitemapy.

Możesz wykluczyć konkretne roboty czy też foldery dla nich np.:

User-agent: Googlebot
Disallow: /nogooglebot/

O czym należy pamiętać tworząc plik robots.txt?

• na stronie powinien być tylko jeden plik robots.txt dostępny pod adresem url /robots.txt
• plik dotyczy tylko jednej domeny i nie można go stosować do subdomen, nawet jeśli są one w folderach obok
• plik musi być plikiem tekstowym kodowanym w UTF-8
• plik musi zawierać przynajmniej jedną regułę
• w jednym wierszu może być tylko jedna instrukcja
• pierwszeństwo ma instrukcja umieszczona wyżej w pliku
• # oznacza początek komentarza

Domyślnie na WordPress plik robots.txt nie jest tworzony. Możesz go utworzyć ręcznie i go przesłać na serwer ftp.

Mini wskazówka: Yoast SEO tworzy ten plik i zamieszcza w nim swoje podstawowe blogi.

Źródło:
https://developers.google.com/search/docs/advanced/robots/intro?hl=pl

1 października, 2022 | Ten od WordPressa | SEO i pozycjonowanie WordPress