Plik robots.txt w WordPress – jak go skonfigurować?

Plik robots.txt to zwykły plik tekstowy w katalogu głównym domeny, który mówi robotom wyszukiwarek, jakie adresy mogą skanować, a jakich mają unikać. W WordPressie jest on domyślnie generowany automatycznie, ale rzadko jest ustawiony optymalnie. Poprawna konfiguracja oszczędza budżet skanowania i wskazuje mapę witryny, a błędna potrafi całkowicie wyciąć stronę z Google.

W skrócie

• Plik robots.txt musi być dostępny pod adresem domena.pl/robots.txt i zwracać kod HTTP 200.
• Robots.txt steruje skanowaniem, a nie indeksowaniem – do wykluczania z wyników służy meta tag noindex.
• Standardowy zestaw dla WordPressa blokuje /wp-admin/, zostawia admin-ajax.php i wskazuje adres mapy witryny.
• Jedna linia „Disallow: /" potrafi zablokować całą witrynę, dlatego każdą zmianę trzeba testować w Google Search Console.
• Boty AI, takie jak GPTBot, ClaudeBot czy PerplexityBot, można kontrolować osobnymi regułami User-agent.

Czym jest plik robots.txt i do czego służy?

Robots.txt to implementacja Robots Exclusion Protocol – umowy, według której uczciwe roboty sprawdzają ten plik przed skanowaniem witryny. Plik powinien być zapisany w UTF-8, leżeć w katalogu głównym domeny i nie przekraczać 500 KiB, bo Google ignoruje nadmiarową część. Obowiązuje wyłącznie dla hosta, na którym leży, więc subdomena sklep.twojadomena.pl wymaga własnego pliku.

Plik składa się z grup reguł. Każda zaczyna się od dyrektywy User-agent (do którego robota się odnosi), a po niej następują wiersze Disallow i Allow. Dodatkowo możesz podać adres mapy witryny dyrektywą Sitemap. Najważniejsze elementy zestawiono poniżej.

Warto wiedzieć, że Google nie obsługuje dyrektywy Crawl-delay, więc nie ograniczysz nią częstotliwości wizyt Googlebota. Robots.txt nie jest też zabezpieczeniem – jest publiczny, a nieuczciwe boty mogą go zignorować. Do ochrony zasobów służą hasła i uprawnienia, o czym piszemy w poradniku jak zabezpieczyć stronę WordPress przed atakami.

Czy robots.txt blokuje indeksowanie strony?

Nie. Robots.txt blokuje skanowanie, a nie indeksowanie. Jeśli zablokowany adres ma linki zewnętrzne, Google może pokazać go w wynikach bez opisu. Co więcej, robot nie zobaczy wtedy meta tagu noindex, bo nie wejdzie na stronę.

Zasada praktyczna jest prosta: robots.txt służy do oszczędzania zasobów (np. odcięcia wyników wyszukiwarki wewnętrznej), a noindex do usuwania stron z wyników. Jeśli podstrona ma zniknąć z Google, pozostaw ją dostępną dla robota i dodaj noindex. Z tym problemem wiąże się też temat opisany w artykule dlaczego moja strona internetowa się nie indeksuje.

Jak wygląda poprawny plik robots.txt w WordPress?

Poprawny plik dla typowej strony firmowej na WordPressie jest krótki. Domyślny, wirtualny plik zawiera blokadę katalogu /wp-admin/ z wyjątkiem pliku admin-ajax.php, który jest potrzebny wielu wtyczkom i motywom do działania na froncie. Od wersji 5.5 WordPress dopisuje też adres własnej mapy wp-sitemap.xml, a wtyczki SEO, jak Yoast, podmieniają go na własną mapę.

Dla sklepu opartego na WooCommerce zestaw warto rozszerzyć o adresy, które nie mają wartości w wynikach wyszukiwania. Sprawdzona baza wygląda następująco:

• User-agent: * – reguły dla wszystkich robotów,
• Disallow: /wp-admin/ oraz Allow: /wp-admin/admin-ajax.php – panel administracyjny z wyjątkiem AJAX,
• Disallow: /*?s= i Disallow: /search/ – wyniki wyszukiwarki wewnętrznej,
• Disallow: /koszyk/, /zamowienie/, /moje-konto/ – strony procesu zakupowego w sklepie,
• Sitemap: https://twojadomena.pl/sitemap_index.xml – adres mapy witryny.

Nie blokuj katalogów /wp-content/ ani /wp-includes/ w całości. Znajdują się tam pliki CSS i JavaScript, których Googlebot potrzebuje do wyrenderowania strony – ich zablokowanie pogarsza ocenę wersji mobilnej i wskaźników Core Web Vitals.

Jak edytować robots.txt w WordPress krok po kroku?

Najbezpieczniej zrobić to z poziomu wtyczki SEO, bez logowania przez FTP. Poniższy proces zajmuje kilka minut:

1. Zrób kopię zapasową aktualnego pliku (otwórz /robots.txt i skopiuj treść).
2. W Yoast SEO wejdź w Narzędzia → Edytor plików (w Rank Math: Ustawienia ogólne → Edytuj robots.txt).
3. Wprowadź reguły, zachowując wiersz z adresem mapy witryny.
4. Zapisz zmiany i otwórz adres /robots.txt, aby upewnić się, że zmiany są widoczne.
5. W Google Search Console sprawdź raport robots.txt oraz kilka kluczowych adresów narzędziem Sprawdzanie adresu URL.
6. Po tygodniu zajrzyj do raportu Strony i upewnij się, że ważne podstrony nie pojawiły się jako „Zablokowane przez plik robots.txt”.

Jeśli w katalogu głównym leży fizyczny plik robots.txt, ma on pierwszeństwo przed wirtualnym i edytor wtyczki go nie zmieni. Wtedy edycja odbywa się przez FTP lub menedżer plików w panelu hostingu.

Jak zablokować boty AI w pliku robots.txt?

Każdy bot AI ma własną nazwę User-agent, więc można go zablokować osobną grupą reguł, np. „User-agent: GPTBot” i „Disallow: /”. Do najczęściej wymienianych należą GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, CCBot (Common Crawl) oraz token Google-Extended, który ogranicza użycie treści do trenowania modeli Gemini.

Zanim zablokujesz wszystko, rozróżnij dwa cele. Boty treningowe zbierają treści do uczenia modeli, natomiast boty wyszukiwania AI (np. OAI-SearchBot) pozwalają cytować twoją stronę w odpowiedziach. Zablokowanie tych drugich może ograniczyć widoczność marki w ChatGPT czy Perplexity. Dla firm, które chcą być cytowane, zwykle sensowne jest pozostawienie botów wyszukiwania i świadoma decyzja w sprawie botów treningowych. W podobnym duchu działa wdrożenie danych strukturalnych schema.org, które pomaga maszynom zrozumieć treść strony.

Jakie błędy w pliku robots.txt najczęściej psują SEO?

Większość problemów wynika z pośpiechu przy zmianach lub z kopiowania gotowych plików bez zrozumienia reguł. Oto błędy, które spotykamy w audytach najczęściej:

• Disallow: / po migracji – blokada ustawiona na czas prac (opcja „Proś wyszukiwarki o niewyświetlanie strony”) i zapomniana po wdrożeniu. To klasyczny powód nagłego spadku ruchu po zmianie strony.
• Blokada plików CSS i JS – robot nie renderuje strony tak jak użytkownik.
• Używanie robots.txt zamiast noindex – adres nadal może trafić do indeksu.
• Brak mapy witryny – robot musi sam odkrywać adresy, co spowalnia indeksację nowych treści.
• Błędy składni – literówki w nazwach dyrektyw lub ścieżki bez ukośnika na początku są ignorowane.
• Niezaktualizowany plik po zmianie struktury – reguły odnoszą się do adresów, które już nie istnieją.

Takie błędy wykrywa każdy rzetelny audyt SEO strony krok po kroku, a ich naprawa zajmuje zwykle kilkanaście minut. Znacznie droższe jest odbudowywanie pozycji po tygodniach, w których strona była niewidoczna. Techniczne aspekty widoczności obejmuje nasza usługa pozycjonowania SEO i SEM, a bieżącą kontrolę takich ustawień prowadzimy w ramach administracji stron i sklepów. Jeśli budujesz nową witrynę, uwzględnimy to już na etapie tworzenia strony internetowej.

Najczęściej zadawane pytania (FAQ)

Gdzie znajduje się plik robots.txt w WordPress?

Plik robots.txt musi leżeć w katalogu głównym domeny, czyli pod adresem twojadomena.pl/robots.txt. WordPress domyślnie generuje go wirtualnie, więc fizycznie może nie istnieć na serwerze. Jeśli wgrasz własny plik do katalogu głównego, zastąpi on wersję wirtualną.

Czy robots.txt blokuje indeksowanie strony w Google?

Nie do końca. Robots.txt blokuje skanowanie (crawlowanie), a nie indeksowanie. Zablokowany adres może pojawić się w wynikach bez opisu, jeśli prowadzą do niego linki. Aby skutecznie wykluczyć podstronę z indeksu, użyj meta tagu noindex i pozostaw ją dostępną dla robota.

Czy warto blokować boty AI, takie jak GPTBot, w robots.txt?

To decyzja biznesowa. Blokada GPTBot czy CCBot ogranicza użycie treści do trenowania modeli, ale może zmniejszyć szansę cytowania marki w odpowiedziach AI. Firmy zależne od widoczności zwykle nie blokują botów wyszukiwania AI, a decydują osobno o botach treningowych.

Jak sprawdzić, czy mój plik robots.txt działa poprawnie?

Otwórz adres /robots.txt w przeglądarce i sprawdź, czy zwraca kod 200. Następnie użyj raportu robots.txt w Google Search Console oraz narzędzia Sprawdzanie adresu URL, które pokaże, czy konkretna podstrona jest zablokowana dla Googlebota.

Czy plik robots.txt jest obowiązkowy?

Nie, strona działa i jest indeksowana także bez niego. Brak pliku oznacza, że roboty mogą skanować wszystko. W praktyce warto go mieć, bo pozwala wskazać mapę witryny i odciąć zbędne adresy, na przykład wyniki wyszukiwarki wewnętrznej czy koszyk.

Potrzebujesz pomocy z techniczną stroną SEO?

Jesteśmy agencją interaktywną z Bielska-Białej i na co dzień dbamy o techniczne SEO stron oraz sklepów. Sprawdzimy twój plik robots.txt, mapę witryny i indeksację oraz wskażemy, co warto poprawić. Skontaktuj się z Devisu i umów bezpłatną konsultację.