Boty AI a sklep internetowy: jak zachować widoczność

Widoczność w Google nie oznacza widoczności w AI

Sklep może zajmować wysokie pozycje w Google, a jednocześnie nie pojawiać się w odpowiedziach ChatGPT, Perplexity czy Claude. Przyczyną bywa pojedyncza reguła w pliku robots.txt, filtr zapory sieciowej albo treść produktu dostępna dopiero po wykonaniu JavaScriptu.

Problem wynika z prostego nieporozumienia: boty AI nie tworzą jednej grupy i nie realizują jednego celu. Inny robot zbiera dane do treningu, inny buduje indeks wyszukiwania, a jeszcze inny pobiera konkretną stronę na życzenie użytkownika. Blokada ustawiona bez tego rozróżnienia może odciąć cytowania, choć właściciel sklepu chciał jedynie odmówić wykorzystania treści do treningu.

Skala ruchu nie jest już marginalna. Według danych Cloudflare udział GPTBot w ruchu robotów AI wzrósł z około 5% w 2024 roku do 11–30% w 2025 roku, a boty OpenAI odpowiadały za około 69% całego ruchu AI.

Cztery boty OpenAI i cztery różne zadania

Nazwa GPTBot jest powszechnie używana jako skrót dla wszystkich mechanizmów OpenAI, ale w praktyce firma rozdziela cztery roboty:

• GPTBot zbiera treści na potrzeby treningu modeli i nie buduje indeksu wyszukiwarki.
• OAI-SearchBot tworzy indeks dla ChatGPT Search, dlatego jego blokada odbiera stronie możliwość uzyskania pełnych cytowań.
• ChatGPT-User pobiera stronę na żywo, gdy użytkownik podaje adres lub prosi o streszczenie zawartości.
• OAI-AdsBot ocenia strony docelowe reklam i nie służy do trenowania modelu.

Od grudnia 2025 OpenAI wprost wskazuje, że ChatGPT-User może ignorować robots.txt, ponieważ działa w imieniu użytkownika podobnie jak przeglądarka. Nie należy więc zakładać, że jedna reguła obejmie każdy sposób dostępu do witryny.

Claude, Perplexity i pozostali gracze

Anthropic na początku 2026 roku zastosował podobny podział na ClaudeBot do treningu, Claude-SearchBot do indeksowania oraz Claude-User do pobierania strony na żądanie. Istotna różnica polega na tym, że wszystkie trzy mechanizmy deklarują respektowanie robots.txt.

PerplexityBot odpowiada za wyszukiwanie, natomiast Perplexity-User z założenia może pomijać robots.txt podczas działania na prośbę użytkownika. CCBot zasila zbiór Common Crawl, z którego korzysta wiele modeli, więc jego blokada ma szerszy skutek niż odcięcie jednej firmy. Bytespider od ByteDance jest opisywany jako agresywny i nie zawsze respektuje deklarowane reguły.

Trening a cytowanie – najważniejszy podział

Najbezpieczniejsza decyzja zaczyna się od oddzielenia treningu od wyszukiwania. Zablokowanie GPTBot oznacza odmowę użycia treści przez ten mechanizm treningowy, ale nie usuwa strony z ChatGPT Search. Dopiero blokada OAI-SearchBot odcina cytowania w odpowiedziach i działa w praktyce podobnie do rezygnacji z indeksowania przez wyszukiwarkę AI.

Dla większości sklepów rozsądny jest model selektywny: roboty wyszukujące i pobierające treść na żądanie otrzymują dostęp, a roboty treningowe zostają zablokowane. Pozwala to zachować widoczność produktów i poradników bez automatycznej zgody na trening.

Reguły wymagają precyzji. Nazwy robotów rozróżniają wielkość liter, dlatego zapis GPTBot nie jest równoważny nazwie zapisanej małymi literami. Każde zezwolenie i każda blokada muszą też znaleźć się pod właściwą nazwą robota. Zmiana zwykle rozchodzi się w ciągu około 24 godzin.

Google-Extended nie jest robotem indeksującym

Google-Extended nie wykonuje żądań do strony i nie pojawi się w dziennikach serwera. To flaga, za pomocą której właściciel witryny może odmówić wykorzystania treści do trenowania Gemini i Vertex AI.

Blokada Google-Extended nie obniża pozycji w Google Search i nie usuwa strony z AI Overviews. Za te powierzchnie odpowiada Googlebot. Jego blokowanie byłoby znacznie szerszą decyzją i mogłoby pozbawić sklep widoczności w zwykłych wynikach. Ograniczenia dotyczące fragmentów odpowiedzi można wprowadzać przez ustawienia długości lub całkowitego wyłączenia opisu, ale wpływają one również na tradycyjny wynik wyszukiwania.

Dlaczego poprawny robots.txt może nie wystarczyć

Robot może być wpuszczony przez robots.txt, a mimo to otrzymać odpowiedź 403. Z audytu 1207 sklepów Shopify z pierwszego kwartału 2026 roku wynika, że 27% witryn z poprawnym plikiem nadal blokowało AI na poziomie Cloudflare lub innej zapory aplikacyjnej.

Mechanizmy ochrony przed botami mogą domyślnie traktować nieznane roboty AI jako zagrożenie. Wtedy reguła zapory wygrywa z deklaracją w robots.txt. Należy więc kontrolować oba poziomy: instrukcje dla robotów oraz rzeczywiste odpowiedzi serwera.

W Shopify dodatkowym ryzykiem jest zastąpienie całego szablonu robots.txt własną treścią. Poprawna edycja zachowuje domyślne grupy generowane przez platformę, dzięki czemu aktualizacje Shopify nadal obejmują koszyk, realizację zamówienia, konto i panel administracyjny.

Treść generowana przez JavaScript jest niewidoczna

GPTBot, OAI-SearchBot, ClaudeBot i PerplexityBot pobierają przede wszystkim surowy HTML. Jeśli nazwa produktu, cena, opis, warunki dostawy lub odpowiedzi na częste pytania pojawiają się dopiero po uruchomieniu JavaScriptu, dla tych robotów mogą nie istnieć.

W dziennikach ChatGPT aż 46% wizyt rozpoczyna się w trybie czytania bez CSS i JavaScriptu. Dlatego najważniejsze informacje o produkcie powinny być obecne w początkowym HTML. Googlebot może pośrednio pomóc Gemini dzięki własnemu wyrenderowanemu indeksowi, ale pozostałe systemy nie muszą mieć takiej możliwości.

Co zwiększa szansę na cytowanie sklepu

Samo otwarcie dostępu nie gwarantuje cytowania. Robot musi szybko pobrać stronę, zrozumieć jej strukturę i znaleźć kompletną odpowiedź na pytanie użytkownika.

• Szybkość: dane JetOctopus wskazują, że roboty działające na żądanie częściej odwiedzają strony z czasem odpowiedzi serwera poniżej 600 ms i HTML-em mniejszym niż 200 KB.
• Struktura: pytanie w nagłówku oraz zwarta, kompletna odpowiedź bez konieczności przeskakiwania między sekcjami ułatwiają cytowanie.
• Priorytet treści: kluczowe informacje powinny znaleźć się w pierwszych 30% strony, a FAQ nie powinno wymagać kliknięcia w akordeon.
• Linkowanie: opisowy tekst odsyłacza pomaga zrozumieć temat strony docelowej. Ogólne wezwanie „kliknij tutaj” nie przekazuje tego kontekstu.
• Świeżość: Perplexity wyraźnie rzadziej pokazuje treści starsze niż rok, dlatego wiarygodna data aktualizacji ma praktyczne znaczenie.

Badania Princeton GEO wskazują, że statystyki z podanym źródłem i datą zwiększały szansę cytowania o około 41%, cytaty o 37%, a linkowanie źródeł o 22%. Upychanie słów kluczowych obniżało ją o około 10%.

Dane strukturalne, mapa witryny i llms.txt

Dane strukturalne FAQPage, Article z autorem i datą publikacji, Product oraz HowTo pomagają jednoznacznie opisać zawartość. W jednym z badań wiązały się z około 30% wyższym wskaźnikiem cytowań w ChatGPT i Perplexity, chociaż Google nie uznaje ich za warunek widoczności generatywnej. Treść danych strukturalnych musi odpowiadać temu, co użytkownik rzeczywiście widzi na stronie.

Mapa witryny pomaga ChatGPT i Claude odkrywać adresy, ale dla Perplexity ważniejsze są linki wewnętrzne. Aktualna data modyfikacji wspiera ocenę świeżości. Plik llms.txt z krótką listą najważniejszych adresów można potraktować jako eksperyment, lecz nie fundament: Google deklaruje, że go nie potrzebuje, a obserwacje JetOctopus wskazują, że główne roboty często go nie pobierają.

Nie należy również zakładać, że kanoniczny adres lub znacznik wykluczający stronę z Google zatrzyma każdy system AI. Treść ukryta przed tradycyjną wyszukiwarką, lecz dostępna przez link wewnętrzny, nadal może zostać odnaleziona przez inne roboty.

Blokować czy udostępniać botom AI

Właściwe pytanie nie brzmi, czy dopuścić AI w ogóle, lecz czy większym ryzykiem jest wykorzystanie danych do treningu, czy utrata cytowań. Badanie Rutgers i Wharton obejmujące 30 największych serwisów informacyjnych wykazało w latach 2023–2024 spadek całego ruchu o 23,1% oraz ruchu ludzkiego o 13,9% po blokadach. Analiza Raptive obejmująca ponad 6000 mniejszych serwisów nie wykazała natomiast istotnej zmiany; odchylenie wynosiło około 1%.

Ruch z AI stanowił około 0,15% globalnego ruchu wobec 48,5% z wyszukiwania organicznego, ale rósł około siedmiokrotnie rok do roku. Jednocześnie dane Microsoft Clarity pokazywały wyższą konwersję wizyt z modeli językowych: 1,34% wobec 0,55%. Taki użytkownik przychodzi już z doprecyzowaną intencją.

W 2026 roku dominuje więc podejście selektywne. Spośród największych serwisów informacyjnych 79% blokuje co najmniej jednego robota treningowego, lecz tylko 14% blokuje wszystkie.

Bezpieczny model wdrożenia dla sklepu

Dla sklepu opartego na WordPressie, WooCommerce lub Shopify praktyczny model polega na udostępnieniu produktów, kategorii, bloga, stron informacyjnych, dostawy i zwrotów robotom wyszukującym. Jednocześnie koszyk, realizacja zamówienia, konto klienta i panel administracyjny powinny pozostać zablokowane zgodnie z regułami platformy.

Roboty odpowiedzialne za cytowanie i pobieranie na żądanie mogą otrzymać dostęp, natomiast GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended i Bytespider mogą zostać zablokowane, jeśli celem jest rezygnacja z treningu. W Shopify trzeba zachować domyślne grupy szablonu. W WordPressie i WooCommerce należy również wskazać właściwą mapę witryny.

Sklep Shopify może pojawić się w rekomendacjach zakupowych także przez interfejs katalogowy, nawet jeśli pobieranie stron zostało zablokowane. Produkt może być wtedy widoczny, ale bez pełnego kontekstu ze strony, takiego jak zasady zwrotu czy FAQ, co osłabia jakość cytowania.

Jak zweryfikować dostęp robotów

Kontrola powinna obejmować trzy warstwy. Najpierw należy pobrać publiczny robots.txt i sprawdzić dokładną pisownię nazw robotów oraz to, czy robot wyszukujący nie otrzymał globalnej blokady. Następnie trzeba wysłać żądanie do ważnej karty produktu z nazwą wybranego robota i sprawdzić kod odpowiedzi: sukces potwierdza dostęp na poziomie serwera, a 403 wskazuje zwykle na zaporę.

Trzecim krokiem jest analiza dzienników dostępu z podziałem na odpowiedzi poprawne i odrzucone dla GPTBot, OAI-SearchBot, PerplexityBot oraz ClaudeBot. Osobno warto pobrać surowy HTML produktu i sprawdzić, czy zawiera fragment opisu widoczny dla klienta. Brak tego fragmentu oznacza, że treść zależy od JavaScriptu.

Jeżeli robots.txt zezwala na dostęp, ale serwer nadal odpowiada kodem 403, trzeba skontrolować ochronę przed botami i reguły zapory. Wyjątek powinien dotyczyć konkretnego, zamierzonego robota, a nie wyłączać ochrony całej witryny.

Najważniejszy wniosek

Robots.txt dla AI jest przełącznikiem między treningiem a cytowaniem. Dla większości sklepów najrozsądniejszy jest podział: blokada robotów treningowych, dostęp dla wyszukiwania i pobierania na żądanie oraz szybki, lekki HTML zawierający najważniejsze informacje o ofercie.

Szerszą blokadę warto rozważyć przy treściach płatnych, prawniczych, medycznych albo danych sprzedawanych na licencji. Jeżeli model biznesowy opiera się na odkrywaniu produktów przez wyszukiwarki, odcięcie cytowań oddaje widoczność konkurencji bez równoważnej korzyści.