#028: Problem indeksacji stron w Google - Marek, Roland & Tomek

Hobbystycznie stworzył kilka narzędzi, które okazały się całkiem popularne. Cssgenerator.pl, Drzewko.io, Indexing API. No tutaj nazwa narzędzia taka sama jak nazwa API. I w planach ma kolejne. Jest zwolennikiem automatyzacji powtarzalnych zadań w SEO, a jego ostatnią miłością jest połączenie Google Sheets i Apps Script. Cześć Marek. Cześć, cześć. No i Tomek Rudzki, Head of R&D w OneLea we Wrocławiu. Tomek, Ty chyba sam powiesz coś o sobie, tak? Okej, więc wywodzę się z agencji technicznego SEO Only. Teraz jestem cofunderem nowego projektu Ziptidev, który pomaga w diagnostyce problemów z indeksingiem.

Myślę, że to teraz jest ważny temat i chyba po to nas zaprosiłeś. Dokładnie tak. Jeszcze zanim powiem jaki jest temat odcinka, Tomek jest kolejny raz gościem w moim podcaście i teraz pytanie konkursowe numer jeden. Który raz Tomek występuje w podcaście SEO Fridays? Prośba o odpowiedzi w komentarzach na blogu. Czy ja też, Dawidzie, biorę udział w konkursie, czy nie bardzo? Nie, nie, nie. Nawet Roland i Marek też nie biorą udziału. Kurczę, szkoda. Dobrze. Słuchajcie, tematem dzisiejszego odcinka jest problem indeksacji stron w Google. Dlaczego Google nie chce indeksować Twoich treści? Myślę, że temat jest dosyć taki chodliwy i na czasie, bo od dłuższego czasu przetacza się taka dyskusja w social mediach i też na różnych konferencjach, że Google coraz bardziej, że tak powiem, coraz ciężej jest zaindeksować swoje treści w indeksie Google.

Coraz bardziej jest to utrudnione, coraz więcej stron wylatuje z tego indeksu. Ja mam też takie zdanie, że strony, których nie powinno być są, a strony, które według mnie powinny być, no bardzo ciężko jest wbić do indeksu. Sam miałem taką sytuację miesiąc temu, gdzie walczyliśmy z zaindeksowaniem nowej witryny na WordPressie. No i o tym też będziemy tutaj chcieli sobie porozmawiać. Może tak. Powiedzcie, czym jest indeksacja w Google i dlaczego jest tak ważna? Może zacznijmy od Ronalda. Przepraszam, Rolanda. Indeksacja w Google to dodawanie wpisów do bazy danych wyszukiwarki. Można to tak najłatwiej wytłumaczyć.

Podczas samego kreolowania, które następuje powiedzmy, że przed indeksacją, Google zbiera informacje, które są zawarte na stronie oraz analizuje treści. I na tej podstawie kategoryzuje je i dodaje je do indeksu w swojej bazie danych. No dobrze, czyli tak, no chłopaki, nie wiem, czy podzielacie to zdanie, czy chcielibyście coś dodać? Znaczy to tak, moim zdaniem tak na chłopski rozum, no indeksacja polega po prostu na tym, że adres URL strony internetowej po prostu znajduje się w indeksie wyszukiwarki, tak? Czyli jeżeli chcesz, żeby twoja strona pojawiła się w wyszukiwarce, najpierw musi zostać jeszcze zaindeksowana, a jak zostanie zaindeksowana, no to jest szansa, że gdzieś tam zacznie się pojawiać jakieś słowa kluczowe, a najpierw musi nastąpić to proces indeksacji, Który, tak jak powiedziałeś, jest ostatnio trochę rozwalony, a sama indeksacja polega na tym, że dany URL znajduje się w indeksie wyszukiwarki.

Jak wpiszesz adres tego URL-a w wyszukiwarce, to on się tam powinien pojawić. Tak na chłopski rozum, moim zdaniem. No i teraz definicja Tomka. Tak, oczywiście techniczna definicja, wiadomo, jest skomplikowana, ale implikacje są bardzo proste, tak? Jeśli nie macie w indeksie, to znaczy, że nie rankujesz. Jak nie rankujesz, no to nie masz zysku z wyszukiwarki. No i sprawa jest prosta. No dobrze, no zdarza się tak, że ktoś myśli, że jest w indeksie, a go tam nie ma. No i teraz jak sprawdzić, czy strona jest zaindeksowana w Google? Może teraz od Tomka zaczniemy. No to najprościej to zobaczyć Google Search Console i jakby tutaj mamy sprawdzenie danego URL-a i widzimy, czy jest zindeksowane, czy nie.

O, widzisz, widzisz Tomek, no nie wiem, czy tak najprościej, no bo jeżeli osoba jest nietechniczna, prowadzi sobie swojego bloga, to zanim ona założy i zweryfikuje swoją stronę w Google Search Console, no to wiesz, to może minąć rok, nie? To może tutaj są prostsze metody. To oddaję głos chłopakom. Bardziej bym powiedział, że sprawdzenie w Search Console jest najskuteczniejszą metodą. Innym sposobem jest po prostu wyszukanie w samej wyszukiwarce za pomocą operatora site. Site dwukropek, dodajemy nasz URL, czy choćby całą domenę, jeśli chcemy sprawdzić powiedzmy tak całościowo. Jeśli chcemy się skupić na danym URL-u, To dodamy po prostu sam URL. Jeszcze innym sposobem, innym operatorem jest inur.

Dokładnie, no ja bym tutaj dodał dla osób nietechnicznych, że faktycznie najprostszym sposobem jest skopiowanie kawałka tekstu ze swojego wpisu, na przykład blogowego, wstawienie go w cudzysłów i kliknięcie szukaj i wtedy, jeżeli Google zwróci nam adres naszego wpisu, adres URL naszego wpisu, na którym ten tekst występuje, no to znaczy, że jest na pewno ten fragment, w ogóle ta strona i ten tekst zaindeksowany. No i teraz zdarza się tak, że Google indeksuje też jakąś część tekstu, czyli na przykład pierwsze ileś tysięcy znaków. Jeżeli wpis jest bardzo, bardzo długi, to może być też tak, że na przykład ostatnie akapity z takiego artykułu nie będą zaindeksowane.

Mieliście takie przypadki, na przykład Tomek? Tak bym, bardziej bym powiedział, że jeśli chodzi o sam limit znaków, jakby on jest rzeczywiście, poprzeczka jest jakby postawiona bardzo wysoko, to znaczy, że nie ma jakby takich większych problemów, że okej, mija ileś tam 1000 znaków, 10000 znaków, ale raczej widzę podobny przykład. Nieco innymi rzeczami. Czyli na przykład jest JavaScript i tekst JavaScriptowy się nie indeksuje. Albo na przykład Google stwierdza, że dana część podstrony jest niezwiązana tematycznie z resztą i to nie trafia do indeksu. Tego typu rzeczy widzę i to dosyć często się zdarza. Nazwaliśmy to wewnętrznie u nas w UANI partial indexing.

Jeszcze to co Marek powiedział jest dosyć istotne, bo to, że my sobie sprawdzimy jakiś adres URL np. parametrem site, tym operatorem site w wyszukiwarce, to nie znaczy, że akurat ten adres, który po tym sajcie wstawimy będzie zaindeksowany, bo może być właśnie zaindeksowany jakiś adres z parametrami, czyli np. druga strona paginacji, a nie pierwsza, tak? W sensie nie pierwsza strona, nie wiem, tam kategorii, tak? To też podlega to ręcznej weryfikacji, jak najbardziej trzeba to sprawdzić, ale chyba zgodnie tutaj ustaliliśmy, że warto zweryfikować stronę w Google Search Console, wpisać, wklepać tam adres konkretnej strony, którą chcemy sprawdzić, czy jest zaindeksowana, czyli na przykład cały adres skopiowany z paska adresu, jakiś adres naszego wpisu, czy kategorii, czy produktu i wtedy sprawdzamy, jaki jest status indeksacji takiego adresu.

Bo może się okazać, że nie będzie on zaindeksowany, nie jest on zaindeksowany dlatego, że na przykład ma tak metarobot noindex albo na przykład ma jakiegoś tam linka kanonicznego do innego adresu. Też tak może się zdarzyć. No ale to są takie trywialne przykłady, tak? I teraz Kiedy i z jakiego powodu Google może nie zaindeksować zasobów naszej strony? Ty już, Tomek, powiedziałeś, że na przykład tekst jest wstrzykiwany przez kod JavaScript, Google może tego skryptu nie wywołać, nie wyrenderować i taki tekst może się nie zaindeksować. Czy, Roland, ty masz jeszcze jakieś przykłady, kiedy Google nie chce zaindeksować zasobów witryny, czy to całej domeny, adresu URL, podstrony, czy w ogóle jakiegoś fragmentu tekstu?

To znaczy powodów jest mnóstwo. Wracając jeszcze do tego Javascriptu, może się zdarzyć tak, że sam budżet kaulowania jest niszczony przez np. użycie drop menu w samym menu. Czyli powiedzmy, że same te menu ładuje się Javascriptem. I teraz Google, kiedy skanuje witrynę, nie jest w stanie przejść do kolejnych podstron, jeśli nasze linkowanie wewnętrzne nie jest dobrze rozprowadzone. Także w menu. Czyli nie odkryje takiego zasobu, jakiejś tam podstrony zakopanej. Albo nawet może być tak, że w ogóle nigdzie nie podlinkujemy jakiejś podstrony w serwisie, no i też nie ma jej w sitemapie, no i też nikt do niej nie linkuje, więc ciężko, żeby Google ją odnalazło.

Tak, osierocone strony to też jest bardzo duży problem. Ważne, że jeśli chcemy, by dana strona wylądowała w indeksie, to powinny do niej prowadzić jakiekolwiek linki, ponieważ jeśli nie będą prowadzić, sam użytkownik nie znajdzie tej strony, ale Googlebot czy inne roboty wyszukiwarek też nie znajdą tej strony. Marek, a czy jeszcze jakieś inne przykłady mógłbyś podać? Może zadam pytanie trochę inaczej. Jak myślisz, dlaczego Mamy bardzo dobrą witrynę, nowa strona, unikalne treści, wysokiej jakości. Dlaczego Google nie chce jej zaindeksować przez dłuższy czas? Miałeś taki przykład? Miałem taki przykład, ale to też wszystko zależy od indywidualnego przypadku.

Powiem przykład ze swojego podwórka. I to było akurat na tej zasadzie, że strona była wykonana w Vue.js, część strony była renderowana po stronie klienta, część po stronie serwera i jakby było to tam dosyć trochę nawieszane i wszystkie produkty, które były na stronie One były renderowane po stronie klienta. Roboty Google'a nie miały też dostępu do zasobów CSS i JavaScript, więc nie były w stanie kompletnie wyrenderować tych stron. Nawet jak były renderowane po stronie serwera, to też nie były poprawki te strony renderowane, bo nie wczytywał się CSS itd., ale jak to było renderowane po stronie klienta, to w ogóle Google dostawał czysty dokument HTML, Nawet meta tagi były też renderowane po stronie klienta.

Dośród takiej sytuacji, że te adresy wszystkie, bo tam normalnie były linki do tych produktów i tak dalej, więc jakby te wszystkie adresy zostały odkryte przez Google Bota, ale nie zostały zaindeksowane i w Google Search Console było oznaczone jako duplikaty, dlatego że każda strona, tam było kilka tysięcy produktów, Każdy z tych produktów był pustym dokumentem HTML z takim samym domyślnym meta tagiem. Google po prostu tego nie zaindeksował, oznaczył to wszystko jako duplikat. To jest jeden z powodów, dla których strona może się nie zaindeksować, ale tych powodów może być więcej. Czyli to był taki klasyczny błąd gdzieś tam techniczny. Nie chciał indeksować duplikatów, zrozumiałe. Nie zaindeksował więcej niż jedną stronę, a wszystkie inne duplikaty nawet nie trafiły do indeksu.

Nowa strona kolegi znajomego, który Powstała ta strona na WordPressie, szablon kupiony z Dim Forest, przerobione, dodane jakieś unikalne autorskie zdjęcia, dodane unikalne treści, założone Google Search Console. Bach, domena zgłoszona do indeksacji. Czekamy jeden dzień, dwa, trzy, nic się nie dzieje. Później po kilku dniach Znowu wklepujemy ten adres czy tam jakieś podstrony nawet w Search Konsoli i widać, że Googlebot był tam, bo tam chyba była nawet coś takiego jak strona odwiedzona niezaindeksowana. I tak po paru razach, chyba trwało to tydzień, ponownego zgłaszania, zlecania do kolejki indeksowania, czy to domeny głównej, czy tam różnych podstron, nic się nie działo.

No i w końcu skorzystałem z takiego rozwiązania przygotowanego przez Marka. Link będzie w opisie. To chyba napisane jest w Javascriptie, tak Marek? Tak, znaczy to jest Node.js i znaczy no to jest Javascript. Tak, no rozwiązanie wykorzystujące Indexing API, gdzie podaliśmy całą listę adresów z tej strony, nie wiem, powiedzmy Site20, tak? I też to był chyba czwartek, strona wpadła do indeksu w niedzielę rano. I teraz pytanie, czy na przykład, jeżeli w środę w Google Search Console zgłosiliśmy to kolejny raz do indeksacji, aż w końcu ta kolejka, no te strony doczekały się odwiedzenia przez Google Bota i w końcu zostały zaindeksowane, czy jednak rozwiązanie wykorzystujące indexing API pomogło?

Tutaj całkowicie się z tym zgadzam, też próbowaliśmy w ten sam sposób to indeksować. Natomiast ja wychodzę z troszkę innego założenia. W tym momencie Indexing API oficjalnie jest rzeczywiście do job postingów i może nastąpić taki moment, W którym to narzędzie jakby już będzie jakby częściej wykorzystywane, troszeczkę abuzywnie, jakby wtedy Google może zakręcić tą śrubę. Więc jakby ja staram się, jakby patrzę się na to w ten sposób, żeby jak zrobić coś tak, żeby nie okazało się w pewnym momencie, że to narzędzie już nie działa, tak? W ten sposób. Jakby może się okazać, że jakby tutaj to narzędzie będzie cały czas działać,

I jakby cofając się do takich czasów powiedzmy początków wyszukiwarki, crawlowanie było bardzo proste, nie było dużo zasobów, ta baza Google'a była bardzo, bardzo mała. Później internet się rozrastał, Google sobie jakoś rodziło scrollowanie. Natomiast problemy się pojawiły wtedy, kiedy Google zobaczył, że bardzo dużo witryn używa JavaScriptu. W ich oficjalnych prezentacjach zauważyłem, że oni uważają, że renderowanie JavaScriptu czy ogólnie treści to jest około 20 razy więcej zasobów. Więc jakby mamy koszt zwiększony dwudziestokrotnie całego procesu. Do tego dochodzą jeszcze coraz kolejne warstwy algorytmów. Które trzeba zrobić w przypadku indeksingu?

Przykładowo jeden z algorytmów Google, BERT, ma kosmiczną złożoność obliczeniową. Jak sobie próbowaliśmy odpalić BERTA na niewielkiej próbce I serwer 96 rdzeni, 256 giga RAMu bardzo szybko został zajechany, więc jakby mamy tutaj cały ciąg zdarzeń, który nastąpił, który spowodował, że coraz częściej strony nie są zaindeksowane. Jakby też musimy się popatrzeć na to, jaki jest cel Google'a. Cel Google'a to też zwrócić wartościowe wyniki szybko. Jeśli ten indeks puchnie, to samo przeszukiwanie tej bazy, tego indeksu jest bardziej czasochłonne, więc jakby oni w tym momencie zastanawiają się, znaczy tak oczywiście to jest maszyna, zastanawiają się dwa razy,

Czy coś zaindeksować, czy nie? Jakby kiedyś robiłem też troszeczkę taki research, jakie są najczęstsze przyczyny indeksowania. I pierwszym to było oczywiście crowd currency not index, co oznaczało, że Google stwierdził, aha, dobra, nie indeksujemy tego. To znaczy, że odwiedził tą stronę, ale nie zaindeksował, tak? Natomiast drugi, i to jest chyba jeszcze bardziej ciekawsze, to jest to, że Google wie o danym URL-u, ale tam jeszcze nie odwiedził. Jakby to jest rzeczywiście bardzo... Jakby bardzo często, jakby tutaj właśnie ten indexing API może pomóc rzeczywiście właśnie z tymi stronami, które są znane dla Google'a albo rzeczywiście nie są jeszcze znane wcześniej, ale już nie pomoże w przypadku stron, które są oznaczone jako crowd currency not indexed.

W przypadku tych stron jakby musimy się zastanawiać, co jest taką realną przyczyną, że Google tego nie zaindeksowało. Więc jakby tutaj ja bardzo pozytywnie podchodzę do wszystkich tu narzędzi. Oczywiście sam też jestem cofunderem Ziptaya, tylko staram się patrzeć na to też całościowo. I w przypadku indexingu to też jakby trzeba się też zastanowić, co jest naszym celem. Bo samo zaindeksowanie i upewnienie się, aha, dobra, to jest w indeksie, to jest jakby pierwszy krok. Ale trzeba się zastanowić czasem, czy to, że coś jest w indeksie, to wystarczy. Bo moim zdaniem powinniśmy działać w ten sposób, żeby upewnić się, że strona nie tylko jest zaindeksowana, ale też rankuje. I tutaj między innymi możemy tu pomóc poprzez odpowiednie linkowanie wewnętrzne, poprzez analizę treści i tak dalej.

Czyli to nie była jakaś strona paginacji czy jakiś tam tag, tylko to była I to był dla mnie szok, że strona wyleciała z indeksu za nic, bo nic tam nie było robione tak naprawdę. Po jednym zgłoszeniu w Google Search Console ona za minutę się pojawiła z powrotem. Więc tego typu sytuacje też się dzieją, więc myślę, że oprócz indeksacji, oprócz rankowania ważne jest jeszcze monitorowanie tego, czy strona po jakimś czasie nie wylatuje z indeksu. Jak najbardziej. I tutaj w ZipTie chyba macie jakiś moduł monitorowania indeksacji, tak?

Tak, tak. Oczywiście mamy taki moduł i to, co widzimy wstępnie, to są bardzo ciekawe dane. W przypadku Helpful Content Update widzieliśmy, że wiele witryn pospadało w indeksacji, ale już wróciły w ostatnim Core Update. Więc jakby się zastanawiamy, czy przy Helpful Content Update nie było jakiejś formy buga. Że te strony zostały wyindeksowane. Natomiast bardzo często widzimy w przypadku core update'ów wahania w indeksacji. Jakby Google przelicza wtedy sygnały i myśli, aha, dobra, tych podstroń już nie indeksujemy. I wspomniałeś też właśnie, że Google zdeindeksowało drugą najważniejszą podstronę.

I odbiję piłeczkę. Gdybyście mieli wskazać takie najpopularniejsze źródła w SEO, To co by to było? Mówię gdzieś tam o zagranicznych źródłach. Źródła w sensie... Źródła wiedzy, czy...? No tak, tak. Można powiedzieć portale. Najpopularniejsze portale w SEO. To co byście wskazali? Dla mnie chyba Search Engine Journal. Go chyba najczęściej czytam i Podcast jeden, ale zapomniałem jak się nazywa. SEO Fridays. Tak, to też. Tak, tak. Ale myślę, że wszyscy kojarzą Moza i Search Engine Land. Tak, tak. I jakby co jest bardzo ciekawe, oba te serwisy wyleciały z indeksu. I Search Engine Land wyleciał, bo Google myślał, że strona została zhakowana.

A most wyleciał dlatego, że mieli zgłoszenie dotyczące potencjalnego plagiatu. Widzimy bardzo często masę bugów z indexingiem. Ja też zauważyłem jeden bug, w którym Google odwiedzał daną stronę, I zanim strona, zanim ta podstrona trafiła do indeksu, to jakby nie została ostatecznie zaindeksowana. I jak sobie sprawdzamy w Search Consoli, okazuje się, że dany URL nie jest znany dla Googla. Pomimo tego, że sam sprawdzałem i widziałem, że widziałem, że Googlebot był na tej stronie. Czyli jakby w pewnym momencie Googlebot odwiedził tę stronę i totalnie zapomniał