#028: Problem indeksacji stron w Google - Marek, Roland & Tomek

Hobbystycznie stworzył kilka narzędzi, które okazały się całkiem popularne. Cssgenerator.pl, Drzewko.io, Indexing API. No tutaj nazwa narzędzia taka sama jak nazwa API. I w planach ma kolejne. Jest zwolennikiem automatyzacji powtarzalnych zadań w SEO, a jego ostatnią miłością jest połączenie Google Sheets i Apps Script. Cześć Marek. Cześć, cześć. No i Tomek Rudzki, Head of R&D w OneLea we Wrocławiu. Tomek, Ty chyba sam powiesz coś o sobie, tak? Okej, więc wywodzę się z agencji technicznego SEO Only. Teraz jestem cofunderem nowego projektu Ziptidev, który pomaga w diagnostyce problemów z indeksingiem.

No i w końcu skorzystałem z takiego rozwiązania przygotowanego przez Marka. Link będzie w opisie. To chyba napisane jest w Javascriptie, tak Marek? Tak, znaczy to jest Node.js i znaczy no to jest Javascript. Tak, no rozwiązanie wykorzystujące Indexing API, gdzie podaliśmy całą listę adresów z tej strony, nie wiem, powiedzmy Site20, tak? I też to był chyba czwartek, strona wpadła do indeksu w niedzielę rano. I teraz pytanie, czy na przykład, jeżeli w środę w Google Search Console zgłosiliśmy to kolejny raz do indeksacji, aż w końcu ta kolejka, no te strony doczekały się odwiedzenia przez Google Bota i w końcu zostały zaindeksowane, czy jednak rozwiązanie wykorzystujące indexing API pomogło?

Chociaż i tak trwało to nie 24 godziny, tylko tam powiedzmy 36 godzin, tak? Czy więcej? Co ty uważasz na ten temat? Ja jakby uważam, że to indeksyjny KPI działa i strony, które nie chciały się indeksować, raczej z reguły z marszu wchodziły. Mam teraz też taki przykład jakby ze swojego podwórka, dosyć świeży. To jest projekt, gdzie są trzy wersje językowe. Strona ma tam powiedzmy kilka tysięcy produktów, kilkaset powiedzmy kategorii i tak dalej. W sajcie może było ze 100 adresów. No ze względu tam akurat było na linkowanie wewnętrzne, bo strona nie miała żadnego linkowania wewnętrznego. Nawigacja była zrobiona na zasadzie takiego formularza z wyborem.

Jakieś tam kategorie były po prostu wybieranymi pozycjami z formularza i tam jakby nie było żadnych linków wewnętrznych. No i przez to, że my pozycjonujemy tylko tą polską wersję, No to jakby pomijając to, że wdrożyliśmy normalne linkowanie wewnętrzne, mam na zasadzie po prostu drzewo kategorii, no to jakby te adresy zaczęły sukcesywnie przesuwać przez Indexing API. Na stronach tych wielojęzycznych wprowadziliśmy tylko to linkowanie wewnętrzne, żeby te strony gdzieś tam zaczęły się indeksować, ale one nie są przesuwane przez Indexing API, no bo jakby można wysłać tam powiedzmy te 200 adresów dziennie, więc jakby szkoda na razie to na to tracić. Tego limitu. No i ta strona, która była wysyłana przez indeksikapi, ona z marszu zaczęła się indeksować tymi swoimi partiami i nagle zaskoczyła i w jeden dzień tam 7 tysięcy adresów weszło. Może przez to, że po prostu roboty zaczęły po tej stronie gdzieś tam bardziej się poruszać i te linki wewnątrz się znajdywać.

A te dwie domeny, które są jakby bliżniaczą kopią tej strony, tylko przetłumaczane na angielski i niemiecki, one gdzieś tam sukcesywnie sobie w ciągu tych tygodni zwiększają Liczbę zaindeksowanych podstron, ale jest to w dużo mniejszej skali niż to, co przesłaliśmy za pomocą indeksu InCopy. Więc to mamy takie dosyć porównanie jeden do jednego na identycznych stronach, czy to działa czy nie. A inne strony, które za pomocą tego narzędzia przesuwałem do indeksu, z racji z marszu gdzieś tam lądowały też ze znajomymi z branży, z którymi rozmawiałem. Wszyscy mówili, że to działa, ale spotkałem się z opiniami, że to nie działa. Ze swojego doświadczenia wydaje mi się, że to działa, Jeszcze zanim powiem o tym indexing API, chciałbym wrócić do tego, o czym mówiłeś z tymi wersjami językowymi.

I dzięki temu udało się zaindeksować tę witrynę. To akurat jeszcze był problem, powiedzmy, przed tymi problemami z indeksacją, więc ona w miarę szybko się zaindeksowała. No ale jakby sam problem był bardzo ciekawy, moim zdaniem, niestety nie doszedłem do rozwiązania tego problemu. Po prostu usunęliśmy wersję angielską. Jeśli chodzi o same indexing API, to moim zdaniem one działa. Udało mi się zaindeksować inaczej. De facto indeksuję nim codziennie kilka stron i zazwyczaj trafiają one w 24 godziny do indeksu. Zdarzyło mi się dosłownie kilka razy, że nie trafiły w 24 godziny, ale już w ciągu kolejnych dni się pojawiały.

Ale przede wszystkim udało mi się zaindeksować bardzo duży sklep, który posiada ponad 2000 produktów. W samym Indexing API nie dodawałem nic w samym Search Console do indeksacji, tylko po prostu od razu puściłem Indexing API za pomocą skryptu, który codziennie dodawał do limitu minus jeden, czyli dodawał 59 URLi do przesłania do indeksu. No właśnie, jakbyś mógł powiedzieć o tym w swoim rozwiązaniu, bo ono jest trochę inne niż to, które zrobił Marek, tak? Tak, ja napisałem swoje rozwiązanie w Pythonie, de facto wzorując się trochę na Marku, to znaczy zobaczyłem post z jego narzędziem. Niestety ja JS za bardzo nie ogarniam, dlatego stwierdziłem, że pójdę sobie w Pythona. Na początku stworzyłem to w wersji terminalowej, działało

Wrzucamy adresy i program już sam to robi dalej. Oczywiście trzeba pamiętać o limitach, które daje same Indexing API. Powiedzmy, że da się je zwiększyć. Ale jest to teoretycznie, de facto prosiłem dla 6 klientów o zwiększenie tego limitu i udało mi się na jednym do 100 dziennie, więc jest to jakieś rozwiązanie, no ale jeśli mamy dużo adresów do zindeksowania, to trzeba zautomatyzować po prostu skrypt, żeby on robił przerwy pomiędzy Ja właśnie indeksując duży sklep założyłem sobie, że co 59 adresów on będzie robił przerwę. Później zorientowałem się, Marek może ty mnie poprawisz, że limit wynosi 200.

Dobrze, a powiedz proszę, czy masz to gdzieś spisane na jakimś githubie? Nie. Bo chyba Marek spisał to na githubie, tak? Tak, ja to wrzuciłem na Githuba, z tym, że ogólnie to, co ja zrobiłem, to było takie robione trochę na kolanie, bo jak jeszcze pracowałem w agencji, po prostu tam padł pomysł, żeby tam się podpiąć pod te indexing API, ja skopiowałem kod z dokumentacji, wspierałem to z formularzem i to była cała filozofia. A potem ze względu na to, że widziałem, że coraz więcej ludzi gdzieś tam pisało na Facebookach, że strona mi się nie indeksuje, co robić i tak dalej, to stwierdziłem, że sobie to wrzucę na Githuba, macie, korzystajcie. Ale Roland zrobił z tego jakby aplikację, więc ja nie wiem, czy on chce się dzielić tym kodem, czy to nie jest bardziej tam do użytku takiego po prostu webowego u niego, nie? Tak, on lata u mnie w Cloudzie.

Udostępniłem wersję mojej aplikacji Pythonowej pierwszej, jest ona na moim GitHubie, Roland Dabczyk, gdyby ktoś szukał. Jednak stwierdziłem, dużo osób o to pytało, o moją właśnie wersję Pythonową, Ale też wiem, że nie wszyscy są techniczni i nie wszyscy będą mogli po prostu łatwo sobie stworzyć środowisko wirtualne i odpalać tą aplikację, dlatego stwierdziłem, że warto przyrobić ją na wersję webową. Jakby nie udostępnię niestety kodu do niego, bo troszeczkę mnie to kosztowało nerwów, żeby wszystko dopracować, a dodatkowo dodaję tam kolejne aplikacje, o których też pewnie będziemy dzisiaj rozmawiać, czyli o Inspection API. Dobrze, i teraz dopuszczamy do głosu Tomka, który jest współautorem takiego rozwiązania ZipTie, ziptie.dev.

Tutaj całkowicie się z tym zgadzam, też próbowaliśmy w ten sam sposób to indeksować. Natomiast ja wychodzę z troszkę innego założenia. W tym momencie Indexing API oficjalnie jest rzeczywiście do job postingów i może nastąpić taki moment, W którym to narzędzie jakby już będzie jakby częściej wykorzystywane, troszeczkę abuzywnie, jakby wtedy Google może zakręcić tą śrubę. Więc jakby ja staram się, jakby patrzę się na to w ten sposób, żeby jak zrobić coś tak, żeby nie okazało się w pewnym momencie, że to narzędzie już nie działa, tak? W ten sposób. Jakby może się okazać, że jakby tutaj to narzędzie będzie cały czas działać,

Czy coś zaindeksować, czy nie? Jakby kiedyś robiłem też troszeczkę taki research, jakie są najczęstsze przyczyny indeksowania. I pierwszym to było oczywiście crowd currency not index, co oznaczało, że Google stwierdził, aha, dobra, nie indeksujemy tego. To znaczy, że odwiedził tą stronę, ale nie zaindeksował, tak? Natomiast drugi, i to jest chyba jeszcze bardziej ciekawsze, to jest to, że Google wie o danym URL-u, ale tam jeszcze nie odwiedził. Jakby to jest rzeczywiście bardzo... Jakby bardzo często, jakby tutaj właśnie ten indexing API może pomóc rzeczywiście właśnie z tymi stronami, które są znane dla Google'a albo rzeczywiście nie są jeszcze znane wcześniej, ale już nie pomoże w przypadku stron, które są oznaczone jako crowd currency not indexed.

Mamy tutaj coraz większą złożoność, coraz trudniejsze dostanie się do indeksu i mamy też warstwę bugów, oczywiście coraz częściej. Ale zdarza się to też nie tylko w Google, ale na przykład na YouTube. Nie wiem, kanał sportowy był w ogóle usunięty z YouTube. Pytanie, czy zrobił to ktoś ręcznie, czy zrobił to jakiś automat. Przypadek. Tak. Wiecie co, ja chciałbym jeszcze zapytać może Marka tym razem, bo mamy jeszcze URL inspection API. Jakbyś Marek mógł powiedzieć coś więcej o tym API. Ja akurat z tego API korzystam, bo przede wszystkim korzystam ze Screaming Froga i dzięki temu możemy sobie sprawdzić to, czy dany adres jest zaindeksowany w Google.

Oni tam na swoim blogu czy tam w ogóle na swojej stronie wrzucili taki tutorial. To to na pewno będzie w opisie odcinka podlinkowane. Ty, Roland, mówiłeś kiedyś, że chciałbyś połączyć w swoim narzędziu Google Indexing API i URL Inspection API. Możesz coś więcej dodać? Może to, że już to zrobiłem. W swoim narzędziu zbudowałem jakby powiedzmy, że narzędzie obok Indexing API, które korzysta z tego i z tego. To znaczy możemy wrzucić sobie adresy najpierw do inspection, do sprawdzenia, dostajemy zwrotkę i te, które nie są zaindeksowane możemy przesłać do indeksacji.

I dzięki temu możemy też monitorować stronę za pomocą inspection API, tylko dane będziemy mieli na przykład raz w miesiącu, dokładne dane. Ewentualnie możemy nadpisywać poprzednie dane i co jakiś czas sobie oglądać, ile już zostało przeskanowanych adresów URL. Ale jest to jakieś rozwiązanie. U mnie działa to na zasadzie szybkiego dostępu. To znaczy, jeśli mam 50 URL i chcę to szybko sprawdzić, jak wygląda ich indeksacja, otwieram swoją aplikację, wrzucam URL, autoryzuję plikiem JSON, Dodałem domenę do autoryzacji, klikam sprawdź i idę sobie zrobić kawę.

Zazwyczaj jak wracam już z kawą to już jest sprawdzone, przeglądam sobie tylko tabelkę co się podziało, czy jakieś tam nie wypadły, czy któreś nie są powiedzmy dawno odwiedzone, powiedzmy miesiąc wcześniej. Ostatnio zostały zeskanowane. Myślę też, żeby przetestować, tak jak mówił Tomek, kiedy strona została odkryta, ale nie zaindeksowana. To znaczy, czy to po prostu działa z indexing API, tylko potrzebuję dużą próbkę, którą po prostu zbieram za pomocą właśnie inspection API. Innym jeszcze moim myślą na testy jest przetestowanie, czy indexing API zadziała w momencie, kiedy strona została odwiedzona powiedzmy właśnie miesiąc wcześniej. Czyli w skrypcie założymy, że miesiąc wcześniej ostatni raz był na niej Googlebot.

I dzięki temu możemy puścić jeszcze raz przez Indexing API. Dodatkowo jeszcze to, co właśnie Marek mówił o Screaming Frog'u, to dodatkową zaletą Inspection API jest to, że możemy sobie też z tego wyciągnąć nie tylko ostatnią datę crawlowania, ale też np. przez co zostało ostatnio crawlowane, czy był to desktop, czy mobile. Możemy także sprawdzić tym potencjalne problemy z danymi strukturalnymi. W sensie mówisz o Google Bocie mobilnym albo desktopowym, tak? Tak, tak, tak, tak. Możemy wyciągnąć też dane strukturalne, jakie są, czy są jakieś błędy oraz możemy na przykład sprawdzić, czy Google nie uznał, że na przykład inny canonical będzie odpowiedni do naszej strony i jest to po prostu duplikacja.

Jestem, no pewnie gdzieś tam po, będziemy mogli się zgadać po podcaście, jakie są nasze przemyślenia na ten temat. Jestem też ciekaw jakby tutaj, jak u ciebie to wychodzi. Ja miałem właśnie super pomysł na zrobienie takiego skryptu w Pythonie, który jakby zautomatyzuje to dla portalu contentowego. To znaczy on będzie skanował, powiedzmy, całą sitemapę, czy tam całe sitemapy, jeśli jest kilka. I na przykład będzie je skanował codziennie, jeśli pojawi się na przykład nowy adres, czyli został dodany nowy wpis na blogu, czy tam na portalu. To on popchnie go za pomocą indexing API, a co jakiś czas będzie skanował z tej listy adresów z sitemapy, będzie skanował inspection API i będzie po prostu weryfikował to, co jakby wy macie w swojej aplikacji, czyli będzie monitorował, czy dalej wszystko jest dobrze, czy coś czegoś nie wyrzuciło, czy skany nie są robione powiedzmy z większym odstępem czasu.

I co? I nie można. A teraz są indeksery, które to robią. Przeprowadziłem mały test z kilkoma stronami, takimi powiedzmy zapleczami, to znaczy te strony były dosłownie puste, świeżo zaindeksowane, kilka podstron. Dodałem do każdej wpis i spróbowałem odtworzyć tego indeksera. Za pomocą indexing API, ale nie przesyłając do samych tych stron, ale podlinkowując to gdzieś indziej, coś tam robiąc jeszcze, już nie będę w szczegóły wchodził za bardzo. I da się to zrobić, więc wydaje mi się, że jeśli ktoś ma bardzo duży zaplecz, bardzo dużo stron, bardzo dużo publikuje, to jest sam w stanie zautomatyzować sobie takiego indeksera, za który niekiedy trzeba tam zapłacić grube pieniądze.

Czy to już monetyzujesz? Jak to wygląda teraz? Powiedzmy, że już to monetyzuję, ale nie chcę tego monetyzować na taką skalę, jak na przykład robi to Tomek ze swoją aplikacją. No Tomek to szeroko leci. Jak nie książka, to ziptaj. Bo nie mam niestety takich środków, ani umiejętności, żeby tak to wyrzucić. Ja ograniczyłem obecnie użytkowników do 10 i obecnie mam 9. Aplikacja na miesiąc kosztuje 50 zł netto. Są tam dostępne trzy narzędzia, wszystkie są na stronie opisane. Jedno to jest Indexing API, drugie to jest Inspection API, a trzecie to jest takie narzędzie poboczne, taki mój pierwszy, no nawet nie mogę tego nazwać crawlerem, ponieważ on po prostu sprawdza czy linki w publikacjach dalej istnieją.

Tyle. Czyli co, na hasło SEO Fridays, jak ktoś do ciebie podbije, na przykład na LinkedInie, to jesteś w stanie z nim gdzieś tam porozmawiać o tych... Tak, tak, tak, dokładnie. ...feature'ach, które robisz. Dobra, super. Roland? Ja mogę udostępnić miesięczny dostęp do mojej aplikacji seograjk.pl dla pięciu osób, powiedzmy. Można tam skorzystać, tak jak mówiłem, z inspection API, z połączonego z indexing API. Jest to taka wersja alfa, tak to nazywam, ale raczej żadne błędy tam nie wyskoczą. Ale też będę bardzo wdzięczny za jakieś poprawki, sugestie, za ogólne testy. To zróbmy może tak, będzie link do transkrypcji, do takiego streszczenia na blogu. Pięć pierwszych osób, które dodadzą swój komentarz w miarę merytoryczny, nie tylko, że okej, jestem i chcę dostęp, to może napiszcie, jakie mieliście przygody z wyindeksowaniem albo jak długo czekaliście na indeksację swoich zasobów na swoich witrynach.