Mentionsy Mentionsy
Rób WordPressa
Rób WordPressa

116 - Mój sposób na pracę z danymi z zewnętrznego API

28.01.2022 ·16 min 50 s · 7 rozdziałów · 1 sponsor

Kolejny odcinek z serii "Mój sposób na" - tym razem opowiadam o moich sposobach na pracę z danymi pochodzącymi z zewnętrzego API. W odcinku dzielę się sprawdzonymi sposobami na sprawne zarządzanie i wyświetlanie tych danych.

0:00 · Wprowadzenie i partner podcastu 1

Cześć, z tej strony Maciej Kuchnik. Witam Cię w podcaście Rób WordPressa. Jeśli korzystasz z WordPressa, to na pewno znajdziesz tu coś dla siebie. Cześć, witam Cię w 116 odcinku podcastu Rób WordPressa. To będzie kolejny odcinek z serii Mój sposób na. Tym razem będę mówił o pracy na danych z jakichś zewnętrznych źródeł, na przykład z zewnętrznego API. Jakiś czas temu napisał do mnie słuchacz podcastu Łukasz. Pozdrawiam tutaj z tego miejsca. Z takim pytaniem właśnie o wyświetlanie produktów pobieranych za pomocą API z jakiegoś tam innego zewnętrznego systemu. No i pomyślałem, że może być to całkiem fajny temat na to, aby opowiedzieć trochę więcej w podcaście.

1:26 · Cyberfolks 1

Bardzo często mamy sytuacje tego typu, że potrzebujemy na stronie, która jest zbudowana za pomocą WordPressa, wyświetlić jakieś dane z zewnętrznego API. Najprostszym przykładem może być tutaj choćby API pogodowe, które udostępnia nam jakąś prognozę pogody w danym mieście na przykład. To często się gdzieś tam spotyka na lokalnych portalach. No i to jest taki jeden z prostszych przykładów. Oczywiście możemy napisać kawałek kodu PHP, który na przykład zrobi nam shortcoda czy Dodaj jakiś widget, który będzie wyświetlał te dane z tego API. Natomiast pierwszy taki problem, który tu widzimy, to odpytywanie API przy każdym wyświetleniu tej operacji.

1:57 · Zakładanie transientów API 4

To jest bardzo słaby pomysł, bo po pierwsze spowalniamy znacząco wczytywanie się naszej strony, bo serwer w momencie, w którym poprosimy go o stronę główną, musi jeszcze połączyć się Do tego zewnętrznego API pobrać te dane, przetworzyć i dopiero jest w stanie nam zwrócić tę stronę. A oprócz tego API często mają jakieś limity zapytań np. z jednego adresu IP. To są przeważnie jakieś tam limity np. na godzinę czy na dobę. No i bardzo łatwo moglibyśmy takie limity przekroczyć. W tym przypadku rozwiązaniem będzie oczywiście zapamiętanie tych danych do jakiejś struktury, do bazy danych, tak aby po prostu nie odpytywać za każdym razem tego zewnętrznego API o te dane, tylko żeby odświeżać je co jakiś czas.

I tutaj z pomocą może nam przyjść taki mechanizm wbudowany w WordPressa, tzw. transienty, transient API. O tym mechanizmie szerzej mówiłem w 62 odcinku podcastu, więc jeśli Was to interesuje, to zapraszam do 62 odcinka i oczywiście do dokumentacji WordPressa. Tak w skrócie jest to taki mechanizm, który pozwala zapamiętać jakieś dane, nadać im jakiś czas ważności i oprogramować całą procedurę pobierania tych danych właśnie z zewnątrz, czy nawet z samego WordPressa, jeśli mamy jakieś takie zapytanie do bazy danych, które jest bardzo obciążające, to również w ten sposób można to zoptymalizować. No i to jest wtedy dosyć prosty mechanizm, który raz na jakiś tam czas pobiera te dane z zewnątrz,

A przez resztę czasu wyświetla je po prostu z bazy danych naszego WordPressa i tutaj już rozwiązujemy ten problem wielokrotnego łączenia się i pobierania tych danych. Natomiast teraz w tym odcinku chciałbym Wam też opowiedzieć o takim moim sposobie na pracę z danymi z zewnątrz, jeśli byłby to przykładowo katalog produktów. Wyobraźmy sobie, że mamy stronę, na której chcemy mieć katalog produktów. No ale chcemy te produkty z zewnątrz z zewnątrz z jakiegoś API, które udostępnia jakaś firma trzecia. Mamy REST API, z którego możemy pobierać listę tych produktów, mamy tam jakieś linki do zdjęć na przykład, do innych materiałów, do dokumentacji jakiejś technicznej, do PDF-ów na przykład. No i to wszystko chcemy wyświetlać w naszym WordPressie.

Pierwszym takim sposobem na wyświetlenie tego wszystkiego to byłaby taka droga, jak opisywałem na początku w przypadku tego API pogodowego, że przy każdym wejściu na stronę pobieramy sobie te dane z API, wyświetlamy je w WordPressie w jakiejś tam odpowiedniej formie. No i to wszystko tam się gdzieś tam prezentuje, oprogramowujemy sobie jakąś tam paginację, podział na kategorie. I działa, tak? No ale jak już wcześniej mówiłem, to jest skrajnie nieefektywna metoda, bo przy każdym wejściu na stronę musielibyśmy łączyć się do tego API, pobierać te dane, No, raczej odpada w takich, powiedzmy, normalnych zastosowaniach, gdzie dbamy o to, aby strona była szybka i działała błyskawicznie.

5:12 · Przykład z API pogodowego 2

Można iść tu oczywiście krok dalej i zrobić też taki cache za pomocą choćby tego Transient API, że zapamiętujemy sobie tą odpowiedź z API, zapisujemy gdzieś do bazy, potem na podstawie danych z bazy renderujemy już ten widok listy produktów na przykład, który chcemy mieć na swojej stronie. No to już jest trochę lepszy pomysł, natomiast nadal pojawia się tu problem choćby podziału na kategorie czy jakieś paginacji, wyświetlania jakichś tam powiedzmy widoków archiwów, wyników wyszukiwania. No to wszystko musielibyśmy gdzieś tam ręcznie sobie oprogramować. Oczywiście można to zrobić, no ale po co się męczyć, po co robić coś, to już jest w WordPressie rozwiązane i to całkiem nieźle.

No to zawsze można zrobić motyw potomny, w którym dodamy widoki pojedynczego produktu i listy produktów właśnie dla tego typu posta. I pozostaje nam teraz jeszcze zautomatyzowanie tej drugiej strony, czyli pobierania tych danych z API. I tutaj przeważnie rozwiązanie, które stosowałem i które mi się bardzo dobrze sprawdzało, polegało na tym, że z API pobierałem te dane, natomiast pobierając je nie wyświetlałem ich w żaden sposób, tylko ten mechanizm zakładał to, że ja pobieram te dane z zewnątrz I wrzucam je jako posty do mojego WordPressa. I takie rozwiązanie pozwalało mi po prostu wypełnić tą strukturę opartą o ten własny typ posta. Oczywiście dodawałem też bardzo często tam jakieś własne taksonomie, jeśli na przykład chciałem skategoryzować jakoś te produkty, no to ta własna taksonomia pozwalała mi właśnie też wrzucić jakieś kategorie tych produktów, czy jeszcze jakiś inny podział, no w zależności od tego, co to było.

7:48 · Przykład z katalogiem produktów 4

Raz były to właśnie jakieś produkty, taki katalog powiedzmy podobny do tego, jak to wygląda w sklepach internetowych, a raz było to, z tego co pamiętam, to były jakieś nieruchomości, bo to była integracja z jakimś systemem do tworzenia ofert. Gdzie biuro nieruchomości miało po prostu program, w którym te oferty były i przez API to wszystko miało się synchronizować właśnie z WordPressem tak, aby na stronie biura nieruchomości zawsze były aktualne oferty ze zdjęciami, scenami, z jakimiś tam innymi parametrami. I ten mechanizm oczywiście raz na jakiś czas pobierał sobie te dane z API, aktualizował dane, które już były wcześniej pobrane, jeśli uległy zmianie, na przykład jakaś cena uległa zmianie, czy jakiś tam inny parametr.

No a jeśli pojawiały się jakieś nowe obiekty, no to dodawał po prostu nowego posta w WordPressie. Oczywiście też musiał dbać o to, żeby oferty, które na przykład wygasły czy zostały sprzedane, odpowiednio oznaczać w WordPressie tak, aby zmieniać im status i dzięki temu zachowywaliśmy zawsze spójność tego, co było w tych danych źródłowych udostępnianych przez API z tym, co widział klient na stronie internetowej. I tutaj jeszcze oczywiście pozostaje kwestia aktualności tych danych, no bo pobranie ich po raz pierwszy i zaimportowanie do WordPressa, no to jest dopiero połowa sukcesu, bo mamy te dane, możemy je wyświetlać, ale przecież żeby miało to jakikolwiek sens, no to te dane muszą być aktualizowane.

I tutaj w zależności od tego, jakimi możliwościami technicznymi dysponowaliśmy w ramach danych integracji i jaka była zmienność tych danych, no to stosowałem dwa podejścia. Pierwsze, bardzo proste podejście, oparte po prostu na WP Kronie, gdzie było dodawane zadanie, które miało odświeżać te dane, czyli pobierać dane z API, aktualizować je w tych postach w WordPressie i dodawać ewentualnie nowe wpisy, bądź usuwać te, których nie powinno już być. I takie zadanie wykonywało się na przykład raz na dobę, bądź dwa razy na dobę, w zależności od tego, jak duża była zmienność. No i jeśli też nie było jakoś szczególnie dużo tych wpisów do przetworzenia, nie były to jakieś tam setki, tysięcy czy miliony wpisów, no to nie było problemu, bo to był prosty, szybki proces do wykonania, który mógł się zakończyć bardzo szybko.

I w przypadku tego systemu, o którym mówię, z którym robiłem tą integrację, Była taka możliwość, że w momencie, w którym dane produktu się zmienią, to jest wysyłany webhook z informacją o tym produkcie. Czyli te wszystkie dane, które ja sobie pobierałem z API, to tak naprawdę były wysyłane w momencie edycji do mojego systemu, gdzie mogłem sobie to obsłużyć. Po prostu szedł request do mojego WordPressa, gdzie w danych tego requestu były wszystkie informacje o produkcie. No i mogłem sobie zaktualizować właśnie informacje dotyczące tego danego posta w mojej bazie danych. Tutaj oczywiście musimy też pamiętać o tym, że jeśli synchronizujemy sobie po raz pierwszy takie dane, to musimy też zapamiętać jakąś referencję do tego źródłowego obiektu, tak abyśmy potem mogli przypisać dane z API do danych, które mamy w WordPressie.

12:15 · Automatyzacja pobierania danych 1

Zwykle to się opiera na jakichś identyfikatorach, Ja to zawsze robiłem w ten sposób, że jeśli pobierałem sobie te dane z zewnętrznego API, no to zapisywałem sobie jako custom fielda identyfikator tego produktu w tym zdalnym systemie i potem importując po raz kolejny te dane, no to sprawdzałem czy produkt o takim ID jest już w moim systemie, został już kiedyś wcześniej pobrany. Jeśli tak, to aktualizowałem go. Jeśli nie było takiego ID, to wiedziałem, że jest to nowy produkt, do którego po prostu trzeba dodać nowego posta w WordPressie i był tworzony po prostu nowy obiekt, nowy post i przybywało tych produktów. No bo w sytuacji gdybym nie miał tych referencji, no to każdy proces synchronizacji tak naprawdę kończyłby się tym, że dodawałbym nowe posty, które przyleciały z API.

Pokazano wszystkie 13 dopasowań. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.