Co robi Data Analytics Engineer? | Inżynier Danych w świecie analizy danych | KajoData Podcast

Tworzenie i optymalizacja pipeline'ów danych. I jest to optymalizacja specyficzna, bo chodzi o optymalizację pod kątem późniejszej analityki. I teraz najprościej można o tym myśleć w kategoriach takiego standardowego inżyniera danych, to znaczy osoby, która upewnia się, że dane dobrze lecą z punktu A do punktu B. I często pomiędzy tym punktem A a punktem B jest jeszcze transformacja danych. Natomiast tutaj trzeba pamiętać o tym, że Data Analytics Engineer od razu będzie miał w głowie, co się później będzie z tymi danymi działo, a będą one później automatyzowane, będą one później analizowane, będą one później przesyłane do dashboardów albo na przykład analizowane przez jakieś procesy machine learningowe.

I teraz mówiąc w skrócie, konkretnie oznacza to, że osoba pracująca na takim stanowisku będzie się zajmowała przetwarzaniem i modelowaniem danych w takich narzędziach jak oczywiście bazy danych typu SQL, DBT, Airflow. Poza tym będziemy mieli bardzo duży nacisk na optymalizację procesów ELT albo ETL, bo to są dwa różne procesy, tak żeby później osoby pracujące na tych danych, często analitycy, mieli dostęp do danych, które są czyste, Takie jak były oczekiwane i aktualne, mówiąc wprost. A to, że jesteśmy między punktem A a punktem B i przesyłamy te dane, to również oznacza, że przy takich pipeline'ach musimy się konsultować z zespołami, które odpowiedzialne są za system A i za system B, czyli tymi, którzy nam te dane dają i tymi, które te dane później odbierają.

Ty i ja musimy jakoś swoje życie planować. Dorosły człowiek nie może po prostu z dnia na dzień żyć w YOLO trybie i oczekiwać, że to będzie życie, które będzie satysfakcjonujące, gdzie będą po prostu sukcesy, gdzie będziemy zadowoleni ze swojej pracy. Hej, sorry, że wbijam się w temat, ale chciałem tylko przypomnieć, że na mojej stronie kajodata.com znajdziesz dostęp do społeczności i platformy dla analityków danych, gdzie jest mnóstwo świetnych materiałów i pełne wersje kursów z Excela, SQL, Pythona i Tableau, a także webinary z Power BI, więc gorąco zachęcam kajodata.com. Ok, wracamy do tematu. Jeżeli jesteśmy między różnymi systemami, między systemem A i B, a najczęściej to jest jeszcze A, B, C, D, E, F, G i one są po prostu połączone ze sobą w najprzeróżniejszy sposób, różnymi relacjami, to my musimy gadać z ludźmi, którzy stoją za tymi systemami, no bo inaczej nie zrobimy dobrego pipeline'u, nie zrobimy dobrej warstwy analitycznej, nie zoptymalizujemy tych kosztów, bo nie wiemy, co mamy konkretnie zoptymalizować, nie?