Co robi Data Analytics Engineer? | Inżynier Danych w świecie analizy danych | KajoData Podcast

Dzień dobry, ja się nazywam Kajo Rudziński, to jest KajoData i dzisiaj porozmawiamy prawdopodobnie o najfajniejszej i najbardziej przyszłościowej roli w świecie analizy danych i nie będzie to Data Scientist, nie będzie to Data Analyst, nie będzie to nawet Data Engineer. Pytanie kto to będzie? Otóż będziemy dzisiaj rozmawiać o Data Analytics Inżynierze, Najczęściej się to spotyka jako Data Analytics Engineer, albo Data Analyst Slash Engineer, albo Data Analyst Data Engineer. Jest bardzo dużo różnych kombinacji tego, jak firmy tę rolę nazywają. Natomiast w skrócie jest to połączenie analityka z inżynierem danych, Gdzie mam wrażenie, ta rola inżynierii danych jest trochę większa. Powiedzmy, że to jest takie 60 do 40, może nawet 70 do 30.

No i cóż, przejdziemy sobie przez 5 punktów, w których opowiem Ci, co robi Data Analytics Engineer i myślę, że zobaczysz, jak cennym zawodem jest ta praca w świecie, gdzie coraz więcej rzeczy jest automatyzowane, a jednocześnie firmy wciąż bardzo potrzebują osób, które są Dobrze wykształcone, jeśli chodzi o pracę z danymi, które po prostu potrafią z danymi pracować, bo przez dobrze wykształcone nie mam tutaj na myśli formalnego wykształcenia jakiegoś uniwersyteckiego, tylko które po prostu dobrze sobie radzą. Tak jak wspomniałem, przejdziemy przez pięć punktów pokazujących takie najważniejsze obowiązki inżyniera danych i myślę, że to pokaże ci, jak ciekawa jest ta praca.

Tworzenie i optymalizacja pipeline'ów danych. I jest to optymalizacja specyficzna, bo chodzi o optymalizację pod kątem późniejszej analityki. I teraz najprościej można o tym myśleć w kategoriach takiego standardowego inżyniera danych, to znaczy osoby, która upewnia się, że dane dobrze lecą z punktu A do punktu B. I często pomiędzy tym punktem A a punktem B jest jeszcze transformacja danych. Natomiast tutaj trzeba pamiętać o tym, że Data Analytics Engineer od razu będzie miał w głowie, co się później będzie z tymi danymi działo, a będą one później automatyzowane, będą one później analizowane, będą one później przesyłane do dashboardów albo na przykład analizowane przez jakieś procesy machine learningowe.

Możemy na początku mieć surowe dane i to mogą być surowe dane transakcyjne albo surowe dane, które pochodzą z jakiegoś streamingu, które są kompletnie nieobrobione i najczęściej niewiele znaczą. Z danymi transakcyjnymi jest trochę łatwiej. I później staramy się przygotować te dane tak, żeby one później mogły być analizowane. I to tworzenie warstwy analitycznej jest dosyć popularne np. w firmach, które korzystają z data lake'ów, które bardzo łatwo agregują różnego rodzaju dane, Ale właśnie to, że bardzo łatwo agregują różnego rodzaju dane, powoduje, że trafiają tam śmieci albo dane, które mają bardzo niski poziom standardyzacji. I przez to potrzebujemy później osoby, która w jakiś sposób to ogarnie, w jakiś sposób to przygotuje, bo jest to zadanie o tyle złożone, że tak naprawdę jest po prostu pełnoetatowym zadaniem.

I mówiąc wprost, i to mówię z własnego doświadczenia komercyjnego, są całe zespoły ludzi, które nad tym pracują. Najczęściej wciąż ci ludzie są opisywani jako data inżynierowie, ale ponieważ coraz częściej wymaga się od inżyniera danych bardzo dobrego zrozumienia tego, co się później analitycznie dzieje, to doceniane jest, jeżeli ta osoba ma takie głębokie zrozumienie analityczne, czy też po prostu potrafi dane analizować. I teraz na czym to polega? Polega to na tym, że na przykład mamy dane z surowymi tabelami, to znaczy surowe dane w tym sensie, że to są dane, które nie zostały w żaden sposób zagregowane, zgrupowane albo nawet ustandaryzowane. I teraz trzeba zbudować jakby nowy schemat na tych danych, nową warstwę tych danych.

I tutaj Data Analytics Engineer po prostu wjeżdża cały na biało i cóż, ma tą sytuację ogarnąć. Punkt numer trzy to jest automatyzacja i raportowanie. I to jest taka, moim zdaniem, automatyzacja i raportowanie już nowego poziomu. To jest automatyzacja w świecie, gdzie mamy AI, w świecie, gdzie możemy Co robi Data Analytics Engineer? KajoData. KajoData Podcast.

Te bazy się tam jakoś ze sobą integrują, przesyłają sobie dane. My na tym stawiamy dashboardy. To zobacz, ile jest przestrzeni na to, żeby coś poszło nie tak. Także dlatego, że my próbujemy jakieś fragmenty tej rzeczywistości zautomatyzować. Każda automatyzacja również jest polem na to, żeby coś poszło nie tak. I tutaj znowu potrzebujemy osoby, która świetnie ogarnia pipeline danych i świetnie ogarnia analitykę. I taką osobą jest właśnie Data Analytics Engineer. Punkt numer cztery to optymalizacja kosztów. To jest najtrudniejsze, dlatego że jest to najmniej przyjemne w tej roli. Niemniej jest bardzo ważne. Często mamy takie systemy, bazy, które nie kosztują firmę, powiedzmy tam za licencję za rok i to jest jakieś flat fee, tylko że my płacimy za każde zapytanie, bo to jest takie bardzo skalowalne wtedy, nie?

W współczesnym świecie IT, w świecie, gdzie mamy AI, tych systemów jest naprawdę dużo. One się ze sobą łączą, łączą się w sposób Co robi Data Analytics Engineer? Jeżeli jesteśmy w stanie zoptymalizować SQL-e w taki sposób, żeby koszty poszły o 10% w dół, to to jest super rzecz. A teraz kolejna zajawka. Wyobraź sobie, że twoim zadaniem jest zrobienie tego w taki sposób, że to się automatycznie ścina, że mamy jakieś automatyczne systemy, które powodują, że my to optymalizujemy. Nie ma opcji.

Ta komunikacja też jest bardzo ważna, więc Ten aspekt, powiedzmy, miękki, czy jak to się ładnie powiedziała Cassie Kozyrkow dawno temu, najtrudniejszy do zoptymalizowania, najtrudniejszy do zautomatyzowania, jest również bardzo, bardzo cenny, jeżeli myślimy o tej roli. Tak że to jest również coś, co trzeba mieć z tyłu głowy, To nie jest wszystko, to jest coś więcej, ale dlatego ta rola jest cenna i jest dobrze płatna. Jeżeli lubisz pracę z danymi, jeżeli masz dobrze ogarniętego SQL-a, jeżeli chcesz być w roli, która ma przyszłość, bo łączy bardzo dużo różnych systemów, jeżeli jesteś kimś pomiędzy analitykiem, data inżynierem, lubisz raportować, lubisz wizualizację, ale lubisz też takie siedzenie w technikaliach i z ludźmi, to to jest bardzo dobry pomysł.

Ważna rzecz, jeżeli będziesz szukał tej pracy, jakiejś tam pracy pl.noflowjobs, innych portalach, To musisz to wpisywać na różne sposoby. Możesz wpisywać Analyst Engineer, Data Analyst, Data Engineer, Inżynier Danych slash Analityk. Jest bardzo dużo różnych sposobów, w jaki firmy opisują tą robotę, ale najczęściej zorientujesz się, że to jest po prostu taki Inżynier Danych z mocnym fokusem analitycznym. I to jest rola, o której dzisiaj opowiadaliśmy. Daj mi znać w komentarzu, czy to jest rola, która wydaje ci się ciekawa, albo jaka inna rola wydaje ci się ciekawa, o której warto by było, żebym na tym kanale powiedział. A jeżeli pracujesz już w tej roli albo pracujesz w roli, która wygląda, tak, to będzie jeszcze super bardziej interesujące, jeżeli powiesz coś, co mniej więcej robisz.