Mentionsy Mentionsy
KajoData - Analiza danych dla każdego
KajoData - Analiza danych dla każdego

Czy Data Engineer boi się AI? | ETL & Data Pipelines | Gość: Darek Butkiewicz [ "Nieinformatyk⁩" ]

18.08.2025 ·58 min 27 s

🟦 Darka znajdziesz na: https://nieinformatyk.pl/🟨 KajoData znajdziesz na: https://kajodata.com/W tym odcinku zaprosiłem do rozmowy Darka Butkiewicza, znanego szerzej jako Nieinformatyk – twórcę popularnych kursów o bazach danych i doświadczonego inżyniera danych. Rozmawiamy o jego ścieżce do zawodu, która nie była wcale oczywista – od pracy w call center, przez fascynację rozwojem osobistym, aż po specjalizację w Oracle i obecnie pracę w środowisku chmurowym. To świetna historia dla tych, którzy myślą o przebranżowieniu lub dopiero wchodzą do świata IT.Z Darkiem rozkładamy też na czynniki pierwsze codzienność data inżyniera – od budowania pipeline’ów, przez procesy ETL/ELT, aż po pracę z hurtowniami danych i współpracę z analitykami. Rozmawiamy też o tym, dlaczego SQL mimo upływu lat ciągle trzyma się mocno, a także jak wygląda praktyczne korzystanie z narzędzi AI w pracy inżyniera danych.To odcinek, w którym łączymy perspektywę techniczną, karierową i trochę filozoficzną. Jeśli chcesz dowiedzieć się, jak wygląda nowoczesna praca z danymi „od kuchni” i co sprawia, że ta ścieżka może być naprawdę satysfakcjonująca – koniecznie posłuchaj tej rozmowy.

To ja miałem poczucie matko boska, ten człowiek jest na tak kolosalnym levelu, jeżeli chodzi o ogarnięcie szczegółowości, że mi zajmie lata świetlne, zanim gdzieś do tego dojdę, nie? Więc... Była taka mega aura merytoryczności, którą, wiesz, człowiek rozkładał na inne poziomy też, nie? Bo to, że Ty nie mówiłeś w tym momencie, nie wiem, o Google Cloudzie, to ja miałem przekonanie, że Ty masz o wszystkim taką wiedzę jak o Oracle'u, nie? Nie, nie, to myślę, że to jest często tak, że też trochę nie tyle mnie to przytłacza, ale mi się wydaje, że to jest też kwestia trochę YouTube'a, że ludzie sobie widzą kogoś, kto nagrywa materiał i sobie wyobrażają, jaki on jest kompetentny, a to mi się wydaje, że wyobrażenie ludzi o tym, ile wiem, ile umiem, jest jednak trochę, znaczy nie wiem czy wszystkich, tak, ale stosunkując się do tego, co powiedziałeś, jest raczej, że rzeczywistość jest taka, że

Ok, to myślę, że mocno może się różnić między projektem, bo też nie chciałbym z całej pracy Data Ingeniera wrzucić, bo są też projekty takie Data Inżynierskie ukierunkowane bardziej na jakąś Big Data, gdzie mamy kafkę z parka, przetwarzanie takie w czasie rzeczywistym. Ja pracuję na projekcie, który jest stricte związany z takim klasycznym rozumieniem ETL-a. To znaczy, że główna część przetwarzania opiera się o SQL-a, trochę gdzieś tam może jakiegoś Pythona. Mój dzień pracy wygląda tak, abstrahując jeszcze oczywiście od tego, że tam pracujemy agile'owo i są jakieś takie spotkania, planningi, review retro. W zależności od zadania, ale jakbyśmy chcieli tak kompleksowo na to spojrzeć, no to mamy coś na źródle, jakieś dane, jakiś jeden z wielu systemów, w których firma chciałaby korzystać, chciałaby te dane w jakiś sposób przetwarzać.

Albo hurtowni danych, albo do Data Lake'a, jeśli mówimy o Lake House'ie. Ja teraz rzucam trochę pojęciami, ale jest klasyczne podejście, kiedy te dane ładujemy już prosto do hurtowni danych, albo takie bardziej nowoczesne, kiedy dane wrzucamy właśnie na jakąś usługę chmurową, czy to jest Amazon S3, czy to jest Azure Data Lake, Google Cloud Storage, po prostu jakiś taki fizyczny, znaczy wirtualny dysk, na którym wrzucamy pliki. I ten proces ingestion sobie po prostu chodzi i te zbiera dane, jak tylko się coś zmieniło, wrzuca je tam. Drugi element, no to jest teraz kwestia wykorzystania tych danych, które mamy, no uznajmy, że mówimy już teraz o Data Lake'u, czyli tym trochę nowszym podejściu, no to startuje proces, który ma za zadanie te dane niejako zwalidować. Nie chcemy przetwarzać danych, które są niepoprawne, które zawierają błędy, które mają być może jakieś niepoprawne typy danych.

Drugi etap, czyli warstwa integracji albo ta warstwa srebrna to jest warstwa chyba najtrudniejsza, bo tu dzieje się najwięcej, czyli tu musimy Te dane zagregować, musimy je jakoś połączyć, dostosować do jakiegoś docelowego modelu, czyli w warstwie integracji już modelujemy dane, tu też w zależności od podejście jest wiele, jest jakiś klasyczny Kimball czy Inmon, mamy Data Vault, też coraz popularniejszy jest jakiś system mocno zdenormalizowany, czyli tworzymy mniej powiązań między tabelami, a dużą taką szeroką tabelkę, to się nazywa One Big Table, ale w każdym razie no zgodnie z jakąś tam architekturą i założeniem modelujemy te dane, żeby Dobrze stanowiły taki single point of truth, czyli takie miejsce, jedyne miejsce w systemie jakimś informatycznym, z którego jesteśmy w stanie tak naprawdę wszystkiego się dowiedzieć.

I teraz Cię dopytam, bo tak mi się wydaje, że o ile SQL jest rozumiany, można go gdzieś tam rozdzielić, przynajmniej ja go rozdzielam wewnętrznie, na dwie takie podgrupy. Taki mamy SQL bardziej administracyjny, od tworzenia bazy danych, utrzymywania tabel, relacji, kluczy itd. I ten SQL analityczny, czyli mega upraszczając, pisanie selektów mniej lub bardziej złożonych. Python jest mniej więcej zrozumiały, ok, jakiś tam język programowania, wybieramy sobie te biblioteki, których potrzebujemy, to z tym Cloudem ja mam zawsze problem. Bo to jest tak, że no musisz umieć chmurę. I takie jest, dobra, ale to co ja jakby, ok, rozumiem, jest Azure, jest jakby AWS, jest Google Cloud, co ja konkretnie mam umieć?

W sensie, co ja mam się umieć zalogować na tą platformę? No ona po prostu przecież sobie jest, nie? Moim zdaniem chodzi o to, że jakbym wyobraził sobie, że zatrudniamy nową osobę do naszego projektu, no to fajnie, żeby tak, umiała klikać, ale też rozumiała takie podstawy typu chociażby znajomość podstawowych usług, czyli żeby... Jeśli mamy ten proces ingestion i gdzieś tam na rozmowie się pojawia albo na refinement-cie temat, że na przykład dobra, no to musimy te dane teraz zapisać i musimy stworzyć nowy bucket na Google Cloud Storage. No to jeśli ktoś nie wie, czym jest Google Cloud Storage, nie ma tej, teoretycznie nie rozumie, czym jest Data Lake, nie wie, bo się po prostu nie pracował z tym, że dane tam przechowujemy na przykład w formie bucketów, no to to wszystko brzmi niezrozumiale.

Sformułowanie z ingestu i dane do bucketu w Google Cloud Storage, jeśli nie rozumiemy tych wszystkich trzech pojęć, jest niezrozumiałe. No i podobnie z każdą inną usługą. Jeśli chcemy zorkiestrować dane, jeśli potrzebujemy stworzyć nowego service accounta, to pytanie, a kto to jest service account? Jak się to robi? To są takie rzeczy, które jakby... Rozumiem swoje pytanie, bo SQL-a i Python-a jest dużo łatwiej uchwycić, prawda? I też zadać pytanie, ej, zrób sobie coś. A w Cloudzie, to dlatego mi się wydaje, że większość ofert o pracę ma takie wymaganie... Kontakt, znajomość, doświadczenie z Cloudem. Natomiast to trudniej jest jakoś na rozmowie, wydaje mi się, sprawdzić. Nie spotkałem się jeszcze, żeby ktoś wykazał mnie tam po konsoli, nie wiem, AWS-ie czy GCP klikać.

Jeżeli teraz pomyślimy o tym, że ten świat IT głównie kręci się wokół danych, to człowiek zadaje sobie pytanie, jak to się stało, że myśmy nic lepszego nie wymyślili do tej pory? Dlaczego tak jest? Nie wiem, dlaczego tak jest. Znaczy mogę się domyślać, dlaczego on dalej z nami jest. Bo jak SQL powstawał, to jego zadaniem było... Świat, w którym powstawał SQL, bo te bazy relacyjne powstawały w latach 70. ubiegłego wieku, więc to jest już 50 lat. I tak jak ja rozumiem ówczesną rzeczywistość, to było to tak, że popularyzowały się komputery. Był coraz większy popyt na ludzi, którzy będą w stanie optymalizować nawet pracę biurową, obsługiwać po prostu komputer. Gdzieś tam jeszcze poziom wyżej może zarządzać danymi.

Wiem, że jest AI, tak? Ono zwiększa produktywność, może do tego jeszcze dojdziemy. Ale cały czas aktualny jest problem tego, że tych ludzi brakuje. No i teraz jeśli mamy technologię, która sprawia, że jesteśmy w stanie dowodzić wartość, ale niekoniecznie musimy być super techniczni, no to myślę, że to jest doskonałe zaadresowanie problemu, który wciąż jest aktualny. I dlatego ten SQL, pomimo że jakieś ORM-y się pojawiały, Bazy noSQLowe, które na początku już były bazami notSQL, a później się okazało, że jednak ten SQL trudno go wyprzeć, więc zmienili tłumaczenie na not only SQL, to jest SQL z czymś tam innym, no to myślę, że jesteśmy tu, gdzie jesteśmy właśnie z tego powodu. To jest w ogóle ciekawe, że przypomniałeś. Nawet jak człowiek żyje w bańce, to już później jest jak ta ryba, która pływa i już przestaje widzieć wodę w ogóle.

Czy to zaczyna się zamieniać w prąd? To znaczy, że ja nie muszę wiedzieć, jak działa SQL, tak jak nie muszę wiedzieć, jak działa prąd. Ja sobie podpinam kabel do gniazdka i prąd mi leci. Ja sobie podpinam aplikację, którą Vibe koduje w replicie do bazy danych w Postgresie. Jakaś tam baza danych jest. Myślę, że jest dużo prawdy w tym, co mówisz, no bo to też tak w przeszłości wyglądało, prawda? Jak były języki niskiego poziomu, gdzie trzeba było jakieś adresować pamięć, zarządzać operacjami, no to pojawiły się języki wyższego poziomu, gdzieś tam czwartej generacji, które już ten problem rozwiązywały. Python jest popularny teraz. Dlaczego? No bo jest stosunkowo prosty, tak? Jakbyśmy go porównali z innymi językami programowania, jakimś Kobolem, no to wiadomo, że próg wejścia jest dużo niższy, a jak jest niższy, no to też więcej osób się go uczy, bo nie trzeba się zmagać z jakimiś trudnościami.

I z SQL-em myślę, że... Że będzie podobnie i jest podobnie, w tym sensie, że zawsze będzie potrzeba, żeby ktoś rozumiał, co się dzieje pod spodem. I fajnie chociaż, jak na jednym projekcie jest ktoś, kto rozumie, co tam siedzi pod spodem, żeby rozwiązywać trochę trudniejsze problemy. Natomiast co do zasady, myślę, że to już się dzieje, tak? Bo jak się przyjrzymy nawet tej zmianie w hurtowniach danych, że... W systemach on-premise'owych na przykład dużo czasu ja poświęciłem na to, żeby zrozumieć, czym jest jej indeks, jak indeks działa, jakie są tam ścieżki skanowania, rodzaje indeksów, a teraz przychodzę sobie, na przykład pracuję z Google BigQuery, a tam indeksów w ogóle nie ma. Albo trzeba się uczyć, już nawet partycjonowanie i klastrowanie to są jeszcze jakieś tam metody optymalizacji, ale na przykład w Snowflake'u takim też tam domyślnie jest jakieś mikro-partycjonowanie, czyli jakiś algorytm sobie lata i on sam ci mówi, jak te dane popartycjonować.

Zgadzam się. Mija 50 minut naszej rozmowy i nie padło jeszcze tutaj zbyt dużo o sztucznej inteligencji i aż takie to dziwne, że dwóch technologicznych gości gada bez AI w tle, więc muszę cię o to zapytać. Jak to wygląda, jeżeli chodzi o proporcje? Jak duża część Twojej pracy polega na interakcji z systemami AI, powiedzmy? Myślę, że niewielka. W sensie, no to zależy też oczywiście jak to liczyć, tak? No bo jeśli pracuję z Google Big Query, tak? I tam dane na przykład określam sposób fizycznego ułożenia danych, ich klastrowania, a pod spodem raz na jakiś czas działa algorytm, który je tam przeczesuje, no to też można... Nie mówię o takich automatyzacjach, które są już zagnieżdżone w tych systemach, w których pracujemy, które są praktycznie w większości systemów, nie?

Moje pytanie gdzieś w tle zeszyte było, czy ty masz poczucie, że nasz świat się kończy? Nasz czas zawodowy dobiega końca, kursy na stolarza, hydraulika, te sprawy. Nie sądzę. Z natury jestem optymistą, to może jedna rzecz, ale już o tym, że generalnie SQL miał się kończyć, to było tyle razy. I jak powstawały jakieś ORM-y, i jak powstawały bazy SQL-owe, i jak powstawał później Hadoop, więc już wiele razy wieszczono koniec, a on dalej jest. I nie mówię nawet już, a teraz już nie mówiąc może nawet o samym SQL-u, ale o IT, bo zawsze było tak, że ci ludzie byli potrzebni. Więc mi się wydaje, że to, co się co najwyżej zmienia, to fakt, że trzeba uczyć...

Pokazano wszystkie 13 dopasowań. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.