Mentionsy

Co robisz tak na co dzień?

OK, czyli jest to pewnego rodzaju takie trochę marzenie ludzi, którzy wchodzą do świata danych, czy są na początku tej drogi, o takim bardzo konkretnym fachu w ręku, już na dosyć wysokim levelu, bo ta rola inżyniera danych jest często uważana za taką docelową, tą najfajniejszą, którą chciałbyś robić.

Większość z widzów pewnie kojarzy ciebie jako nieinformatyka ze światem baz danych szeroko pojętych.

Bo nie wydaje mi się, że siedmio czy ośmiolatek mówi sobie ja to bym chciał z bazami danych w przyszłości pracować, nie?

Byłem przygotowywany do trochę takiej roli, jak wykorzystać IT w biznesie, ale na takiej dużo bardziej biznesowo niż technicznie.

I opcje miałem dwie, albo wyjadę za granicę, albo wrócę do swojej małej miejscowości, bo wtedy mi się w ogóle wydawało utrzymać się w Warszawie, stacja, koszty takie, pracowałem gdzieś tam, call center sobie dorabiałem.

No i wyznaczyłem sobie takie trzy rzeczy, które chciałbym, żeby moja nowa praca spełniała.

Po pierwsze chciałbym, żeby to była praca zdalna, bo ówcześnie sobie wymarzyłem, że wyjadę gdzieś za granicę, może z Tajlandii będę pracował, już mi się to odwidziało, ale wtedy tak miałem.

Druga opcja to chciałem dobrze zarabiać, a trzecia chciałem robić coś takiego atrakcyjnego, umysłowo rozwijającego, bo pracując w call center

I zacząłem równolegle i uczyć się SQL-a i baz danych, bo miałem na studiach nie tyle SQL-a, ale miałem jakieś takie przebąkiwania, że coś takiego jak w systemie BI jest, jakieś kostki OLAP-owe, coś tam z teorii, dosłownie znałem pojęcia.

I to było tak, że zacząłem się po prostu uczyć, wypożykałem książki z biblioteki i

Że jakby ten aspekt biznesowy nie aż tak cię zainteresował, tak czytam, nie aż tak cię zainteresował jak aspekt techniczny.

Nerci, którzy siedzą przed kompem, zgarbieni, coś tam, wiesz, coś tam klikają, a biznesmeni, osoby pracujące w biznesie mają większy jakby gdzieś tam status społeczny, prestiż i tak dalej, nie?

Wydaje mi się, że wtedy jak studiowałeś, to jeszcze nie było tej wizji takiego super dewelopera jako takiej mega pożądanej, tak mi się wydaje, więc zastanawiam się, ten biznes cię po prostu nie interesował?

Myślę, że IT mi się wydaje konkretniejsze i w tym sensie fajniejsze, że kiedy ja mogę sobie wyznaczyć jakiś cel, chcę zostać seniorem, chcę robić konkretne rzeczy, to jestem w stanie stosunkowo łatwo przynajmniej sobie wyznaczyć.

A jak powiem sobie, że chcę być menedżerem, no to czego mam się nauczyć?

Wydaje mi się, że w IT mam po prostu większą kontrolę nad swoją karierą, bo jak sobie się czegoś nauczę, no to nikt nie będzie patrzył przez pryzmat, tak mi się wydaje, przynajmniej tam wieku.

W biznesie wydaje mi się, że to jest trochę trudniejsze, jeszcze inne czynniki wchodzą w grę.

Czy to było raczej takie płynne przejście i stawianie sobie celi?

Generalnie to wszystko się zaczęło od znienawidzonego w Polsce rozwoju osobistego.

I który opowiadał tam, że on to też akurat w Polsce gdzieś tam w Krakowie sobie żył, ale tak sobie życie ułożył, że on chodzi po rajskiej wyspie i się nie martwi o pieniądze i tak dalej.

To się zaczęło tak naprawdę do rozwoju osobistego w moim przypadku, czyli no wiesz, wyznaczanie celów, jakieś tam obszary życia, gdzie w każdym chciałbyś dojść.

No i sobie czytałem książki, robiłem szkolenia z tego i trafiłem na jedno takie

Natomiast no jest coś takiego, że część z nas gdzieś tam próbuje planować swoje życie, wyznaczać sobie jakieś cele, a część z nas tak trochę dryfuje i tak trochę gra w tenisa z rzeczywistością.

Jakaś tam piłka do ciebie leci, ty jakoś tam odbijasz, ale to nie ma jakiejś takiej większej strategii w tym.

Ja w młodości byłem bardzo zasłuchany w treści Antonego Robinsa i też to gdzieś na mnie oddziałowało.

Widziałem różnicę osób między sobą i innymi, między ludźmi, którzy skupiają się na pewnej rzeczy, którą sobie wyznaczyli i że to jest po prostu dla nich ważne.

Natomiast to do zasady, no to tak, to od tego się zaczęło, że sobie wyznaczyłem ten cel.

To znaczy, że to, czego ty się uczyłeś, ta praca, do której ty się przygotowywałeś, nie mówię o takich poszczególnych technologiach, bo one wiadomo, że ewoluują z czasem, ale takie ogólne założenia tego, co się robi przed kompem, mówiąc wprost.

Oczywiście między systemami są różnice i w miejscu zasady im głębiej wlasz, tym więcej drzew.

Wiesz co, zanim przejdę do kolejnego pytania, to od razu się wyspowiadam, że myślę, że ta wiedza oraklowa Ci się przysłużyła, bo na przykład osoby, które Cię obserwowały, mówią sobie, że jak się Ciebie obserwowało, to ja miałem wiecznie przed Tobą imposter syndrome, bo ja właśnie nie miałem takiej specjalizacji.

Nie, nie, to myślę, że to jest często tak, że też trochę nie tyle mnie to przytłacza, ale mi się wydaje, że to jest też kwestia trochę YouTube'a, że ludzie sobie widzą kogoś, kto nagrywa materiał i sobie wyobrażają, jaki on jest kompetentny, a to mi się wydaje, że wyobrażenie ludzi o tym, ile wiem, ile umiem, jest jednak trochę, znaczy nie wiem czy wszystkich, tak, ale stosunkując się do tego, co powiedziałeś, jest raczej, że rzeczywistość jest taka, że

To co konkretnie ty robisz?

Ok, to myślę, że mocno może się różnić między projektem, bo też nie chciałbym z całej pracy Data Ingeniera wrzucić, bo są też projekty takie Data Inżynierskie ukierunkowane bardziej na jakąś Big Data, gdzie mamy kafkę z parka, przetwarzanie takie w czasie rzeczywistym.

Ostatnio słyszałem, że coś na Power BI robili, a dwa dni temu chyba, że jakiś Qlik Sense, jeśli dobrze mówię, ma się też pojawić.

No ale to nie jest tak, że to nie są fizyczne obiekty, że tam bierzesz i jak talerze po prostu polerujesz i odkładasz na półeczkę jeden za drugim, albo że odświeżasz tabelę i myślisz sobie, o nowy rekord przyszedł, no to robię Ctrl C, Ctrl V i tam usuwam kolumnę.

Oczywiście możemy mieć takie przetwarzania na zasadzie, będę sobie raz na dzień czy raz na godzinę, raz na miesiąc sprawdzał, czy coś się zmieniło i zaciągam te dane, ale jeśli chcemy na przykład te dane przetwarzać takim...

I ten proces ingestion sobie po prostu chodzi i te zbiera dane, jak tylko się coś zmieniło, wrzuca je tam.

Te dane zagregować, musimy je jakoś połączyć, dostosować do jakiegoś docelowego modelu, czyli w warstwie integracji już modelujemy dane, tu też w zależności od podejście jest wiele, jest jakiś klasyczny Kimball czy Inmon, mamy Data Vault, też coraz popularniejszy jest jakiś system mocno zdenormalizowany, czyli tworzymy mniej powiązań między tabelami, a dużą taką szeroką tabelkę, to się nazywa One Big Table, ale w każdym razie no zgodnie z jakąś tam architekturą i założeniem modelujemy te dane, żeby

No a już kiedy to zrobimy, no to idziemy do kolejnego etapu, czyli właśnie już wybrania z tego fragmentu danych, być może jeszcze delikatnie tego obrobienia i wrzucenie do...

Może połączyć kilka tabel, jakąś prostszą agregację zrobić i tak naprawdę mamy na wyjściu i ten analityk, czy to jest analityk danych rozumiany, że robi wizualizację, czy data scientist, bo tak też się zdarza, jakiś model statystyczny buduje, no to to jest, że tak powiem, wsad dla niego.

To jak Cię słuchałem, to brzmi tak, że jak są te trochę paradiujące wykresy, opisujące pracę data scientisty czy analityka danych, w których to czyszczenie danych stanowi znakomitą większość ich pracy, to u Ciebie mam wrażenie, że to stanowi niemalże całą Twoją pracę.

Wiesz, bierzesz dane brudne i oddajesz dane czyste w jakimś tam miejscu.

No i jak też sobie można wyobrazić...

Ja wiem, że to jest takie subiektywne, nie?

Problemów, z którymi się mierzymy, pracując w każdym z zadań, też jest wiele, one są różne, więc dopóki mam taką ciekawość, mam takie wyzwanie, że ej, tego jeszcze nie robiłem, tu muszę się dowiedzieć albo sobie chociaż ugruntować tą wiedzę, dlaczego robi się coś tak, a nie inaczej, albo czy te dane to mam zamodelować tak czy tak, jak będzie lepiej, no to dopóki to jest wyzwaniem, no to jest dla mnie ciekawe.

Tu już raczej mi nic nie zaskakuje, no to to jest etap, ja uważam, tak do tej pory zawsze robiłem na zmianę pracy albo projektu.

Jakbyś spróbował rzucić takich kilka technologii, które jakby są must have, żeby robić to, co ty robisz?

Python jest mniej więcej zrozumiały, ok, jakiś tam język programowania, wybieramy sobie te biblioteki, których potrzebujemy, to z tym Cloudem ja mam zawsze problem.

No ona po prostu przecież sobie jest, nie?

Moim zdaniem chodzi o to, że jakbym wyobraził sobie, że zatrudniamy nową osobę do naszego projektu, no to fajnie, żeby tak, umiała klikać, ale też rozumiała takie podstawy typu chociażby znajomość podstawowych usług, czyli żeby...

Jak się to robi?

I też zadać pytanie, ej, zrób sobie coś.

Jeżeli teraz pomyślimy o tym, że ten świat IT głównie kręci się wokół danych, to człowiek zadaje sobie pytanie, jak to się stało, że myśmy nic lepszego nie wymyślili do tej pory?

Bo jak SQL powstawał, to jego zadaniem było... Świat, w którym powstawał SQL, bo te bazy relacyjne powstawały w latach 70. ubiegłego wieku, więc to jest już 50 lat.

Był coraz większy popyt na ludzi, którzy będą w stanie optymalizować nawet pracę biurową, obsługiwać po prostu komputer.

Na temat informatyki, samego programowania, żeby coś w stanie sensownego zrobić.

Co sprawiało, że tych ludzi, którzy potrafili to robić, było niewiele, ale popyt, czyli potrzeba rynku była duża.

No to wtedy ten próg wejścia będzie niższy, a jak próg wejścia będzie niższy, no to więcej osób będzie w stanie to robić, a my ich przecież na rynku potrzebujemy.

Zakładając, że kolumny są sensownie nazywane po angielsku, to naprawdę jakbyś takie mikro opowiadania czytał, że wybierz to i to, stąd i ton, gdzie coś tam, coś tam.

Ja sobie podpinam kabel do gniazdka i prąd mi leci.

Ja sobie podpinam aplikację, którą Vibe koduje w replicie do bazy danych w Postgresie.

W systemach on-premise'owych na przykład dużo czasu ja poświęciłem na to, żeby zrozumieć, czym jest jej indeks, jak indeks działa, jakie są tam ścieżki skanowania, rodzaje indeksów, a teraz przychodzę sobie, na przykład pracuję z Google BigQuery, a tam indeksów w ogóle nie ma.

Albo trzeba się uczyć, już nawet partycjonowanie i klastrowanie to są jeszcze jakieś tam metody optymalizacji, ale na przykład w Snowflake'u takim też tam domyślnie jest jakieś mikro-partycjonowanie, czyli jakiś algorytm sobie lata i on sam ci mówi, jak te dane popartycjonować.

Tu jest jakieś API, tu jest gotowa biblioteka, weź to wywołaj, jak to wywołasz dostaniesz to i tak naprawdę praca dzisiaj programisty mi się wydaje zmierza w kierunku bardziej takiego architekta.

Więc dla ciebie teraz to wszystko wydaje się takie trochę a la raport niższości, że tam tu se poklikasz, tu se poprzesuwasz i pod spodem dzieje się magia i ty jesteś z tym okej, bo ty jesteś w stanie nawet zerknąć na jakieś procesy SQLowe, które się gdzieś tam dzieją, jak będziesz chciał zobaczyć i szybko przeskanować kod i mniej więcej wiedzieć, co się dzieje, mniej więcej wiedzieć, czy nie dzieją się rzeczy, których byś nie chciał, ale dla osoby, która

I jakby rzeźbię i architektuję tutaj.

Czy nie uważałbyś, że jest tu ekstremalnie duże ryzyko do tego, że to się po prostu sypnie, że Ty budujesz trochę tak jakbyś budował dom, nie kojarząc w ogóle jak się robi fundamenty, że dobra niby pniesz się do góry, ale że profesjonalista zobaczy, że to się zaraz zawali, to jest w ogóle źle zrobione.

To świat nie jest zero-jedynkowy, że albo w ogóle się tym nie martwimy i tam ograniczamy się do tylko jakichś tam prostych przetwarzań, albo teraz będziemy wnikać, jak tam każdy jeden bit przelatuje.

Ja właśnie próbowałem, nie chcę jakby próbować wymuszać tutaj swojego światopoglądu też na słuchających czy na tobie.

Ale zastanawiam się, czy teraz, biorąc pod uwagę to, co Ty powiedziałeś o indeksach i o partycjonowaniu, czy to pytanie dalej Twoim zdaniem ma sens?

Natomiast co do dobrych praktyk, to myślę, że jest przestrzeń, no bo to znowu, to nie jest tak, że te indeksy nie są potrzebne, no bo ja wspomniałem tylko tak naprawdę o środowisku hurtownianym, o przetwarzaniu analitycznym, jak mówimy o systemie transakcyjnym, które dalej działa na przykład na jakimś Oracle'u czy tam Postgresie, no to tam bez indeksu za wiele się nie zrobi, więc w systemach transakcyjnych, w jakichś telecomach, w branży ubezpieczeniowej, gdzie przetwarzamy dane transakcyjnie, a nie analitycznie, no to indeksy dalej są potrzebne.

W tym sensie, że mi się zawsze dokumentacja wydawała na zasadzie strata czasu, ja mogę w tym czasie zrobić zadanie, ale dokumentacja też mi się wydaje jest ważna dla jakiegoś nowego członka zespołu czy kogokolwiek innego w zespole, żeby w ogóle zajrzeć jak my coś robimy, jak powinniśmy robić, ale też jest też oszczędność czasu dla osób, które są często adresatami pytań.

Na zasadzie jak ktoś zadaje pytanie, a jak coś się robi, no to

Więc to jest taka, myślę, dobra praktyka z korzyścią dla wszystkich i też nawet dla biznesu, bo jak deweloper odejdzie z pracy, no to ten manager może mieć przynajmniej takie względne poczucie, jeśli to jest dobra dokumentacja, ej, ktoś drugi przyjdzie, no to będzie w stanie się tam odnaleźć.

Tutaj tylko dopowiem od strony dokumentacji, nie wiem czy tobie się to zdarzyło, mi się to zdarzyło, że jest jeszcze jedna zaleta, której ja nie widziałem.

To my w trakcie... Bo często dokumentujemy po fakcie, że zrobiliśmy coś i później dokumentujemy.

To ja powiem od swojej analitycznej strony, że ja często zajmuję się architekturą datamartów, czyli jeżeli mamy datamarty pierwszego, drugiego, trzeciego rzędu i tam są różne poziomy agregacji, które są od takich bardziej analitycznych do takich już bardziej biznesowych, że tam praktycznie nic nie trzeba sobie liczyć.

To czasem dopiero w momencie, kiedy sobie to opisujemy od strony dokumentacyjnej, to widzisz, nie, to jest w ogóle przeinżynierowane, nie?

Jak się robi kursy online, ty też przecież robisz, nie wiem, czy tak u ciebie jest, ale podejrzewam, że tak, że...

Nad czym pracujesz nawet ileś lat i się wydaje, a no to ja już wszystko wiem, no ale później przychodzi do tworzenia kursu, chcesz go jakoś ustrukturyzować, chcesz gdzieś tam dać jakieś odnośniki do dokumentacji, a sobie przeczytam jeszcze jakąś książkę, żeby zwalidować tą wiedzę, żeby była kompleksowa.

No i ja wiele razy jakiego kursu nie robiłem, a nagrałem już trzy, to za każdym razem ja się bardzo dużo uczyłem i często miałem takie... Wydawało mi się, że ja już to wiem, ale to mi się tak tylko wydawało, bo...

Ja teraz jak dokumentację tworzę, to tworzę też ją dla siebie, bo mi się ta wiedza układa i dużo rzeczy mi się porządkuje.

Kiedy wydaje mi się, że mam jakiś wielki chaos, a kiedy wsiądę do dokumentacji, to się okazuje, że tu gdzieś sobie jakieś notatki, checklisty podublowałem, tu sobie poprzeczyłem, to już jest nieaktualne i ta dokumentacja sprawia, że jest korzyścią dla wszystkich.

Ja tak miałem, jak robiłem kurs z Pythona.

Czy oprócz dokumentacji, czy widzisz jakąś taką praktykę w swojej takiej data inżynieryjnej pracy jeszcze, która jest dla ciebie ważna?

Ja bardzo lubię porządek, może nawet nadgorliwy jestem, ale jakieś takie, to też w jakiejś dokumentacji też część, ale jakieś reguły, czy to formatowania kodu, to już jest teraz zautomatyzowane, ale jakieś nawet konwencje nazewnicze, że łatwiej się czyta kod, kiedy wszyscy robimy to jednakowo.

Więc to jest taka rzecz, że fajnie jest widzieć spójność, czyli nieważne, który deweloper w zespole coś zrobił, nie jesteś w stanie tego tylko odróżnić, bo to jest zrobione w ten sam sposób.

I widząc nawet jakąś nazwę obiektu, to mamy odpowiednio dobrze dobraną konwencję nadewnikową, to ja już widzę, aha, z tego systemu do tej tabelki przetwarzam dane z jakiegoś tam regionu, kiedy nazwę ją sobie...

Więc tak, więc myślę, że to taką dobrą praktyką, myślę może nie tyle o pracę, bo chyba to było intencją twojego pytania, ale generalnie o naukę, to myślę, że jest to, żeby starać się właśnie zacząć od jednego systemu, ale nie ograniczać się dzisiaj właśnie do jednego jakiegoś systemu batadonowego czy hurtownianego, tylko jak tylko poznamy jakieś podstawy i będziemy powiedzmy biegli w jednym, no to żeby spróbować zrozumieć, jak to jest w innym.

No bo jeśli pracuję z Google Big Query, tak?

Albo mam jakiś problem do rozwiązania i chcę się upewnić, czy robię to dobrze, albo po prostu nie wiem, jak coś rozwiązać, bo jest dla mnie jakaś nowość, chcę zrozumieć, jak to działa, czym coś jest.

Więc ja tylko wrzucam sobie jakąś treść mojej wiadomości.

Bo próbuje, oczywiście to my se rozmawiamy, więc to są jakieś tam anegdotyczne dowody między nami, jak se każdy robi.

Załóżmy, że muszę sobie jakiegoś selecta napisać złożonego, jakieś tam założone zapytanie analityczne.

Nasz czas zawodowy dobiega końca, kursy na stolarza, hydraulika, te sprawy.

No i jeśli byłbym takim administratorem baz danych, który nie chciałby przejść do chmury, myślał tylko i wyłącznie w kategorii systemów on-premise, no to wiadomo, że z biegiem czasu, skoro firmy, nowe projekty zakładają się w chmurze, a stare są migrowane na chmurę, no to za jakieś 10 lat może mieć już trudniej ze znalezieniem pracy, a za 20 lat bardzo trudno.

jeśli chodzi o programistów, to fakt, że teraz ta bariera jest jeszcze niższa, żeby zacząć robić jakieś MVP, czyli że każdy sobie może teraz jakąś apkę wyprogramować, to nagle się okaże, że tych programistów będziemy potrzebowali raczej więcej niż mniej.

Teraz każda mikrofirma, każdy mikrojanuszek może mieć apkę zrobioną, bo to przestaje być jakby, staje się to w zasięgu ręki, więc być może będzie tak, że za chwilę

Nie widzę tych prezesów, którzy sobie vibe codują mimo wszystko, jakoś nie wchodzi mi to do głowy, bo wciąż trzeba mieć pojęcie o jakichś tam repozytoriach i tak dalej, więc kto wie, może rzeczywiście będzie tak jak mówisz, że juniorzy wrócą do łask.

Ja mam sąsiada nawet, który jest właścicielem firmy i on też, nie pamiętam co, ma jakiś swój sklep internetowy i też coś potrzebował, jakiś upgrade zrobić albo to coś i to zawsze płacił za to komuś.

A teraz się ostatnio chwalił, że on tam z czatem GPT powiedział, jak auto ma wersję swojego sklepu, co musi zrobić i że on mu wypluł ten kod, który za pierwszym może tam razem nie zadziałał, ale za drugim tak.

I się chwalił właśnie, że on do tego już jakiegoś tam programisty czy osobie technicznej nie potrzebuje.

Mała firma będzie wzięła sobie koszty i ona nie będzie musiała płacić pieniądze za dewelopera, bo teraz dzięki właśnie znacznemu obniżeniu progu tego technicznego ona będzie zrobiła w stanie to sama, ale z drugiej strony będą właśnie firmy, które będą widziały raczej w tym szanse nie tyle na redukcję kosztów, ale na właśnie wzrost.

Bo nagle się okazuje, że wystarczy nam jedna osoba techniczna, jedna biznesowa i ta jedna osoba techniczna ogarnia tyle, co wcześniej cały zespół.

Wiesz co, odbiję się na moment, bo to z tym AI jest tak, że to możemy rzeźbić w wodzie przez dłuższy czas.

Czy Tobie się zdarza analizować dane, robić jakieś wykresy, tabele przestawne?

Ja nie jestem za to osobiście odpowiedzialny, bo jest dedykowany zespół do tego, ale myślę, że na wielu projektach, jeśli ktoś za to odpowiada, to ten etap analizy danych jest już na samym początku, żeby zrozumieć, co to są za dane.

No bo kiedy muszę zamodelować, zbudować jakieś fakty i wymiary, to potrzebuję wiedzieć na jakim poziomie granularności to zrobić.

Nie znam dobrze grupy odbiorców Twoich materiałów, się domyślam, że to są analitycy już aktualni albo początkujący.

Dobrze by było, żeby... To jest oczekiwanie trochę do analityka, trochę do biznesu, ale jasna specyfikacja tego, co chcemy dostarczyć, bo często zdarza się tak, że zaczynamy pracę, a dobra, weź to na razie, Darek, przyciągnij.

Proszę zrobić tak, żeby było dobrze.

Tak, weź to przyciągnij, a później zobaczymy, co będziemy z tym robić.

To jakby mocno utrudnia pracę, bo ja nie wiem, co my z tymi danymi chcemy zrobić, a ktoś chce, żebym ja coś zrobił.

To zależy od rodzaju biznesu, w którym się znajdujemy.

W niektórych biznesach ten analityk powinien mieć... Ja stoję na stanowisku, że...

Dalece przydaje się analitykom takie wyczucie biznesowe i takie czasem prowadzenie biznesu za rękę, ale to wątek na inną dłuższą rozmowę.