Data Engineer vs AI | Big Data - granice bezpieczeństwa, prywatności i kontroli | Marek Czuma
KajoData:🟨 Społeczność analityków KajoDataSpace🟦 Kursy - Excel, Power Query, SQL, PowerBI, Python, TableauMarek Czuma🟩 Akademia Big Data🟫 Big Data Po PolskuW tym odcinku spotkałem się z Markiem Czumą – inżynierem danych, twórcą Akademii Big Data i podcastu „Big Data po polsku”. To rozmowa o świecie ogromnych zbiorów danych, technologii rozproszonych i granicach tego, co możemy dziś przetworzyć. Zaczynamy od pytania, czy danych nie jest po prostu za dużo – i czy w tej „danej ropie XXI wieku” nie zaczynamy się powoli topić. Marek tłumaczy, jak naprawdę wygląda branża Big Data, na czym polega przetwarzanie rozproszone i dlaczego dodanie „kolejnych serwerów” nie zawsze rozwiązuje problem.Rozmawiamy też o różnicach między analitykiem danych a inżynierem danych – gdzie kończy się Excel, a zaczyna Apache Spark. Marek pokazuje, że Big Data to nie tylko programowanie, ale sposób myślenia – inżynierski, systemowy, zrozumiały dopiero wtedy, gdy wiesz, co dzieje się „pod spodem”. Zastanawiamy się też, jak wygląda ścieżka rozwoju od analityka do inżyniera danych i które umiejętności są tu naprawdę kluczowe.W drugiej części schodzimy na meta-poziom – rozmawiamy o przyszłości zawodów IT w erze sztucznej inteligencji, o tym, co AI może zmienić (a czego raczej nie ruszy), i które systemy robią na Marku największe wrażenie – od Google Maps po infrastrukturę NSA. To szczera, inspirująca rozmowa o tym, jak wygląda świat danych od środka – technicznie, organizacyjnie i... filozoficznie.
Dzień dobry, ja się nazywam Kajo Rudziński, to jest KajoData. Witam na kolejnym wywiadzie. Dzisiaj jest u nas Marek Czuma. Osoba, która powinna się nam wszystkim kojarzyć ze światem Big Data w Polsce. Marek prowadzi wiele różnych inicjatyw, ale dwie najważniejsze, o których chyba warto wspomnieć na początku, to Akademia Big Data i podcast Big Data po polsku, gdzie tych informacji związanych ze światem danych dużych, Danych więcej niż analitycznych jest naprawdę sporo. Marku, dziękuję Ci za Twój czas i przyjęcie zaproszenia. To ja dziękuję za szczyt u Ciebie wystąpić. Bardzo mi miło. Powiem tylko, że w ramach Big Data po polsku danych dużych, ale i małych.
No to to jest dokładnie to. No tak, tylko właśnie ja się tutaj zastanawiałem, bo rozumiem, że dla mnie, dla powiedzmy analityka, który nie wchodzi w taką głębię, powiedziałbym, infrastruktury obsługi tych danych, która jest bardzo ważną jej częścią, Dla mnie jest takie proste rozwiązanie. Ja się zastanawiałem, do którego stopnia to rozwiązanie wystarczy. To znaczy, trzeba kupić więcej serwerów. Jak za wolno działa, trzeba kupić więcej serwerów, AWS nas wyratuje, czy tam inny dostawca nas wyratuje z każdej sytuacji. Wystarczy po prostu więcej kasy. Dokładnie tak. Twoje rozwiązanie jest... Jak najbardziej OK, ale te serwery to jest tylko infrastruktura, tak jak sam też wspomniałeś.
Wybacz, że przerywam. Chciałem tylko przypomnieć, że najlepsze kursy związane z analizą danych i mnóstwo materiałów znajdziesz na mojej stronie. KajoData.com. OK, wracamy do tematu. Wszystko, wszystkie te rzeczy kiedyś się kończą wraz z danymi. Albo są, albo procesor jest za słaby, albo pamięć RAM jest za mała, albo pamięć dyskowa jest za mała. Ale żebyśmy powiedzieli, że jest za mała, to znaczy, że my z nią musimy współpracować. Czyli musimy to jakimś programem, jakąś aplikacją zapisać, odczytać, przetworzyć, czyli obsłużyć te dane. I jak myślisz, w jaką to aplikacją się dzieje? Czy to jest na przykład czysty Python, gdzie my napiszemy sobie coś takiego? Ja bym w ogóle podejrzewał, że to nie może być jakakolwiek aplikacja, która nas uwiąże do tego czy innego języka, bo domyślam się, że musiałby być to szerszy rodzaj frameworka, który by... Inaczej, podejrzewam, że...
Dlatego, że mam wrażenie, że trochę nam technologia pomaga w tym, żeby dotknąć większej ilości technologii, a rynek wywiera na nas presję, żeby rzeczywiście większą ilość technologii Names mentioned in English. Names mentioned in English. Być kimś takim jak ty, bo domyślam się, że ta ścieżka będzie wyglądała inaczej dla kogoś, kto jest obecnie klasycznym analitykiem, ale go jara właśnie Data Engineering Big Data i klasycznym, powiedzmy, backendowym programistą.
Mnie się wydaje, że teraz to troszkę ucichło i to poszło w taką bardziej racjonalną stronę, że już sporo osób umie z tego technicznych korzystać. No i okej, no i to przyspiesza część rzeczy. Ja myślę, że to jest odsobny wątek, którego jakoś bardzo nie chcę otwierać, ale moim zdaniem to wręcz bardzo szybko poszło w bardzo komercyjną stronę, bo ja pamiętam zapowiedzi o leczeniu chorób i w ogóle takich... W wizjach raju technologicznych, a teraz widzę, że te wielkie pieniądze zostają zainwestowane w model do tworzenia filmików, w nową wersję social mediów. Sądzę, że jedno i drugie się dzieje, tylko siłą rzeczy bardziej nam się przebije to, że jest kolejna aplikacja, gdzie możesz superrealistyczny filmik zrobić, bo to jest coś, co jest dla nas wow na co dzień.
Bo jeżeli na przykład ja mam policzyć wskaźnik odpadających klientów w okienku 90-dniowym, I mam potężny sklep e-commerce, który, nie wiem, jest europejski. To oczywiście mogę być analitykiem, który tam potworzy sobie tabelki, zapisze sobie te tabelki, będzie to liczył krok po kroku i mu to zajmie 4 godziny i on do tego dojdzie. Ale dobry analityk... Ma na tyle głęboką wiedzę o tym, jak działa bardzo upraszczając baza danych na ten przykład, że jest w stanie to zrobić w sposób szybki, tani i powiedzmy w 15 minut. To jest też pytanie, bo u nas w świecie analitycznym występuje niemalże coś takiego jak w szachach.
Chciałbym, żeby w Polsce też były takie pomysły, mimo że to rodzi dużo etycznych, różnych problemów. Chciałbym, żeby w Polsce też się myślało w takich kategoriach. Nasi drodzy słuchacze, musicie wiedzieć, że po całej Nie po całej, ale po wielu obszarach kuli ziemskiej są rozlokowane coś takiego, co się nazywa stacjami nasłuchowymi. To są stacje, które pobierają mnóstwo sygnałów nie tylko z internetu, ale też właśnie na przykład z komórek. Nasłuchują po prostu. Notabene w Polsce też jest taka waza. Na wschód nasłuchuje. No i to jest dzieło NSA też, więc te rzeczy bardzo bym chciał.
Pokazano wszystkie 7 dopasowań. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Kliknij, aby znaleźć fragmenty, w których pada.
KajoData:
🟨 Społeczność analityków KajoDataSpace
🟦 Kursy - Excel, Power Query, SQL, PowerBI, Python, Tableau
Marek Czuma
🟩 Akademia Big Data
🟫 Big Data Po Polsku
W tym odcinku spotkałem się z Markiem Czumą – inżynierem danych, twórcą Akademii Big Data i podcastu „Big Data po polsku”. To rozmowa o świecie ogromnych zbiorów danych, technologii rozproszonych i granicach tego, co możemy dziś przetworzyć. Zaczynamy od pytania, czy danych nie jest po prostu za dużo – i czy w tej „danej ropie XXI wieku” nie zaczynamy się powoli topić. Marek tłumaczy, jak naprawdę wygląda branża Big Data, na czym polega przetwarzanie rozproszone i dlaczego dodanie „kolejnych serwerów” nie zawsze rozwiązuje problem.
Rozmawiamy też o różnicach między analitykiem danych a inżynierem danych – gdzie kończy się Excel, a zaczyna Apache Spark. Marek pokazuje, że Big Data to nie tylko programowanie, ale sposób myślenia – inżynierski, systemowy, zrozumiały dopiero wtedy, gdy wiesz, co dzieje się „pod spodem”.
Zastanawiamy się też, jak wygląda ścieżka rozwoju od analityka do inżyniera danych i które umiejętności są tu naprawdę kluczowe.
W drugiej części schodzimy na meta-poziom – rozmawiamy o przyszłości zawodów IT w erze sztucznej inteligencji, o tym, co AI może zmienić (a czego raczej nie ruszy), i które systemy robią na Marku największe wrażenie – od Google Maps po infrastrukturę NSA. To szczera, inspirująca rozmowa o tym, jak wygląda świat danych od środka – technicznie, organizacyjnie i... filozoficznie.