Data Engineer vs AI | Big Data - granice bezpieczeństwa, prywatności i kontroli | Marek Czuma
KajoData:🟨 Społeczność analityków KajoDataSpace🟦 Kursy - Excel, Power Query, SQL, PowerBI, Python, TableauMarek Czuma🟩 Akademia Big Data🟫 Big Data Po PolskuW tym odcinku spotkałem się z Markiem Czumą – inżynierem danych, twórcą Akademii Big Data i podcastu „Big Data po polsku”. To rozmowa o świecie ogromnych zbiorów danych, technologii rozproszonych i granicach tego, co możemy dziś przetworzyć. Zaczynamy od pytania, czy danych nie jest po prostu za dużo – i czy w tej „danej ropie XXI wieku” nie zaczynamy się powoli topić. Marek tłumaczy, jak naprawdę wygląda branża Big Data, na czym polega przetwarzanie rozproszone i dlaczego dodanie „kolejnych serwerów” nie zawsze rozwiązuje problem.Rozmawiamy też o różnicach między analitykiem danych a inżynierem danych – gdzie kończy się Excel, a zaczyna Apache Spark. Marek pokazuje, że Big Data to nie tylko programowanie, ale sposób myślenia – inżynierski, systemowy, zrozumiały dopiero wtedy, gdy wiesz, co dzieje się „pod spodem”. Zastanawiamy się też, jak wygląda ścieżka rozwoju od analityka do inżyniera danych i które umiejętności są tu naprawdę kluczowe.W drugiej części schodzimy na meta-poziom – rozmawiamy o przyszłości zawodów IT w erze sztucznej inteligencji, o tym, co AI może zmienić (a czego raczej nie ruszy), i które systemy robią na Marku największe wrażenie – od Google Maps po infrastrukturę NSA. To szczera, inspirująca rozmowa o tym, jak wygląda świat danych od środka – technicznie, organizacyjnie i... filozoficznie.
Wybacz, że przerywam. Chciałem tylko przypomnieć, że najlepsze kursy związane z analizą danych i mnóstwo materiałów znajdziesz na mojej stronie. KajoData.com. OK, wracamy do tematu. Wszystko, wszystkie te rzeczy kiedyś się kończą wraz z danymi. Albo są, albo procesor jest za słaby, albo pamięć RAM jest za mała, albo pamięć dyskowa jest za mała. Ale żebyśmy powiedzieli, że jest za mała, to znaczy, że my z nią musimy współpracować. Czyli musimy to jakimś programem, jakąś aplikacją zapisać, odczytać, przetworzyć, czyli obsłużyć te dane. I jak myślisz, w jaką to aplikacją się dzieje? Czy to jest na przykład czysty Python, gdzie my napiszemy sobie coś takiego? Ja bym w ogóle podejrzewał, że to nie może być jakakolwiek aplikacja, która nas uwiąże do tego czy innego języka, bo domyślam się, że musiałby być to szerszy rodzaj frameworka, który by... Inaczej, podejrzewam, że...
Czyli znajomość podstaw, później znajomość bardziej optymalizacji tego wszystkiego. Banały, ale nie zapominajmy o tym, że to jest konieczne. Druga rzecz, myślenie bardziej abstrakcją w ramach tych technologii. Czyli mamy już wspomnianego Sparka, który przetwarza dane, no to nie uczmy się tylko Sparka, uczmy się... Frameworku do przetwarzania danych. Uczmy się, co to jest distributed processing, przetwarzanie rozproszone. Patrzmy na architekturę, jak Spark to zrobił. Nie funkcja, jaką ja muszę wykonać, wywołać, żeby połączyć dwa zbiory, tylko jak on pod spodem to robi, gdzie on przesyła te dane, w jaki sposób on myśli, że te dane są pociągane.
Jeżeli ja umiem tak myśleć, no to wywołanie tych funkcji staje się dużo bardziej dojrzałe, bo ja wiem, co się dzieje pod spodem, ja wiem, czym się drobne smaczki różnią, a co więcej, jak ja potem przysiądę się na inny framework, bo zaraz wejdzie zupełnie nowa alternatywa do przetwarzania danych dla na przykład Sparka, To ja już będę automatycznie, nawet mimowolnie porównywał te dwie rzeczy, więc będę na wyższym poziomie rozumienia. Będę czytał dokumentację i będę myślał, aha, a w Sparku to jest zrobione inaczej, a tutaj jak to jest zrobione w taki sposób, to to się świetnie zgrywa, bo to zapełnia jakieś tam problemy, które Spark miał na przykład. Ale to jest możliwe tylko jeśli ja myślę trochę bardziej abstrakcyjnie, czyli nie tylko funkcja, wywołanie funkcji, Tylko to jest mój zarzut zresztą największy do wielu kursów, które widzę online, które mają cię nauczyć właśnie tego przysłowiowego sparka, że tam wchodzisz i masz po prostu zestaw funkcji, które masz wywołać i uczysz się co to jest.
Pokazano wszystkie 3 dopasowania. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Kliknij, aby znaleźć fragmenty, w których pada.
KajoData:
🟨 Społeczność analityków KajoDataSpace
🟦 Kursy - Excel, Power Query, SQL, PowerBI, Python, Tableau
Marek Czuma
🟩 Akademia Big Data
🟫 Big Data Po Polsku
W tym odcinku spotkałem się z Markiem Czumą – inżynierem danych, twórcą Akademii Big Data i podcastu „Big Data po polsku”. To rozmowa o świecie ogromnych zbiorów danych, technologii rozproszonych i granicach tego, co możemy dziś przetworzyć. Zaczynamy od pytania, czy danych nie jest po prostu za dużo – i czy w tej „danej ropie XXI wieku” nie zaczynamy się powoli topić. Marek tłumaczy, jak naprawdę wygląda branża Big Data, na czym polega przetwarzanie rozproszone i dlaczego dodanie „kolejnych serwerów” nie zawsze rozwiązuje problem.
Rozmawiamy też o różnicach między analitykiem danych a inżynierem danych – gdzie kończy się Excel, a zaczyna Apache Spark. Marek pokazuje, że Big Data to nie tylko programowanie, ale sposób myślenia – inżynierski, systemowy, zrozumiały dopiero wtedy, gdy wiesz, co dzieje się „pod spodem”.
Zastanawiamy się też, jak wygląda ścieżka rozwoju od analityka do inżyniera danych i które umiejętności są tu naprawdę kluczowe.
W drugiej części schodzimy na meta-poziom – rozmawiamy o przyszłości zawodów IT w erze sztucznej inteligencji, o tym, co AI może zmienić (a czego raczej nie ruszy), i które systemy robią na Marku największe wrażenie – od Google Maps po infrastrukturę NSA. To szczera, inspirująca rozmowa o tym, jak wygląda świat danych od środka – technicznie, organizacyjnie i... filozoficznie.