Data Engineer vs AI | Big Data - granice bezpieczeństwa, prywatności i kontroli | Marek Czuma
KajoData:🟨 Społeczność analityków KajoDataSpace🟦 Kursy - Excel, Power Query, SQL, PowerBI, Python, TableauMarek Czuma🟩 Akademia Big Data🟫 Big Data Po PolskuW tym odcinku spotkałem się z Markiem Czumą – inżynierem danych, twórcą Akademii Big Data i podcastu „Big Data po polsku”. To rozmowa o świecie ogromnych zbiorów danych, technologii rozproszonych i granicach tego, co możemy dziś przetworzyć. Zaczynamy od pytania, czy danych nie jest po prostu za dużo – i czy w tej „danej ropie XXI wieku” nie zaczynamy się powoli topić. Marek tłumaczy, jak naprawdę wygląda branża Big Data, na czym polega przetwarzanie rozproszone i dlaczego dodanie „kolejnych serwerów” nie zawsze rozwiązuje problem.Rozmawiamy też o różnicach między analitykiem danych a inżynierem danych – gdzie kończy się Excel, a zaczyna Apache Spark. Marek pokazuje, że Big Data to nie tylko programowanie, ale sposób myślenia – inżynierski, systemowy, zrozumiały dopiero wtedy, gdy wiesz, co dzieje się „pod spodem”. Zastanawiamy się też, jak wygląda ścieżka rozwoju od analityka do inżyniera danych i które umiejętności są tu naprawdę kluczowe.W drugiej części schodzimy na meta-poziom – rozmawiamy o przyszłości zawodów IT w erze sztucznej inteligencji, o tym, co AI może zmienić (a czego raczej nie ruszy), i które systemy robią na Marku największe wrażenie – od Google Maps po infrastrukturę NSA. To szczera, inspirująca rozmowa o tym, jak wygląda świat danych od środka – technicznie, organizacyjnie i... filozoficznie.
ARUR albo AWS, czyli on jest sobie tam obok, jest tak jakby sznurkiem spięty, więc może korzystać z tych różnych usług, które AWS udostępnia, załóżmy. Czyli np. jakaś usługa AWS-owa do przechowywania danych. I Databricks to jest Combine, ale on wszystkie pliki będzie tam składował. I teraz, my budujemy sobie, to jest case prawdziwy, mój niestety, budujemy sobie duży system, który operuje na wielu danych i co więcej, działa w trybie strumieniowym, czyli cały czas przetwarza dane. Wrzucisz do tego i to jest jak taka taśma produkcyjna, że ona automatycznie bierze. Nie, że czekasz codziennie do 3 nad ranem.
Pokazano wszystkie 1 dopasowanie. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Kliknij, aby znaleźć fragmenty, w których pada.
KajoData:
🟨 Społeczność analityków KajoDataSpace
🟦 Kursy - Excel, Power Query, SQL, PowerBI, Python, Tableau
Marek Czuma
🟩 Akademia Big Data
🟫 Big Data Po Polsku
W tym odcinku spotkałem się z Markiem Czumą – inżynierem danych, twórcą Akademii Big Data i podcastu „Big Data po polsku”. To rozmowa o świecie ogromnych zbiorów danych, technologii rozproszonych i granicach tego, co możemy dziś przetworzyć. Zaczynamy od pytania, czy danych nie jest po prostu za dużo – i czy w tej „danej ropie XXI wieku” nie zaczynamy się powoli topić. Marek tłumaczy, jak naprawdę wygląda branża Big Data, na czym polega przetwarzanie rozproszone i dlaczego dodanie „kolejnych serwerów” nie zawsze rozwiązuje problem.
Rozmawiamy też o różnicach między analitykiem danych a inżynierem danych – gdzie kończy się Excel, a zaczyna Apache Spark. Marek pokazuje, że Big Data to nie tylko programowanie, ale sposób myślenia – inżynierski, systemowy, zrozumiały dopiero wtedy, gdy wiesz, co dzieje się „pod spodem”.
Zastanawiamy się też, jak wygląda ścieżka rozwoju od analityka do inżyniera danych i które umiejętności są tu naprawdę kluczowe.
W drugiej części schodzimy na meta-poziom – rozmawiamy o przyszłości zawodów IT w erze sztucznej inteligencji, o tym, co AI może zmienić (a czego raczej nie ruszy), i które systemy robią na Marku największe wrażenie – od Google Maps po infrastrukturę NSA. To szczera, inspirująca rozmowa o tym, jak wygląda świat danych od środka – technicznie, organizacyjnie i... filozoficznie.