Data Engineer vs AI | Big Data - granice bezpieczeństwa, prywatności i kontroli | Marek Czuma
KajoData:🟨 Społeczność analityków KajoDataSpace🟦 Kursy - Excel, Power Query, SQL, PowerBI, Python, TableauMarek Czuma🟩 Akademia Big Data🟫 Big Data Po PolskuW tym odcinku spotkałem się z Markiem Czumą – inżynierem danych, twórcą Akademii Big Data i podcastu „Big Data po polsku”. To rozmowa o świecie ogromnych zbiorów danych, technologii rozproszonych i granicach tego, co możemy dziś przetworzyć. Zaczynamy od pytania, czy danych nie jest po prostu za dużo – i czy w tej „danej ropie XXI wieku” nie zaczynamy się powoli topić. Marek tłumaczy, jak naprawdę wygląda branża Big Data, na czym polega przetwarzanie rozproszone i dlaczego dodanie „kolejnych serwerów” nie zawsze rozwiązuje problem.Rozmawiamy też o różnicach między analitykiem danych a inżynierem danych – gdzie kończy się Excel, a zaczyna Apache Spark. Marek pokazuje, że Big Data to nie tylko programowanie, ale sposób myślenia – inżynierski, systemowy, zrozumiały dopiero wtedy, gdy wiesz, co dzieje się „pod spodem”. Zastanawiamy się też, jak wygląda ścieżka rozwoju od analityka do inżyniera danych i które umiejętności są tu naprawdę kluczowe.W drugiej części schodzimy na meta-poziom – rozmawiamy o przyszłości zawodów IT w erze sztucznej inteligencji, o tym, co AI może zmienić (a czego raczej nie ruszy), i które systemy robią na Marku największe wrażenie – od Google Maps po infrastrukturę NSA. To szczera, inspirująca rozmowa o tym, jak wygląda świat danych od środka – technicznie, organizacyjnie i... filozoficznie.
Mój strzał byłby taki, że bardziej chodzi o pewnego rodzaju metodologię kompresowania i zapisu tych danych, ich odczytu, niż użycie tego czy innego języka. No bo oczywiście można powiedzieć, że nie wiem, tam C będzie językiem niższego rzędu, być może będzie w stanie zrobić więcej niż Python, a Python będzie w stanie zrobić więcej niż jakieś takie bardzo delikatne, wysokopoziomowe języki. No ale nie wiem, jaka jest twoja odpowiedź na to? Moja odpowiedź, a właściwie odpowiedź inżynierów Google'a, którzy mieli te same pewnie rozmowy, to czyli co my teraz, tylko w realu i 25-26 lat temu mniej więcej, jest taka, że żeby, bo twoje rozwiązanie jest dobre, dołożyć nowy komputer.
Microsoft Azure jest jedną z trzech największych chmurowni, dostawców chmur obok AWS'a i Google'a. I on ma bardzo fajną mapkę, gdzie widać wszystkie jego regiony, czyli nawet nie data center, tylko powiedzmy jeszcze poziom wyżej. I mamy kropki, które oznaczają na przykład, że w tym regionie, czyli na przykład w Polsce, jest region Azure'a i on tam ma swoje serwerownie. Mamy oznaczone, gdzie są jakieś infrastrukturalne rzeczy i możemy sobie włączyć taką kropkę, taką opcję, która pokazuje, gdzie on ma różne swoje elektrownie dorzucone. Czyli Azure... Microsoft stawia, i nie tylko on zresztą, na to, żeby samodzielnie generować prąd.
Pokazano wszystkie 2 dopasowania. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Kliknij, aby znaleźć fragmenty, w których pada.
KajoData:
🟨 Społeczność analityków KajoDataSpace
🟦 Kursy - Excel, Power Query, SQL, PowerBI, Python, Tableau
Marek Czuma
🟩 Akademia Big Data
🟫 Big Data Po Polsku
W tym odcinku spotkałem się z Markiem Czumą – inżynierem danych, twórcą Akademii Big Data i podcastu „Big Data po polsku”. To rozmowa o świecie ogromnych zbiorów danych, technologii rozproszonych i granicach tego, co możemy dziś przetworzyć. Zaczynamy od pytania, czy danych nie jest po prostu za dużo – i czy w tej „danej ropie XXI wieku” nie zaczynamy się powoli topić. Marek tłumaczy, jak naprawdę wygląda branża Big Data, na czym polega przetwarzanie rozproszone i dlaczego dodanie „kolejnych serwerów” nie zawsze rozwiązuje problem.
Rozmawiamy też o różnicach między analitykiem danych a inżynierem danych – gdzie kończy się Excel, a zaczyna Apache Spark. Marek pokazuje, że Big Data to nie tylko programowanie, ale sposób myślenia – inżynierski, systemowy, zrozumiały dopiero wtedy, gdy wiesz, co dzieje się „pod spodem”.
Zastanawiamy się też, jak wygląda ścieżka rozwoju od analityka do inżyniera danych i które umiejętności są tu naprawdę kluczowe.
W drugiej części schodzimy na meta-poziom – rozmawiamy o przyszłości zawodów IT w erze sztucznej inteligencji, o tym, co AI może zmienić (a czego raczej nie ruszy), i które systemy robią na Marku największe wrażenie – od Google Maps po infrastrukturę NSA. To szczera, inspirująca rozmowa o tym, jak wygląda świat danych od środka – technicznie, organizacyjnie i... filozoficznie.