Mentionsy Mentionsy
KajoData - Analiza danych dla każdego
KajoData - Analiza danych dla każdego

DATA CLEANING - PODSTAWY | Jak Data Analyst czyści dane? | KajoData Podcast

18.11.2024 ·16 min 30 s · 7 rozdziałów

🟨 https://kajodata.com/space/ 🟦 https://kajodata.com/kursy/ Czyszczenie danych – brzmi jak coś nudnego, prawda? Ale w tym odcinku pokazuję, że to właśnie ta żmudna praca za kulisami pozwala na tworzenie świetnych analiz i podejmowanie trafnych decyzji biznesowych. Opowiadam o pięciu najważniejszych etapach czyszczenia danych, które sprawiają, że tabele i bazy danych stają się klarowne i użyteczne. Jeśli planujesz wejść w świat analityki danych, to absolutnie musisz wiedzieć, co kryje się za hasłem „wywóz śmieci” z tabel! Od identyfikacji duplikatów, przez radzenie sobie z brakującymi wartościami, aż po normalizację i wykrywanie anomalii – każdy etap to mini zagadka, którą trzeba rozwiązać, aby dane nabrały sensu. W odcinku tłumaczę, na czym polegają te procesy, podaję przykłady z życia analityka i pokazuję, jak przekształcić bałagan w dobrze poukładaną bazę danych. Czyszczenie danych to nie tylko techniczne wyzwania, ale też umiejętność detektywistycznego myślenia i współpracy z innymi zespołami. Jeśli zastanawiasz się, czy analityka danych to coś dla Ciebie, spróbuj swoich sił w tym „brudnym” elemencie pracy analityka. A może właśnie w tym znajdziesz frajdę? Detektyw danych to ktoś, kto wyłapuje błędy, poprawia nieścisłości i zamienia bałagan w czystą wartość. Daj znać w komentarzu, co najbardziej interesuje Cię w pracy analityka danych!

10:00 · Wykrywanie i usuwanie anomalii 1

Czyli to musi być wypełnione. Ale może być tak, że ktoś na przykład w ogóle o tym nie pomyślał i powiedział dobra, umówimy się, że wpisujemy T jak tam jest vegan i F jak nie ma vegan, nie? T od true i F od false. I to jest fatalny pomysł. Bo teraz na początku wpisujemy T albo F. Później ktoś przyjdzie nowy, zapomni i zacznie wpisywać całe true albo całe false, albo zacznie wpisywać fałsz zamiast false, a później ktoś stwierdzi, że w sumie wystarczy jeden albo zero wpisać, że jeden na prawda i zero na fałsz. I później patrzymy w te dane i mam tam jeden, true, te, prawda. Mnóstwo różnych rzeczy, nie? I to jest właśnie też coś, co musimy sprawdzić, bo to wcale nie jest takie oczywiste. To często widać w datach. Jak sobie zbierzecie jakieś dane z internetów, żeby je poanalizować, to będzie właśnie widać, że w datach, gdzie tam jest pole na datę czy kolumna z datą, tam nie ma ustawionego formatu.

Pokazano wszystkie 1 dopasowanie. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.