#26 O migracji danych, testach i poleganiu na opinii eksperta w rozmowie z Arkadiuszem Niewiadomskim
Migracja danych brzmi jak coś, co można zrobić „po prostu dobrze” — zwłaszcza gdy wszystko wydaje się policzone, przetestowane i oddane w ręce sprawdzonych osób. A jednak właśnie wtedy najłatwiej przegapić ryzyka, które później potrafią wywrócić cały projekt do góry nogami.W 26. odcinku Obłędnych Historii rozmawiam z Arkadiuszem Niewiadomskim, doświadczonym managerem IT, który dzieli się historią nieudanej migracji danych. To rozmowa o tym, jak zaufanie do autorytetów, presja czasu i zbyt duża pewność siebie mogą sprawić, że nawet pozornie prosta operacja zamieni się w kosztowną lekcję. Arek opowiada nie tylko o technicznych przyczynach porażki, ale też o organizacyjnych błędach, które często pozostają niewidoczne aż do momentu kryzysu.W tym odcinku usłyszysz m.in. o:📌 ryzykach, które czyhają podczas prac z danymi📌 narzędziach, frameworkach i sprawdzonych sposobach na weryfikację jakości danych,📌 pułapkach nie zawsze technicznych i konsekwencjach ich zbagatelizowania.Arek dzieli się też rekomendacjami narzędziowymi i książkowymi, pokazując, że skuteczność w branży technologicznej opiera się nie tylko na doświadczeniu, ale też na otwartości, ciekawości i gotowości do zmiany podejścia. Jeśli interesują Cię projekty IT, zarządzanie ryzykiem i prawdziwe kulisy pracy z danymi — ten odcinek powinien trafić na Twoją listę do odsłuchu.#migracjadanych #IT #zarządzanieprojektami #dane
I tu jest trudne pytanie, bowiem da się robić różne rzeczy. Na pewno, biorąc pod uwagę to, jak różne mogą być dane, jakie mogą być pomiędzy nimi zależności, myślę, że pokusiłbym się na korzystanie z frameworków takich jak chociażby Liquibase czy Flyway. Które mogą pomagać oczywiście, ale to, że na przykład migracja jest źle napisana, nie będzie rozwiązaniem kompletnym. To, że kolejność może być błędna, to też nie jest rzecz, którą da się łatwo ogarnąć. No i pojawia się jeszcze kwestia tak zwanego rollbacku. Akurat w naszym przypadku mieliśmy pusty katalog, więc do niego wrzucanie ręcznie
Nie było konieczności rollbacku, to nie była zmiana systemu, jak to często ma miejsce w firmach IT, że tak mamy nową pulę danych, chcemy je domigrować na przykład do tych, które już mamy w systemie, czy to w aplikacji mobilnej, czy desktopowej, czy w jakiejkolwiek innej formie i w tym przypadku Dotykamy problemu, tak dobrze, zróbmy krok wstecz, zróbmy rollback i spróbujmy raz jeszcze wprowadzając jakieś usprawnienia. Tutaj nie mieliśmy akurat takiej okazji, więc w tym przypadku oczywiście zalecałbym testowanie migracji możliwie jak najgłębiej, sprawdzanie tych zależności, o których wspomniałem. Gdzieś tam wychwytywanie tych wszystkich niuansów, które mogą mieć miejsce.
Oczywiście dane można też testować i to chciałbym zdecydowanie polecić. Testy jakości danych, sprawdzenie czy liczba rekordów się zgadza, czy sumy jako takie się zgadzają, czy jest brak nowych tych pustych nuli, pustych wartości, czy te klucze obce, czyli te foreign keys są poprawne. To jest coś, co warto byłoby przedsięwziąć. W naszym przypadku w grę nie wchodził rollback. W tym sensie, że jeżeli, powiedzmy, migracja udałaby się w jakiejś tam części, to po prostu dorzucilibyśmy to, czego brakuje. Więc nawet taka częściowa migracja przyniosłaby jakiś tam częściowo pożądany efekt. Bronilibyśmy się tym, że... No i tak u nas rzeczywiście było, że rzeczywiście... To, że ona wystartowała ładnie, już było plusem.
Pokazano wszystkie 3 dopasowania. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Kliknij, aby znaleźć fragmenty, w których pada.
Migracja danych brzmi jak coś, co można zrobić „po prostu dobrze” — zwłaszcza gdy wszystko wydaje się policzone, przetestowane i oddane w ręce sprawdzonych osób. A jednak właśnie wtedy najłatwiej przegapić ryzyka, które później potrafią wywrócić cały projekt do góry nogami.
W 26. odcinku Obłędnych Historii rozmawiam z Arkadiuszem Niewiadomskim, doświadczonym managerem IT, który dzieli się historią nieudanej migracji danych. To rozmowa o tym, jak zaufanie do autorytetów, presja czasu i zbyt duża pewność siebie mogą sprawić, że nawet pozornie prosta operacja zamieni się w kosztowną lekcję. Arek opowiada nie tylko o technicznych przyczynach porażki, ale też o organizacyjnych błędach, które często pozostają niewidoczne aż do momentu kryzysu.
W tym odcinku usłyszysz m.in. o:
📌 ryzykach, które czyhają podczas prac z danymi
📌 narzędziach, frameworkach i sprawdzonych sposobach na weryfikację jakości danych,
📌 pułapkach nie zawsze technicznych i konsekwencjach ich zbagatelizowania.
Arek dzieli się też rekomendacjami narzędziowymi i książkowymi, pokazując, że skuteczność w branży technologicznej opiera się nie tylko na doświadczeniu, ale też na otwartości, ciekawości i gotowości do zmiany podejścia.
Jeśli interesują Cię projekty IT, zarządzanie ryzykiem i prawdziwe kulisy pracy z danymi — ten odcinek powinien trafić na Twoją listę do odsłuchu.
#migracjadanych #IT #zarządzanieprojektami #dane