DDoS, martwe backupy i błąd inżyniera | Awaria GitLab 2017
Kiedy system płonie, masz ułamek sekundy na reakcję. W 2017 roku jedna komenda usunęła prawie 300 GB danych giganta IT, obnażając iluzję pięciu warstw kopii zapasowych. To historia o tym, jak skrajne zmęczenie i fałszywe poczucie bezpieczeństwa doprowadzają architekturę na skraj przepaści.W dzisiejszym odcinku:- Jak jedna błędnie wpisana komenda wymazała 98% danych produkcyjnych w 4 sekundy.- Dlaczego pięć niezależnych systemów backupu (od LVM po chmurę Azure) okazało się bezużytecznych w chwili prawdy.- Śmiertelne niebezpieczeństwo pustych plików 0 KB ignorowanych przez zautomatyzowane systemy monitoringu.- Anatomia zmęczenia: dlaczego brak wizualnego rozróżnienia środowisk (produkcja vs. test) to proszenie się o katastrofę.- Fenomen #HugOps i radykalna transparentność jako jedyna skuteczna metoda przetrwania pożaru wizerunkowego.Pojęcia z odcinka:- rm -rf: Unixowa komenda oznaczająca wyrok śmierci dla danych. Wymusza natychmiastowe, bezpowrotne usunięcie całych drzew katalogów, ignorując ostrzeżenia i nie pytając użytkownika o zgodę.- LVM Snapshots: Mechanizm tworzenia "migawek" stanu logicznych wolumenów dyskowych w czasie rzeczywistym. Często traktowany jako najszybsza linia obrony, która zawodzi przy złej konfiguracji.- Replikacja: Proces ciągłego, automatycznego kopiowania danych z głównego serwera na węzły zapasowe. Jej opóźnienie (lag) było punktem zapalnym całej awarii.🎧 Słuchaj w drodze:Spotify: https://open.spotify.com/show/1u4S1LYBHHFCPzJ7ZhbPHXApple Podcasts: https://podcasts.apple.com/us/podcast/zakazane-zapytania/id1871120808🕵️♂️ O kanale:Świat IT to nie tylko czyste repozytoria i sukcesy na LinkedInie. Nazywam się Programista Śledczy i analizuję największe katastrofy architektury IT, mroczne dziedzictwo (Legacy Code) i niewyjaśnione incydenty z logów. To cyfrowe True Crime IT. Otwórz akta i dołącz do śledztwa. W mroku każdy błąd zostawia ślad.#AwariaGitLab #BrakBackupu #TrueCrimeIT
Usunął główny katalog bazy PostgreSQL. Zorientował się co zrobił po około 4 sekundach i natychmiast przerwał proces skrótem CTRL-C. Jednakże z 300 GB danych produkcyjnych zniknęło ponad 295 GB, czyli 98%. Kiedy dym jeszcze unosił się w powietrzu, okazało się, że GitLab miał niejeden. Nie dwa, ale aż pięć mechanizmów ratunkowych. I wiecie co? Zawiodło absolutnie wszystko. Najpierw rzucili się do snapshotów LVM. System robił je domyślnie, więc wydawało się, że są uratowani. Szkoda tylko, że nikt nigdy nie skonfigurował ich dla tego konkretnego wolumenu, na którym fizycznie leżała baza danych.
Pokazano wszystkie 1 dopasowanie. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Kliknij, aby znaleźć fragmenty, w których pada.
Kiedy system płonie, masz ułamek sekundy na reakcję. W 2017 roku jedna komenda usunęła prawie 300 GB danych giganta IT, obnażając iluzję pięciu warstw kopii zapasowych. To historia o tym, jak skrajne zmęczenie i fałszywe poczucie bezpieczeństwa doprowadzają architekturę na skraj przepaści.W dzisiejszym odcinku:- Jak jedna błędnie wpisana komenda wymazała 98% danych produkcyjnych w 4 sekundy.- Dlaczego pięć niezależnych systemów backupu (od LVM po chmurę Azure) okazało się bezużytecznych w chwili prawdy.- Śmiertelne niebezpieczeństwo pustych plików 0 KB ignorowanych przez zautomatyzowane systemy monitoringu.- Anatomia zmęczenia: dlaczego brak wizualnego rozróżnienia środowisk (produkcja vs. test) to proszenie się o katastrofę.- Fenomen #HugOps i radykalna transparentność jako jedyna skuteczna metoda przetrwania pożaru wizerunkowego.Pojęcia z odcinka:- rm -rf: Unixowa komenda oznaczająca wyrok śmierci dla danych. Wymusza natychmiastowe, bezpowrotne usunięcie całych drzew katalogów, ignorując ostrzeżenia i nie pytając użytkownika o zgodę.- LVM Snapshots: Mechanizm tworzenia "migawek" stanu logicznych wolumenów dyskowych w czasie rzeczywistym. Często traktowany jako najszybsza linia obrony, która zawodzi przy złej konfiguracji.- Replikacja: Proces ciągłego, automatycznego kopiowania danych z głównego serwera na węzły zapasowe. Jej opóźnienie (lag) było punktem zapalnym całej awarii.🎧 Słuchaj w drodze:Spotify: https://open.spotify.com/show/1u4S1LYBHHFCPzJ7ZhbPHXApple Podcasts: https://podcasts.apple.com/us/podcast/zakazane-zapytania/id1871120808🕵️♂️ O kanale:Świat IT to nie tylko czyste repozytoria i sukcesy na LinkedInie. Nazywam się Programista Śledczy i analizuję największe katastrofy architektury IT, mroczne dziedzictwo (Legacy Code) i niewyjaśnione incydenty z logów. To cyfrowe True Crime IT. Otwórz akta i dołącz do śledztwa. W mroku każdy błąd zostawia ślad.#AwariaGitLab #BrakBackupu #TrueCrimeIT