Mentionsy Mentionsy
Zakazane Zapytania
Zakazane Zapytania

DDoS, martwe backupy i błąd inżyniera | Awaria GitLab 2017

30.03.2026 ·13 min 1 s

Kiedy system płonie, masz ułamek sekundy na reakcję. W 2017 roku jedna komenda usunęła prawie 300 GB danych giganta IT, obnażając iluzję pięciu warstw kopii zapasowych. To historia o tym, jak skrajne zmęczenie i fałszywe poczucie bezpieczeństwa doprowadzają architekturę na skraj przepaści.W dzisiejszym odcinku:- Jak jedna błędnie wpisana komenda wymazała 98% danych produkcyjnych w 4 sekundy.- Dlaczego pięć niezależnych systemów backupu (od LVM po chmurę Azure) okazało się bezużytecznych w chwili prawdy.- Śmiertelne niebezpieczeństwo pustych plików 0 KB ignorowanych przez zautomatyzowane systemy monitoringu.- Anatomia zmęczenia: dlaczego brak wizualnego rozróżnienia środowisk (produkcja vs. test) to proszenie się o katastrofę.- Fenomen #HugOps i radykalna transparentność jako jedyna skuteczna metoda przetrwania pożaru wizerunkowego.Pojęcia z odcinka:- rm -rf: Unixowa komenda oznaczająca wyrok śmierci dla danych. Wymusza natychmiastowe, bezpowrotne usunięcie całych drzew katalogów, ignorując ostrzeżenia i nie pytając użytkownika o zgodę.- LVM Snapshots: Mechanizm tworzenia "migawek" stanu logicznych wolumenów dyskowych w czasie rzeczywistym. Często traktowany jako najszybsza linia obrony, która zawodzi przy złej konfiguracji.- Replikacja: Proces ciągłego, automatycznego kopiowania danych z głównego serwera na węzły zapasowe. Jej opóźnienie (lag) było punktem zapalnym całej awarii.🎧 Słuchaj w drodze:Spotify: https://open.spotify.com/show/1u4S1LYBHHFCPzJ7ZhbPHXApple Podcasts: https://podcasts.apple.com/us/podcast/zakazane-zapytania/id1871120808🕵️‍♂️ O kanale:Świat IT to nie tylko czyste repozytoria i sukcesy na LinkedInie. Nazywam się Programista Śledczy i analizuję największe katastrofy architektury IT, mroczne dziedzictwo (Legacy Code) i niewyjaśnione incydenty z logów. To cyfrowe True Crime IT. Otwórz akta i dołącz do śledztwa. W mroku każdy błąd zostawia ślad.#AwariaGitLab #BrakBackupu #TrueCrimeIT

No to plan B. Regularne zrzuty na Amazon S3. Skrypt podobno działał. Problem w tym, że używał innej wersji binariów niż sam serwer. Wchodzą więc na AWS, logują się, otwierają swojego bucketa, a tam absolutna pustka. Zero bajtów danych. Plan C. Backupy Azure. Przecież mieli włączone kopie w chmurze Microsoftu. Zgadza się. Mieli. Ale wyłącznie dla serwerów aplikacyjnych. Bazy danych znów zostały pominięte. I tu docieramy do największego grzechu. Mieli infrastrukturę jako kod, ale nikt nigdy nie przetestował tych backupów w procesie CI-CD.

Pokazano wszystkie 1 dopasowanie. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.