Mentionsy Mentionsy
Zakazane Zapytania
Zakazane Zapytania

DDoS, martwe backupy i błąd inżyniera | Awaria GitLab 2017

30.03.2026 ·13 min 1 s

Kiedy system płonie, masz ułamek sekundy na reakcję. W 2017 roku jedna komenda usunęła prawie 300 GB danych giganta IT, obnażając iluzję pięciu warstw kopii zapasowych. To historia o tym, jak skrajne zmęczenie i fałszywe poczucie bezpieczeństwa doprowadzają architekturę na skraj przepaści.W dzisiejszym odcinku:- Jak jedna błędnie wpisana komenda wymazała 98% danych produkcyjnych w 4 sekundy.- Dlaczego pięć niezależnych systemów backupu (od LVM po chmurę Azure) okazało się bezużytecznych w chwili prawdy.- Śmiertelne niebezpieczeństwo pustych plików 0 KB ignorowanych przez zautomatyzowane systemy monitoringu.- Anatomia zmęczenia: dlaczego brak wizualnego rozróżnienia środowisk (produkcja vs. test) to proszenie się o katastrofę.- Fenomen #HugOps i radykalna transparentność jako jedyna skuteczna metoda przetrwania pożaru wizerunkowego.Pojęcia z odcinka:- rm -rf: Unixowa komenda oznaczająca wyrok śmierci dla danych. Wymusza natychmiastowe, bezpowrotne usunięcie całych drzew katalogów, ignorując ostrzeżenia i nie pytając użytkownika o zgodę.- LVM Snapshots: Mechanizm tworzenia "migawek" stanu logicznych wolumenów dyskowych w czasie rzeczywistym. Często traktowany jako najszybsza linia obrony, która zawodzi przy złej konfiguracji.- Replikacja: Proces ciągłego, automatycznego kopiowania danych z głównego serwera na węzły zapasowe. Jej opóźnienie (lag) było punktem zapalnym całej awarii.🎧 Słuchaj w drodze:Spotify: https://open.spotify.com/show/1u4S1LYBHHFCPzJ7ZhbPHXApple Podcasts: https://podcasts.apple.com/us/podcast/zakazane-zapytania/id1871120808🕵️‍♂️ O kanale:Świat IT to nie tylko czyste repozytoria i sukcesy na LinkedInie. Nazywam się Programista Śledczy i analizuję największe katastrofy architektury IT, mroczne dziedzictwo (Legacy Code) i niewyjaśnione incydenty z logów. To cyfrowe True Crime IT. Otwórz akta i dołącz do śledztwa. W mroku każdy błąd zostawia ślad.#AwariaGitLab #BrakBackupu #TrueCrimeIT

Ten natomiast kończył się pozornym sukcesem, choć pliki były puste i miały rozmiar 0 kilobajtów. To była pierwsza kostka domina w historii prawdziwego incydentu GitLab z 31 stycznia 2017 roku. Dla niewtajemniczonych czym właściwie jest GitLab? To nie jest po prostu kolejna platforma. To gigantyczny cyfrowy save i wirtualna linia montażowa w jednym. Miejsce, w którym tysiące korporacji i deweloperów z całego świata przechowują swój najcenniejszy zasób – kod źródłowy aplikacji, z których korzystasz na co dzień. Kiedy serwery GitLaba stają w płomieniach, zatrzymuje się bicie serca dla tysięcy projektów z całej branży IT.

Teraz znając kontekst, warto powiedzieć, że narzędziem zbrodni nie był żaden wyrafinowany eksploit. To była komenda stara jak świat. RM, RF. Komenda ta wymusza natychmiastowe i bezpowrotne usunięcie wskazanych plików oraz całych drzew katalogów, ignorując wszelkie ostrzeżenia i nie pytając użytkownika o ostateczną zgodę. W świecie IT to odpowiednik wejścia do archiwum zmiotaczem ognia. Punktem zapłonu całej tej historii był atak typu spam DDoS, który spowodował ogromny przyrost danych w bazie GitLaba.

Usunął główny katalog bazy PostgreSQL. Zorientował się co zrobił po około 4 sekundach i natychmiast przerwał proces skrótem CTRL-C. Jednakże z 300 GB danych produkcyjnych zniknęło ponad 295 GB, czyli 98%. Kiedy dym jeszcze unosił się w powietrzu, okazało się, że GitLab miał niejeden. Nie dwa, ale aż pięć mechanizmów ratunkowych. I wiecie co? Zawiodło absolutnie wszystko. Najpierw rzucili się do snapshotów LVM. System robił je domyślnie, więc wydawało się, że są uratowani. Szkoda tylko, że nikt nigdy nie skonfigurował ich dla tego konkretnego wolumenu, na którym fizycznie leżała baza danych.

Po prostu zrzucali dane w próżnię, bo nikt ani razu nie spróbował z tych kopii podnieść całego systemu. A w naszej branży jest jedna brutalna zasada. Backup, którego choć raz nie przywróciłeś, nie istnieje. A co z replikacją na żywo? To jest w tym najbardziej tragiczne. Replikacja w tamtym momencie była zatrzymana. To właśnie próbując ją naprawić, tamten zmęczony inżynier przez pomyłkę wykasował główną bazę danych. GitLab stanął nad przepaścią. Zamiast jednak PR-owego bełkotu wybrali radykalną transparentność.

Pokazano wszystkie 4 dopasowania. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.