Skynet już tu jest?

Cześć! W połowie lipca Hugging Face poinformowało w oświadczeniu o incydencie bezpieczeństwa. Ktoś niepowołany uzyskał dostęp do ich produkcyjnej infrastruktury, wysyłając do serwisu złośliwy, specjalnie spreparowany zestaw danych treningowych, którego automatyczne sprawdzenie doprowadziło do zdalnego wykonania kodu, a w konsekwencji eskalacji uprawnień, przechwycenia poświadczeń oraz dalszego rozejścia się po infrastrukturze ofiary. Co w tym dziwnego? Na pozór, incydent jakich wiele. Jednak nie do końca. Bo nie był to wcale ktoś, a za wszystkim, od początku do końca, miał stać początkowo nieznany, autonomiczny, agentowy system sztucznej inteligencji. W dodatku, wykryła go i przeanalizowała po stronie Hugging Face'a, a jak również sztuczna inteligencja.

Otóż kiedy Hugging Face poprosił o analizę komercyjne modele, te skapitulowały. Głównie z powodów budowanych w nie guardrailsów, zabezpieczeń. Nie były pewne, że to polecenie analityka poszukującego pomocy, a nie kogoś o złych intencjach, atakującego. Dlatego wrzuciły wszystkich do jednego wora pod nazwą potencjalnie niebezpiecznie, nie odpowiadać. Zapłatła więc decyzja, aby przeanalizować logi ze zdarzenia otwartym lokalnym modelem GLM-5-2 we własnej infrastrukturze. Tak na marginesie chińskim. Lokalność miała jeszcze jedną zaletę. Dane dotyczące ataku zostały jedynie w rękach tych, którzy powinni na nie patrzeć i nie trafiły do zestawu treningowego jakiegoś dostawcy modeli.

Gdy już posprzątano ten bałagan, to o sprawie dano również znać odpowiednim służbom. No i może sprawa rozeszłaby się po kościach, bo przecież w cyklu newsów zapomnielibyśmy o tym po jakiejś dobie Max 2, gdyby nie fakt, że kilka dni później do wszystkiego przyznało się OpenAI. Tak, dobrze słyszycie. To OpenAI zaatakowało z ogromnym impetem Hugging Face'a, Ale nawet o tym nie wiedziało. A przy okazji stworzyło całą nową cywilizację. Jak to? A no już spieszę z odpowiedzią. Bo OpenAI również miało incydent bezpieczeństwa, o którym opowiedziało publicznie nieco szerzej. Dwójka pracowników firmy z Działu Bezpieczeństwa oraz Alignmentu, Eric Wallace i Mike Dalton, wyszła na scenę podczas minionego Black Hata, przyznając się, że to wszystko ich sprawka, ale sprawa była jeszcze na tyle świeża, że najpewniej był to jedynie jakiś wycinek wniosków.

Całe to zamieszanie, więc tak naprawdę było No ale tego agenty nie wiedziały, uznając więc, że informacje przydatne im do rozwiązania problemu, jakiś zbiór danych czy opracowanie mogą być przechowywane na przykład na Hugging Face, jednak nie być dostępne publicznie. No, co więc można w takiej sytuacji zrobić? Ano można spróbować dostać się do nich pomimo ograniczeń, przeskakując płot ogrodu sąsiada. Agenty doszły do wniosku, że jednym ze sposobów na osiągnięcie postawionych przed nimi celów jest zaatakowanie zewnętrznej infrastruktury. I to nie jest wcale tak, że model nie wiedział, że to może być niechciane zachowanie.

Na sali nie było słychać śmiechu. W połowie lipca Hugging Face publikuje pierwsze informacje o tym, że zostali zaatakowani przez czyjeś autonomiczne agenty. OpenAI niezwłocznie się do nich odezwało, żeby zapytać czy też są w gronie poszkodowanych. I to akurat był moment, w którym widownia się zaśmiała, no więc mikrofon działał. Trzy dni później OpenAI wykryło drugi atak na ich wewnętrzną infrastrukturę. Oczywiście ponownie rusza cała machina poszukiwania źródła sprawy, w trakcie działania której pracownicy zauważają zapisane poświadczenia do usług Hugging Face'a. Zgłaszają je poszkodowanym, aby natychmiast je unieważnić. Ale okazuje się, że Hugging Face już wcześniej je unieważnił w związku z incydentem u nich.

W końcu komuś nad głową Zapala się wielka żarówka, że nie są to dwa osobne zdarzenia. Bardzo szybko okazuje się, że niedawny pożar w kurniku OpenAI wcale nie został ugaszony, tylko gdzieś tam w ukryciu tlił się od dawna. A teraz... No to jest już naprawdę sroga pożoga i płonie wszystko jak w najlepszych memach. Albo Czarnobylu. Nic dziwnego, że każdy kto tylko może rzuca wszystko czym aktualnie się zajmuje i przenosi całą swoją uwagę na ten incydent. Identyfikowano dwa klastry równoległych ataków. Jeden na wewnętrzną infrastrukturę OpenAI, drugi na zewnętrzne podmioty, w tym głównie Hugging Face'a.

Agenty znalazły w internecie czyjąś dziurawą aplikację do uruchamiania zadań z pokrewnego benchmarka, którym były oceniane, hostowaną w chmurze modal. Przejęły jej sandbox i z niego, jako Z takiej bazy wypadowej prowadziły atak na Hugging Face'a, przekazując przez tę zewnętrzną usługę polecenia. Następnie zidentyfikowały w infrastrukturze Hugging Face do przechowywania zbiorów danych dwa zero-daye, które połączyły w łańcuch. Przygotowały złośliwy zbiór danych, który po przesłaniu do Hugging Face'a został automatycznie sprawdzony I sam akt tego sprawdzania pozwalał wyciągnąć z infrastruktury Hugging Face dane. Agenty dobrały się w ten sposób do poświadczeń oraz kodów źródłowych, co pozwoliło im poszukiwać kolejnych podatności.

Na tym etapie Były już w stanie zdalnie wykonywać kod w infrastrukturze Hugging Face'a w jakiejś pojedynczej aplikacji. Bardzo sprawnie, z wykorzystaniem eskalacji uprawnień, dostały się parę poziomów wyżej na poziom administratora klastra Kubernetesa. Tak szybko, bo zajęło im to zaledwie 13 godzin. OpenAI opowiadało o tym, jakby chcieli się tym pochwalić, ale znów Nikt na sali nie klaskał. W konsekwencji wykradziono Hugging Face'owi trochę prywatnych danych oraz pozyskano dostęp do firmowego czata. Oczywiście, gdy tylko agentom udało się znaleźć jakikolwiek punkt zaczepienia w infrastrukturze tak wewnętrznej, jak i zewnętrznej, natychmiast dzieliły się tą informacją z innymi agentami poprzez swoje forum.

Dzięki temu były w stanie bardzo szybko pokonywać kolejne przeszkody. Hugging Face opublikowało już techniczną część swojego raportu, zdradzając w naprawdę istotnych szczegółach, jak poradzili sobie z odparciem atakujących. Ci na przestrzeni czterech dni wykonali ponad 17 tysięcy akcji, które Hugging Face krok po kroku odtworzyło. Rui OpenAI zainteresowany był tylko jednym – dostępem do sposobu rozwiązywania zadań zebranych w obrębie Exploit Gym. Takiego benchmarka, którym modele były testowane. To zresztą jedyne dane klienta Hugging Face, które padły łupem atakujących. Ale jak właściwie wykryto ten atak? Wielowątkowo. Pojedyncze warstwy bezpieczeństwa same w sobie nie zauważyły wystarczających anomalii, aby podnieść alarm.

Jednak ich wzajemna korelacja z wykorzystaniem AI dała już pewne sygnały, choć początkowo nadal zbyt słabe względem zagrożenia. To dało atakującym więcej czasu bez reakcji, ale finalnie zespół Hugging Face'a zauważył intruzów, wyłączył tymczasową usługę, będącą wektorem ataku, a następnie eksmitował niechcianych gości. Rozpoczęli śledztwo, co tak właściwie się stało, odkrywając ogromny wolumen wydarzeń, praktycznie niemożliwy do analizy przez człowieka, zaprzęgli więc do pracy AI. Z pomocą modelu GLM przeskanowano systemowe logi, odtworzono poszczególne kroki ataku oraz zdekodowano zaszyfrowaną komunikację. Szybko załatano lukę, która w ogóle umożliwiła ten atak oraz wdrożono dodatkowe guardrailsy.

AI się nie męczy ani nie nudzi. Kiedy dostaje zadanie, próbuje je wykonać. Dlatego gdy napotyka na problem niemożliwy do rozwiązania, to zachowuje się w niespodziewany sposób. Na przykład poszukuje sposobów, które no nie są zbyt etyczne. Już przed incydentem Testowano nowy system monitorowania Chain of Thought, czyli tego łańcucha myśli modeli, który aktualnie został wdrożony. Gdy sprawdzono go retrospektywnie na tym incydencie, wykryłby nieprawidłowości na ponad dzień przed przełamaniem systemów Hugging Face'a. Czy to wystarczy? To się okaże. Modele mają też przestać ufać każdemu jak popadnie, a przyjmować polecenia jedynie od autoryzowanych stron. No i przede wszystkim, team odpowiedzialny za bezpieczeństwo ma bardziej zdecydowanie reagować na niespodziewane zachowania.

Jeżeli nie używasz AI w obronie, no to jesteś skazany na porażkę. Wygląda na to, że dalszy rozwój możliwości sztucznej inteligencji służy coraz bardziej agresorom niż obrońcom. I luka ta będzie się tylko pogłębiać, jeżeli nie przyspieszymy. Hugging Face podkreśla ten istotny problem. Kiedy za atakiem stoi jakiś zjakebreakowany model, czyli taki bez jakichkolwiek ograniczeń, Albo otwarty, na których ograniczeń nie narzucono, no to ofiara, korzystająca z takich dodatkowo zabezpieczonych modeli, może nie być w stanie ich użyć. Rodzi to silną asymetrię w możliwościach pomiędzy atakującym a ofiarą, o której ograniczenie warto zadbać jeszcze przed wystąpieniem jakiegoś incydentu, aby nie biegać potem jak kura bez głowy po ogrodzie, kiedy wydarzy się już coś złego.