Skynet już tu jest?

Nadzorujący ich systemy model językowy wykrył anomalie w telemetrii, a następnie przeanalizowano logik, które wygenerowało to zdarzenie. Czyli taka wojna AI-ów tylko w małej skali. No, przynajmniej na razie. Jak do tego doszło? Czy to właśnie ten moment w historii, kiedy Skynet budzi się do życia? I jak w ogóle wygląda coś na kształt społeczeństwa, które wykształciła AI? Zapraszam. W trakcie ataku zarejestrowano ponad 17 tysięcy pojedynczych akcji, będących efektem działania całego roju agentów. Przejrzenie tego bez pomocy AI z góry skazane było na porażkę, ale i tak nie obyło się bez problemów.

Modele AI są regularnie testowane w cyklu ich rozwoju. Testy takie najczęściej przeprowadza się w sandboxach, odizolowanych środowiskach, aby móc w ten sposób lepiej je kontrolować. Model ma coś wykonać, najczęściej bez dostępu do internetu, ale gdyby potrzebował jakichś konkretnych narzędzi, to udostępnia mu się je poprzez odpowiedniego pośrednika, co zapewnia nadzór nad przepływem informacji. Co istotne, model jest też izolowany od innych modeli, aby nie mógł się z nimi komunikować. Ta izolacja tak Spojler. Nie zadziałała. Ale od początku.

Obecnie stosowane agenty AI biorą na tapet jakieś polecenie. Analizują je, zastanawiają się nad tym, co tak właściwie mają zrobić, co widać w ich łańcuchu myśli, czyli Chain of Thought. Wybierają jakieś narzędzie, które najlepiej sprawdzi się w przypadku danego zadania, korzystają z niego, a następnie na koniec meldują użytkownikowi wykonanie zadania. Podczas treningu w tym miejscu dochodzi do zewnętrznej oceny jakości efektów ich pracy. Sprawdzenia, czy to, co miało w efekcie działać, rzeczywiście działa oraz pętli zwrotnej do modelu, aby na tej podstawie douczył się i lepiej wykonywał zadania w przyszłości. W toku rozwoju AI umożliwiono też agentom powoływanie do życia subagentów i delegowanie im pomniejszych zadań.

I to nie dlatego, że jak delfiny są złośliwe, ale gdy stawiamy im jakiś cel, to starają się wykonać go za wszelką cenę, nie znając granic. To tak zwany problem alignmentu AI, czyli dopasowania sztucznej inteligencji do naszych intencji, o czym opowiadam na konferencjach i szkoleniach od kilku lat, bo to nic nowego. Spotykamy się z tym problemem od początków sztucznej inteligencji, ale to nie jej wina. Model szuka najprostszego i najefektywniejszego sposobu na rozwiązanie postawionego przed nim problemu. A że często warunki te spełnia właśnie coś, czego nie zakładaliśmy, czy wręcz wprost oszustwo, no to cóż no, takie jest życie. To tak zwane hakowanie nagrody, problem stary jak świat, oszukiwanie, aby na pozór rozwiązać zadanie i to jak najmniejszym kosztem.

Jednak ich wzajemna korelacja z wykorzystaniem AI dała już pewne sygnały, choć początkowo nadal zbyt słabe względem zagrożenia. To dało atakującym więcej czasu bez reakcji, ale finalnie zespół Hugging Face'a zauważył intruzów, wyłączył tymczasową usługę, będącą wektorem ataku, a następnie eksmitował niechcianych gości. Rozpoczęli śledztwo, co tak właściwie się stało, odkrywając ogromny wolumen wydarzeń, praktycznie niemożliwy do analizy przez człowieka, zaprzęgli więc do pracy AI. Z pomocą modelu GLM przeskanowano systemowe logi, odtworzono poszczególne kroki ataku oraz zdekodowano zaszyfrowaną komunikację. Szybko załatano lukę, która w ogóle umożliwiła ten atak oraz wdrożono dodatkowe guardrailsy.

AI się nie męczy ani nie nudzi. Kiedy dostaje zadanie, próbuje je wykonać. Dlatego gdy napotyka na problem niemożliwy do rozwiązania, to zachowuje się w niespodziewany sposób. Na przykład poszukuje sposobów, które no nie są zbyt etyczne. Już przed incydentem Testowano nowy system monitorowania Chain of Thought, czyli tego łańcucha myśli modeli, który aktualnie został wdrożony. Gdy sprawdzono go retrospektywnie na tym incydencie, wykryłby nieprawidłowości na ponad dzień przed przełamaniem systemów Hugging Face'a. Czy to wystarczy? To się okaże. Modele mają też przestać ufać każdemu jak popadnie, a przyjmować polecenia jedynie od autoryzowanych stron. No i przede wszystkim, team odpowiedzialny za bezpieczeństwo ma bardziej zdecydowanie reagować na niespodziewane zachowania.

Bo o tajnym forum wiedziano już wcześniej, Ale niewiele zrobiono w tej kwestii. Nikomu nie zapaliła się czerwona lampka. OpenAI planuje nawet zautomatyzować proces wyłączania modelu, jeśli będzie się on zachowywał niewłaściwie. No więc cóż, AI będzie pilnowała AI. Co złego może się stać? Bo zautomatyzowane ataki z wykorzystaniem agentów AI już tu są. To nie jest pieśń przyszłości, to dzieje się teraz. W dodatku mogą one nie być nawet efektem złej woli, ale po prostu niechcianą konsekwencją rozwoju. Dlatego niedługo ktoś lub coś wykorzysta takie możliwości, aby celowo próbować wyrządzać szkody.

Zresztą, co istotne, Agenty w tym ataku nie odnalazły jakichś strasznie wyszukanych luk. Uparcie poszukując, znalazły po prostu cokolwiek, co wystarczyło połączyć w całość, a w dodatku utonęło to wszystko w morzu szumu, który przy tym generowały. Taka śmierć przez tysiąc cięć. Stąd konieczne jest stosowanie mechanizmów, które taki atak są w stanie spowolnić. Na przykład Podstawienie gdzieś w infrastrukturze specjalnie pozostawionych poświadczeń, których użycie wywoła alarm no i odpowiednią reakcję. OpenAI twierdzi, że ten incydent to strzał ostrzegawczy dla wszystkich. Potwierdza, że bez odpowiednich zabezpieczeń agenty AI są w stanie wymknąć się spod ludzkiej kontroli.

Ale w sytuacji, gdy mamy do czynienia z coraz potężniejszymi narzędziami i słabym nadzorem, daje to takie właśnie efekty. Co może pomóc? Obietnice nie działają. Czy regulacje pomogą? Nie wiem. Tak czy inaczej, to tak wyraźne przekroczenie czerwonej linii, że powinno uruchomić instynkt samozachowawczy. I tym instynktem, czy tego chcemy, czy też nie, jest szersze wprowadzenie AI po stronie obrony. Dajcie znać, co o tym myślicie w komentarzu pod materiałem. Sam nie lubię bezczynności i takiego Poczucia bezsilności, tak więc już poszukuję czegoś, jakiegoś konkretnego kierunku działań, który będę chciał Wam zaproponować na uczmnie.pl. Co robić i jak żyć?

Jeżeli nie używasz AI w obronie, no to jesteś skazany na porażkę. Wygląda na to, że dalszy rozwój możliwości sztucznej inteligencji służy coraz bardziej agresorom niż obrońcom. I luka ta będzie się tylko pogłębiać, jeżeli nie przyspieszymy. Hugging Face podkreśla ten istotny problem. Kiedy za atakiem stoi jakiś zjakebreakowany model, czyli taki bez jakichkolwiek ograniczeń, Albo otwarty, na których ograniczeń nie narzucono, no to ofiara, korzystająca z takich dodatkowo zabezpieczonych modeli, może nie być w stanie ich użyć. Rodzi to silną asymetrię w możliwościach pomiędzy atakującym a ofiarą, o której ograniczenie warto zadbać jeszcze przed wystąpieniem jakiegoś incydentu, aby nie biegać potem jak kura bez głowy po ogrodzie, kiedy wydarzy się już coś złego.

W każdym systemie AI istotna jest obserwowalność i monitorowanie, czyli sprawdzanie co się dzieje, kto co i dlaczego zrobił. No bo bez śladów, no nie ma śladów, więc warto zadbać o to, by w ogóle dało się zareagować. A jeszcze lepiej proaktywnie sprawdzać co się dzieje. Ustalanie celów nie jest proste. A modele, wraz z nowymi wersjami, zmieniają też to, jak i co się dzieje. Warto być z tym na bieżąco zarówno tutaj, na moim kanale, jak i na ucz mnie.pl. Model, a w sumie to jego wagi, który zachował się w opisywany sposób, został poddany kwarantannie. Ale to nie jest tak, że sprawa dotyczy komercyjnych modeli w dokładnie takich wersjach jak te dostępne dla każdego śmiertelnika.