Fałszywy raport AI o broni jądrowej omal nie wywołał konfliktu z Chinami

Firma R wykryła lukę pozwalającą na zdalne wykonanie kodu bez żadnej interakcji użytkownika. Dotyczy ona agentów do kodowania m.in. Cloud Code, Codex, Gemini CU i Copilot. Atak wykorzystuje obejście weryfikacji wtyczek. Agent pobiera wskazaną wersję, ale nie sprawdza czy faktycznie tam trafił, więc przejęcie repozytorium wtyczki pozwala podstawić złośliwy kod, a automatyczna aktualizacja czyni atak niewidocznym dla użytkownika. Problem zgłoszono czterem dostawcom w czerwcu. Anthropic i OpenAI wydały poprawki. Google wycofał swoje narzędzie i nie wyda poprawki, więc każde zainstalowane wydanie pozostaje podatne. Microsoft nie naprawił Copilota, a GitHub twierdzi, że problem go nie dotyczy. Dr. Jason Gibson ukrył w arkuszu egzaminacyjnym polecenie zapisane białą czcionką na białym tle.

Podczas ćwiczenia polegającego na przełamywaniu zabezpieczeń prowadzonego w maju przez firmę Irregular, model Gemini od Google zaatakował trzy prawdziwe firmy. W jednym przypadku odgadł hasła, w dwóch innych znalazł dane uwierzytelniające w publicznych źródłach. Google twierdzi, że model za każdym razem sam się zatrzymywał, gdy zorientował się, że trafił na realne systemy. Irregular powiadomił Google pod koniec lipca, krótko po doniesieniach o agentach OpenAI, które miały zaatakować Hugging Face podczas podobnych testów. Google nie ujawnił incydentów aż do pytań dziennika Wall Street Journal, argumentując, że nie wyrządzono szkód. Według Irregular incydenty u wszystkich dużych dostawców mają tę samą przyczynę. W środowisku testowym przypadkowo pozostawiono dostęp do Internetu. Zespół Google i Deepmind przedstawił metodę poprawiającą decyzje agentów o tym, które podejścia kontynuować, testować równolegle lub porzucić.