Mentionsy

Anthropic stworzył nowy produkt, który dostępny jest ze względów bezpieczeństwa praktycznie jedynie dla nich wewnętrznie oraz największych światowych korporacji.

I tu właśnie na scenę wchodzi Anthropic ze swoim najnowszym modelem Cloud Mythos.

Niewielka część odkrytych podatności została opisana na blogu czerwonego teamu Anthropica, gdzie możecie nieco dokładniej o nich przeczytać.

Wie o tym również Anthropic, bo w notce prasowej wprost stwierdzają, że jest to walka z czasem i za jakiś czas złole będą miały podobne możliwości.

Ba, w notce prasowej Anthropic mówi nawet o obronie Ameryki przed cyberatakami, co jest ciekawą narracją w świetle ich ostatnich nieporozumień z Departamentem Wojny.

Anthropic podkreśla, że zanim przestępcy i szpiedzy będą mieli podobne możliwości, warto wykorzystać ten czas na przetestowanie i zabezpieczenie wszystkiego, co tylko istotne.

W dodatku wraz z kredytami oraz finansowym wsparciem, aby również ci bez ogromnych budżetów mogli z niego skorzystać bez zostawiania na kontach Anthropica jakiejś fury siana.

Anthropic wzywa inne firmy i całą społeczność, aby każdy wziął za cyberbezpieczeństwo część odpowiedzialności nie tylko z poziomu krytyka, dając przykład i robiąc w tym zakresie pierwszy krok.

Anthropic udostępnił kartę modelu, taką na ćwierć tysiąca stron, w której opisuje jego działanie i napotkane problemy, pomimo jego niedostępności, dla zwykłego śmiertelnika.

Anthropic twierdzi, że Mythos jest modelem, który ze wszystkich przez nich dotychczas stworzonych ma najlepszy alignment.

To robi się lekko przerażająco i przykładami w tym zakresie Anthropic postanowił się podzielić.

I zdaniem Anthropica zachowania te świadczą jedynie o próbach hakowania nagrody, czyli takiego pójścia na skróty i rozwiązania problemu niższym kosztem.

Anthropic podkreśla, że mytos mimo pojedynczych, opisanych, niepożądanych zachowań jest nadal znacznie, znacznie bezpieczniejszym pod kątem alignmentu modelem od wszystkich poprzednich.

Tak nawiasem mówiąc, myślę, że pokazuje to, dlaczego Anthropic nie chciał udostępnić swoich modeli wojsku bez jakichkolwiek narzucanych ograniczeń, ale to też nie czas i nie miejsce na te rozkminki.

Niestety, w mytosie Anthropic popełnił grzech pierworodny.

Anthropic przyznaje się do tego grzechu wprost w dokumencie opisującym ryzyka związane z alignmentem swojego modelu, wspominając przy okazji, że do podobnego błędu doszło w przypadku nauczania Cloud Opusa i Sonneta w wersjach 4.6.

Nie jest to więc porównanie jabłek do jabłek i w niczym nie umniejsza możliwości produktu Anthropica.

Przynajmniej tak na razie deklaruje Anthropic.

Anthropic deklaruje, że po zebraniu danych od korzystających z Metosa wyda szereg rekomendacji i dobrych praktyk, jak tworzyć oprogramowanie w dobie AI.

Według raportu Anthropica znalezienie wspomnianej luki w OpenBSD kosztowało poniżej 20 tysięcy dolarów.