AI w służbie hakerów, etyczni pentesterzy przed sądem, luki w ChatGPT i europejskie zmagania ekspertów cyberbezpieczeństwa.

Według raportu napastnicy korzystają z modelu językowych i generatorów obrazu do tworzenia spreparowanych e-maili, stron logowania oraz dokumentów korporacyjnych, które trudno odróżnić od oryginałów.

Atakujący używają modeli AI do dynamicznego dopasowywania treści wiadomości do ofiary, bazując na danych z mediów społecznościowych, historii zakupów i metadanych publicznych.

Systemy bezpieczeństwa firmy zostały rozszerzone o nowe modele klasyfikujące treści generatywne, wykrywające charakterystyczne wzorce syntaktyczne i metadane produkowane przez AI.

Śledczy ustalili, że oskarżeni wchorzyli własne narzędzia eksploitacyjne bazujące na frameworkach typu Metasploit i Cobalt Strike, a następnie sprzedawali dostęp do zainfekowanych serwerów na forach w darknecie.

OpenAI i firmy partnerskie wdrożyły już oprawki bezpieczeństwa, między innymi przez wzmocnienie sandboxingu procesów i lepsze filtrowanie sekwencji tokenów w warstwie inference.

Eksperci zwracają uwagę, że problem prompt injection staje się nową kategorią zagrożeń w świecie AI, wymagającą myślenia o bezpieczeństwie nie na poziomie kodu, lecz kontekstu językowego i intencji użytkownika.