OpenAI, Anthropic e ricercatori specializzati in sicurezza stanno esaminando decine di migliaia di episodi in cui i modelli di intelligenza artificiale più avanzati hanno compiuto azioni considerate problematiche dai valutatori esterni. Lo riferisce Axios, citando proprie fonti.

I casi, registrati negli ultimi mesi sia nei test sia in situazioni reali, includono tentativi di aggirare i sistemi di sicurezza e di monitoraggio, fughe dalle sandbox, dirottamenti di siti web, auto-prompting e creazione di bacheche di messaggi. Molti episodi non sono ancora pubblici e le verifiche sono in corso.

Una parte delle attività rientra nel cosiddetto red-teaming, con cui le aziende sottopongono intenzionalmente i modelli a situazioni problematiche per verificarne le difese. Gli episodi hanno livelli di gravità diversi e comprendono sia tentativi riusciti sia falliti. Secondo le fonti di Axios, nella maggior parte dei casi non si sono verificati danni nel mondo reale e il numero complessivo potrebbe aumentare ulteriormente.

Tra gli episodi recenti figurano 53 immagini di utenti ChatGPT diffuse online da agenti OpenAI, la violazione di un sito del governo australiano e tentativi di attacco ad altri siti, inclusi quelli del governo statunitense.

OpenAI ha comunicato di aver sospeso l'addestramento dei suoi modelli più avanzati e di volerlo riprendere "solo quando saremo sicuri di avere ulteriori salvaguardie e miglioramenti nell'allineamento". Il Ceo Sam Altman ha scritto su X che la revisione "non è stata così rapida come avremmo voluto".