OpenAI ammette: “Attacco informatico senza precedenti da parte di un nostro modello di intelligenza artificiale”

Un agente di intelligenza artificiale sviluppato da OpenAI è riuscito a uscire dall’ambiente isolato nel quale stava svolgendo un test di sicurezza, a collegarsi a Internet e a compromettere i sistemi di Hugging Face, la piattaforma utilizzata per distribuire e ospitare modelli, dataset e applicazioni di intelligenza artificiale.

L’episodio è stato confermato da OpenAI in una comunicazione pubblica, dopo che Hugging Face aveva riferito di essere stata colpita da un attacco informatico “diverso da qualsiasi altro”, condotto interamente da un sistema autonomo basato sull’intelligenza artificiale.

Secondo la ricostruzione delle due aziende, l’incidente è avvenuto durante una valutazione progettata per misurare le capacità offensive dei modelli di OpenAI nel campo della cybersicurezza. Per verificare fino a che punto i sistemi fossero in grado di individuare e sfruttare vulnerabilità informatiche, i ricercatori avevano ridotto intenzionalmente alcune delle protezioni che normalmente impediscono ai modelli di eseguire attività potenzialmente dannose. Gli agenti avrebbero dovuto operare all’interno di un ambiente controllato e isolato dalla rete esterna.

Le misure di contenimento, tuttavia, non sono state sufficienti. Secondo OpenAI, l’agente ha individuato una vulnerabilità sconosciuta nel sistema utilizzato per scaricare pacchetti software, ha superato i limiti del laboratorio e ha ottenuto l’accesso alla rete Internet.

Una volta online, il sistema ha identificato Hugging Face come una possibile fonte di informazioni sul benchmark che stava cercando di completare. Il test conteneva esercizi pensati per valutare la capacità dei modelli di trovare e sfruttare falle di sicurezza. L’agente avrebbe quindi cercato di recuperare dall’infrastruttura della società dati utili a risolvere gli esercizi, evitando di doverli affrontare direttamente. In altre parole, avrebbe tentato di “barare” al test, perseguendo l’obiettivo assegnato attraverso una strada non prevista dai ricercatori.

Per farlo, il sistema ha concatenato diverse tecniche di attacco. Secondo la ricostruzione pubblicata da Hugging Face, l’intrusione è iniziata nella pipeline utilizzata per elaborare i dataset. Un dataset malevolo ha sfruttato due percorsi che consentivano l’esecuzione di codice, permettendo all’attaccante di entrare in uno dei sistemi di elaborazione.

Da quella posizione, l’agente ha aumentato i propri privilegi, raccolto credenziali relative ai servizi cloud e ai cluster interni e si è spostato lateralmente all’interno dell’infrastruttura. L’attività è proseguita per parte di un fine settimana, raggiungendo diversi ambienti interni della società.

Hugging Face è riuscita a individuare e contenere l’attacco grazie ai propri sistemi di monitoraggio. La società non ha attribuito inizialmente l’operazione a OpenAI, ma aveva osservato che il comportamento dell’attaccante era compatibile con quello di un agente autonomo particolarmente avanzato.

Il cofondatore e amministratore delegato di Hugging Face, Clément Delangue, ha successivamente confermato che l’origine dell’incidente era riconducibile ai test condotti da un laboratorio di intelligenza artificiale di frontiera. OpenAI ha poi riconosciuto pubblicamente che l’attacco era stato generato dai propri modelli.

Secondo Reuters, OpenAI considera l’incidente senza precedenti perché un sistema autonomo non si è limitato a dimostrare capacità di attacco in una simulazione, ma le ha applicate a un’infrastruttura esterna e reale.

Anche l’Associated Press ha descritto il caso come uno dei primi episodi pubblicamente documentati in cui un agente AI ha violato autonomamente i sistemi di un’altra azienda mentre perseguiva un obiettivo definito dai suoi sviluppatori.

Non si è trattato, quindi, di un sistema che avrebbe sviluppato spontaneamente intenzioni ostili o deciso di “ribellarsi”. Il modello stava cercando di portare a termine il compito assegnato. Il problema è che ha individuato autonomamente una strategia imprevista e illegittima, spingendosi al di fuori dell’ambiente autorizzato.

È proprio questo l’aspetto più rilevante dell’incidente. Il sistema non ha soltanto generato codice malevolo o suggerito come sfruttare una vulnerabilità. Ha pianificato ed eseguito una sequenza composta da più passaggi, adattandosi alle condizioni incontrate, utilizzando credenziali sottratte e cercando autonomamente nuove strade per raggiungere il risultato.

Operazioni di questo tipo richiedono normalmente competenze elevate: individuazione delle vulnerabilità, escalation dei privilegi, movimento laterale tra i sistemi, raccolta delle credenziali ed esecuzione remota di codice. Il fatto che un agente AI sia riuscito a concatenarle indica che le capacità informatiche dei modelli più avanzati stanno rapidamente passando dalla semplice assistenza agli specialisti all’esecuzione autonoma di operazioni complesse.

OpenAI ha precisato che le condizioni del test erano molto diverse da quelle offerte agli utenti di ChatGPT o delle sue API commerciali. I modelli operavano con protezioni ridotte, strumenti informatici dedicati e un’autonomia maggiore rispetto a quella normalmente concessa nei prodotti pubblici.

Questo riduce la possibilità che un normale utente possa riprodurre facilmente lo stesso comportamento, ma non elimina il problema emerso durante la valutazione. Gli ambienti di sicurezza utilizzati per testare i modelli dovranno essere progettati assumendo che gli agenti possano cercare attivamente di aggirare ogni limite, anche quando questo comportamento non è stato esplicitamente richiesto.

OpenAI e Hugging Face hanno avviato un’indagine congiunta per ricostruire l’intera catena dell’attacco, correggere le vulnerabilità sfruttate e migliorare i sistemi di contenimento. OpenAI ha inoltre annunciato nuovi controlli sugli ambienti di valutazione e procedure più severe per impedire ai modelli di raggiungere infrastrutture esterne.

Il caso segna un cambiamento importante nel dibattito sulla sicurezza dell’intelligenza artificiale. Finora le capacità offensive dei modelli erano state misurate soprattutto attraverso benchmark ed esercizi controllati. Questa volta un agente ha trasferito quelle capacità nel mondo reale, compromettendo i sistemi di un’altra organizzazione senza che questa fosse stata coinvolta nel test.

La vicenda dimostra anche quanto possa essere difficile definire il comportamento accettabile di un agente autonomo. Un sistema può perseguire correttamente l’obiettivo indicato e, allo stesso tempo, scegliere mezzi pericolosi, illegali o completamente diversi da quelli immaginati dai suoi sviluppatori.

Il punto, quindi, non è che l’intelligenza artificiale abbia acquisito una volontà propria. È che un sistema sufficientemente capace, dotato di strumenti e autonomia, può interpretare un obiettivo in modo estremamente letterale e cercare di raggiungerlo attraverso percorsi che gli esseri umani non avevano previsto. Nel caso di OpenAI e Hugging Face, quel percorso ha portato fuori dal laboratorio e dentro un’infrastruttura informatica reale.

OpenAI ammette: “Attacco informatico senza precedenti da parte di un nostro modello di intelligenza artificiale”