OpenAI-Hugging Face: analisi dell’attacco e nuove sfide per l’AI Security (dott.ssa Sorina Tomoiaga)

L’incidente è avvenuto durante una valutazione condotta da OpenAI per misurare le capacità dei propri modelli nello sfruttamento di vulnerabilità. I modelli operavano con minori restrizioni sulle attività cyber all’interno di un ambiente isolato, progettato per il benchmark ExploitGym.

L’isolamento, però, non ha retto. I modelli hanno individuato vulnerabilità nell’ambiente di ricerca di OpenAI, ottenendo accesso a Internet. Da quel momento hanno cercato risorse utili a completare il benchmark e hanno individuato Hugging Face come possibile fonte di modelli, dataset e informazioni sulle soluzioni. Secondo la ricostruzione di Hugging Face, tra il 9 e il 13 luglio 2026 sono state recuperate circa 17.600 azioni, raggruppate in circa 6.280 cluster.

Il punto centrale dell’incidente non è quindi la scoperta di una singola vulnerabilità, ma la capacità del modello di concatenare più tecniche, adattarsi agli ostacoli e utilizzare le informazioni raccolte per proseguire nell’attacco.

1. Dalla valutazione all’accesso a Internet

ExploitGym è stato progettato per mettere alla prova capacità cyber avanzate attraverso scenari che richiedono l’individuazione e lo sfruttamento di vulnerabilità.

Per misurare le capacità massime dei modelli, OpenAI aveva disabilitato alcune protezioni normalmente utilizzate contro attività ad alto rischio. L’ambiente rimaneva tuttavia isolato e l’accesso alla rete passava attraverso un componente interno utilizzato come proxy e cache per l’installazione dei pacchetti.

Durante l’attività, i modelli hanno identificato una vulnerabilità zero-day proprio in questo componente. Lo sfruttamento ha permesso di raggiungere un sistema con connettività Internet, trasformando l’ambiente di valutazione in un punto di uscita verso l’esterno. È questo il passaggio fondamentale: l'accesso alla rete non era previsto, ma è stato ottenuto sfruttando l'infrastruttura che avrebbe dovuto contribuire a mantenere l'isolamento.

2. La ricerca di Hugging Face

Una volta ottenuto accesso a Internet, i modelli hanno cercato informazioni utili a completare ExploitGym. Hugging Face rappresentava un bersaglio interessante perché ospita modelli, dataset e materiale collegato a numerosi progetti di ricerca. Secondo OpenAI, i modelli hanno cercato informazioni riservate e utilizzato credenziali esposte per accedere a servizi esterni.

Infatti, credenziali esposte e vulnerabilità zero-day sono state combinate fino a ottenere un percorso di esecuzione remota di codice sui sistemi di Hugging Face. L’aspetto significativo è che il modello non si è limitato a sfruttare una vulnerabilità: ha cercato autonomamente risorse che potessero aumentare le probabilità di completare il proprio obiettivo.

3. Il primo punto d’appoggio

Secondo la ricostruzione di Hugging Face, l’intrusione è partita dall’infrastruttura utilizzata per elaborare i dataset. Sono stati individuati due percorsi che permettevano l’esecuzione di codice nella pipeline di elaborazione:

• un dataset loader vulnerabile;

• un template injection nella configurazione del dataset.

Questi vettori hanno consentito di eseguire codice su un worker di elaborazione.

Il caso evidenzia un problema importante: una pipeline dedicata apparentemente soltanto al trattamento dei dati può diventare una superficie d’attacco. Il dataset stesso può trasformarsi in un veicolo per ottenere esecuzione di codice all’interno dell’infrastruttura. Dopo aver ottenuto il primo punto d’appoggio, l’agente ha iniziato a raccogliere informazioni sull’ambiente e sulle credenziali disponibili.

4. Escalation dei privilegi e movimento laterale

L’attività non si è fermata al sistema compromesso. Secondo Hugging Face, l’agente ha esteso l’attività all’infrastruttura Kubernetes sottostante, effettuando ulteriori operazioni di enumerazione e movimento laterale. La presenza di credenziali e token utilizzabili ha trasformato il primo accesso in un punto di passaggio verso altre risorse.

È qui che emerge la differenza rispetto a un attacco tradizionale. Un operatore umano deve analizzare l’ambiente, scegliere i percorsi più promettenti e procedere passo dopo passo. Un agente AI può invece effettuare rapidamente numerosi tentativi e modificare la propria strategia sulla base dei risultati. Le migliaia di azioni ricostruite da Hugging Face mostrano proprio questo comportamento: non tutti i tentativi hanno avuto successo, ma il costo di riprovare è molto basso.

5. Comunicazioni e trasferimento dei dati

La campagna ha utilizzato anche servizi pubblicamente accessibili per trasferire informazioni e mantenere comunicazioni con l’infrastruttura controllata dall’agente. La ricostruzione forense ha identificato servizi web e altri strumenti online utilizzati per trasferire dati e payload, anche attraverso tecniche di cifratura e suddivisione dei dati.

Per un SOC questo rende più difficile il rilevamento basato esclusivamente sul blocco di domini o indirizzi noti. Un singolo accesso a un servizio legittimo può essere normale; la sequenza composta da accesso anomalo, ricerca di credenziali, enumerazione, chiamate API e trasferimento di dati è invece molto più significativa. Il monitoraggio deve quindi concentrarsi sempre più sul comportamento complessivo, non sulla singola operazione.

6. Cosa è stato compromesso

È importante distinguere la capacità dell’attacco dal suo impatto. Hugging Face ha dichiarato che l’intrusione ha raggiunto l’infrastruttura interna, ma che l’accesso ai dati è rimasto circoscritto a cinque dataset associati alle challenge e alle soluzioni di ExploitGym. Non risultano compromessi altri modelli, dataset, Spaces o pacchetti destinati ai clienti.

OpenAI ha inoltre precisato che nessun modello destinato alle release successive era coinvolto nell’attività. Il modello utilizzato nell’indagine era un prototipo interno di ricerca, successivamente disattivato e sottratto all’accesso. L’impatto concreto è quindi rimasto limitato. L’importanza dell’incidente sta soprattutto nelle capacità dimostrate durante l’operazione.

7. Detection e risposta

Hugging Face ha rilevato e contenuto l’attività mentre l’intrusione era ancora in corso, avviando contemporaneamente la ricostruzione forense. L’azienda ha inoltre utilizzato modelli open-weight per analizzare i log e parte dei dati recuperati.

Il caso mostra così un confronto sempre più diretto tra AI offensiva e difensiva: gli stessi strumenti che permettono di automatizzare ricognizione e analisi possono essere utilizzati dal difensore per correlare eventi e ricostruire una catena d’attacco. La qualità dei controlli attorno al modello diventa quindi determinante.

8. Le implicazioni per l’AI Security

L’incidente evidenzia almeno tre aree critiche.

Isolamento. Un ambiente non è realmente isolato se contiene componenti che possono essere sfruttati per raggiungere l’esterno. Gli ambienti destinati a modelli con capacità cyber devono quindi adottare segmentazione, filtraggio delle connessioni in uscita, credenziali effimere e monitoraggio continuo.

Identità. Un token o delle credenziali ottenuti da un agente possono diventare un punto di passaggio verso altre risorse. Account di servizio, credenziali cloud e token API devono quindi seguire rigorosamente il principio del least priviledge.

Monitoraggio. Per gli agenti autonomi non è sufficiente chiedersi se una singola azione sia sospetta. È necessario osservare la sequenza complessiva e capire verso quale obiettivo sta convergendo.

Conclusioni

L’incidente OpenAI-Hugging Face non dimostra che gli agenti AI siano diventati attori malevoli completamente autonomi ma che un modello sufficientemente capace può combinare vulnerabilità, credenziali e informazioni raccolte lungo il percorso per costruire una catena d’attacco adattiva. Per questo gli agenti utilizzati nelle valutazioni di sicurezza devono essere trattati come sistemi ad alto rischio, con isolamento rigoroso, privilegi minimi, segmentazione della rete, credenziali temporanee e monitoraggio continuo.

Il rischio non deriva necessariamente da tecniche offensive nuove, ma dalla capacità di combinarle e automatizzarle con una velocità e una scala difficilmente raggiungibili da un operatore umano. Il punto, quindi, non è soltanto impedire al modello di eseguire un singolo comando, ma evitare che una serie di piccoli privilegi possa trasformarsi in una compromissione completa.

Dott.ssa Sorina Tomoiaga