Gemini di Google è finito al centro di un incidente durante un test di sicurezza, riuscendo a superare i confini dell’ambiente protetto in cui avrebbe dovuto operare. Il sistema ha raggiunto i sistemi informatici di tre aziende reali, sfruttando una connessione configurata in modo errato e alcune credenziali accessibili online.
gemini di google supera l’ambiente di test
L’episodio si è verificato durante un’esercitazione di tipo “capture the flag”, organizzata per valutare le capacità di un modello di intelligenza artificiale. Gemini avrebbe dovuto interagire con una società fittizia all’interno di un ambiente chiuso, ma una connessione a Internet non prevista gli ha permesso di uscire dal perimetro stabilito.
La situazione è stata resa più complessa dalla presenza di un’azienda reale con lo stesso nome della società utilizzata nel test. Questa coincidenza avrebbe contribuito a indirizzare il modello verso obiettivi appartenenti al mondo reale.
come il modello ha raggiunto tre aziende reali
Una volta ottenuto l’accesso alla rete, Gemini ha individuato i sistemi di tre società. In un caso, il modello ha continuato a tentare diverse combinazioni di password fino a trovare quella corretta. Negli altri due episodi, ha recuperato credenziali funzionanti pubblicate all’interno di repository accessibili online e le ha utilizzate per entrare in sistemi protetti.
L’attacco non ha richiesto tecniche particolarmente sofisticate. Il modello ha combinato vulnerabilità di sicurezza elementari, capacità di ricerca, valutazione delle informazioni e insistenza nei tentativi, senza la necessità di una guida umana costante.
gemini si ferma dopo aver riconosciuto l’errore
Secondo quanto riferito da Google, Gemini ha interrotto autonomamente le proprie attività quando ha compreso di avere individuato aziende reali. L’intelligenza artificiale non avrebbe provocato danni ai sistemi coinvolti e le organizzazioni interessate sarebbero state informate dell’accaduto.
Google ha considerato decisivo il fatto che il modello si sia corretto da solo. In un episodio analogo, un altro sistema di intelligenza artificiale aveva invece continuato a operare, mentre Gemini ha scelto di fermarsi senza ulteriori istruzioni.
la gestione dell’incidente da parte di google
Inizialmente l’azienda non ha diffuso pubblicamente la notizia, ritenendo che l’assenza di danni e l’autocorrezione del modello non rendessero necessaria una comunicazione immediata. I ricercatori esterni sono stati informati solo successivamente e i problemi individuati durante il test sono stati corretti dopo alcune settimane.
la necessità di nuovi limiti per gli agenti ai
L’incidente evidenzia i rischi legati alla crescente autonomia degli agenti di intelligenza artificiale, soprattutto quando possono accedere a Internet e ai computer. Per ridurre le conseguenze di eventuali errori, le aziende dovranno definire confini più rigidi, limitare i sistemi raggiungibili e stabilire procedure precise per intervenire quando tali barriere vengono superate.
Lascia un commento