Negli ultimi anni, i casi di hacking sono diventati così comuni da non suscitare più sorpresa. L’attenzione mediatica si concentra principalmente sugli attacchi che coinvolgono grandi aziende, causando danni a milioni di utenti. Ogni tipo di servizio o prodotto digitale ha implementato misure di sicurezza per prevenire tali eventi, ma la loro efficacia non è sempre garantita.
rischi associati agli strumenti AI
Con l’emergere di modelli linguistici avanzati come Gemini, si apre un nuovo capitolo nella questione della sicurezza informatica. Sebbene al momento non siano stati segnalati eventi significativi, alcuni progetti di ricerca hanno dimostrato come tali strumenti possano essere sfruttati in modi inaspettati.
progetto “Invitation Is All You Need”
Un team dell’Università di Tel Aviv, composto da Ben Nassi, Stav Cohen e Or Yair, ha presentato il progetto “Invitation Is All You Need”. Questo progetto utilizza Gemini per accedere e controllare una casa intelligente, partendo da un prodotto Google non correlato.
meccanismo di attacco
L’attacco viene attivato quando l’utente interagisce con Gemini tramite un comando. La peculiarità risiede nel fatto che l’azione indesiderata avviene senza che l’utente ne sia consapevole. Il gruppo di ricerca ha illustrato come il “promptware” impieghi un modello linguistico per compiere azioni malevole.
tecniche utilizzate
- “Short-term context poisoning”
- “Long-term memory poisoning”
Queste tecniche consentono ai ricercatori di far eseguire a Gemini azioni non previste inizialmente nel comando. Ciò può comportare la cancellazione di eventi nelle applicazioni Google, l’apertura di videochiamate su Zoom e il controllo dei dispositivi domestici intelligenti.
risposta di Google
Fortunatamente, il team di ricerca ha comunicato queste vulnerabilità a Google lo scorso febbraio e ha collaborato con loro per risolvere le problematiche emerse. Google ha dichiarato di aver adottato diverse difese multilivello:
- conferme utente potenziate per azioni sensibili;
- gestione robusta degli URL con sanitizzazione;
- rilevamento avanzato delle iniezioni nei prompt tramite classificatori di contenuto.
futuro della sicurezza nelle applicazioni AI
Il progetto mette in evidenza le “tecniche teoriche indirette d’iniezione nei prompt” che potrebbero diventare più comuni man mano che gli strumenti basati su AI evolvono. Questa problematica è ancora nelle fasi iniziali e richiederà monitoraggio continuo per evitare danni futuri più gravi.
contributo alla sicurezza informatica
Per coloro interessati alle vulnerabilità informatiche, è possibile contribuire attraverso il programma Bug Hunters offerto da Google. Esistono vari modi per partecipare e segnalare problemi; se la questione è seria, Google offre anche premi per incentivare tali sforzi.
Lascia un commento