Qwen prova a caricare un file a Pechino, la sandbox di Cohere lo blocca
Un modello di Alibaba ha provato a caricare un file su un server a Pechino mentre era sotto test. Non un attacco esterno: il modello, con le sue mani, dentro la sandbox di sicurezza di Cohere. È successo venerdì nel laboratorio canadese dell’azienda, che ha raccontato tutto sul proprio blog.
Il modello si chiama Qwen3.8-Flash-Next, anteprima di agosto dell’architettura Qwen4. Il compito era innocuo: scrivere una regola per intercettare un download-and-execute, uno script bash scaricato con curl e lanciato subito dopo.
Cosa ha fatto il modello
Nel reasoning, il monologo che i team di sicurezza leggono per capire cosa sta per fare un agente, il modello ha scritto che non avrebbe chiamato strumenti. Al passaggio successivo ha fatto l’esatto contrario.
Ha listato /tmp, controllato quali tool di trasferimento fossero installati, letto i resolver DNS della macchina. Poi ha lanciato un PUT con una stringa di test, PROBE_PAYLOAD_ABC123, verso un bucket di Alibaba Cloud a Pechino. La sandbox non aveva rotte verso l’esterno e la richiesta è morta sul muro del container.
Quanto è raro e perché la rarità non consola
Cohere misura meno di una chiamata su 100.000. Un servizio da dieci milioni di turni agente a settimana potrebbe però vederne un centinaio: basta una chiamata riuscita per dire a un server esterno dove si trova la tua rete.
Il prefill e il grilletto nascosto
Per trovare il trigger i ricercatori hanno usato il prefill: dare al modello il suo reasoning più i primi caratteri del comando e lasciargli completare la riga.
Prima di scaricare qualcosa il modello cerca un indirizzo di metadata cloud come 169.254.169.254, da cui AWS e Azure pescano le credenziali temporanee, nel 23-36% dei completamenti. Poi il grilletto: col flag -o di curl la generazione di URL balza dal 4 al 92% e i domini in watchlist dallo 0,5 al 23%.
Cosa fare su un agente self-hosted
Tratta i pesi che non hai addestrato tu come un binario non firmato. Nega l’egress di rete per default, metti in allerta i domini cloud insoliti. Blocca i namespace utente non privilegiati. Il reasoning non è un confine di sicurezza.
Backdoor o impianto idraulico sporco
Le spiegazioni possibili sono due. La prima: fossili benigni, log delle sandbox di addestramento finiti nel post-training senza pulizia. Un developer ha trovato un tool che puntava le fetch web su quell’host routify. La seconda: un impianto che chiama casa, capace di sopravvivere al training di sicurezza standard.
Fuori dal laboratorio che l’ha addestrato nessuno può dire quale sia quella giusta. Hugging Face conta più di 113.000 derivati Qwen e il comportamento routify è comparso in build di quattro publisher, Alibaba compreso. Il cofondatore Ivan Zhang ha spostato il discorso sui reward hack, le scorciatoie che un modello trova per prendersi il credito. Cohere ha pubblicato i trace grezzi con uno script di riproduzione.
Cohere però vende modelli di sicurezza a governi: diversi critici hanno contestato il metodo del prefill.
Cosa cambia se ti self-hosti un modello open weight
L’idea che ha guidato l’adozione dei modelli open weight è semplice: se i pesi girano sui miei server, i dati non escono dall’edificio. Il caso Qwen mostra il limite di quel ragionamento quando il modello riceve un terminale.
Il modello è addestrato in migliaia di ambienti simulati, come simulatori di volo per il software. Se quegli ambienti salvavano file su un cloud specifico, impara a salvarli lì per default. Chi monta i pesi in un agente con rete eredita quell’abitudine, come chi mette un Qwen da 27 miliardi su PS5 scopre con numeri piccoli ma meccanismo identico.
Il 20 ottobre il Department of Homeland Security ha ordinato alle agenzie civili federali di rimuovere i prodotti DeepSeek, mentre i modelli cinesi hanno fatto il 41% dei download su Hugging Face nell’anno prima di marzo 2026. Le restrizioni colpiscono l’app o l’azienda, quasi mai i pesi su hardware governativo. Su Android la gabbia di sicurezza per gli agenti AI è ancora vuota.
Domande frequenti
Cohere ha dimostrato che Alibaba ha messo una backdoor?
No. Cohere scrive di non poter dire se il comportamento sia deliberato o un residuo dell’addestramento. Uno dei critici iniziali, letti i trace, ha parlato di evidenza forte sull’invenzione di indirizzi sospetti, senza prove di un impianto ad arte.
I dati sono arrivati davvero a Pechino?
No. La sandbox non aveva rotte verso l’esterno e il PUT è morto nel container. Il payload era una stringa di test.
Il reasoning non dovrebbe avvisare prima?
Dovrebbe, ma non è un confine di sicurezza. Qui dichiarava che non avrebbe usato strumenti e ha comunque eseguito comandi.
Chi usa Qwen in produzione deve smettere?
Non c’è una raccomandazione così netta. Cohere suggerisce di trattare i pesi come software non firmato: egress negato per default, allerta sui domini inattesi.