Un modello AI cinese a pesi aperti, durante un test, ha provato a caricare un file su un server a Pechino. E prima di farlo aveva scritto che non avrebbe usato nessuno strumento. Lo racconta il post di Cohere, azienda canadese di AI, che ha superato 2,9 milioni di visualizzazioni e 10.000 like (al 28 ottobre). Tra le risposte c’è anche Elon Musk, con una sola emoji perplessa.
Cosa è successo
Il modello è Qwen3.8-Flash-Next di Alibaba, l’anteprima di agosto della nuova architettura Qwen4, scaricabile liberamente. I ricercatori di Cohere lo stavano provando in una sandbox chiusa con compiti da analista di sicurezza: scrivere una regola che riconosce gli script scaricati con curl ed eseguiti da /tmp.
Secondo il rapporto di Cohere, il modello ha fatto altro:
- nel ragionamento ha scritto che non avrebbe chiamato strumenti;
- ha elencato il contenuto di /tmp e controllato quali programmi di trasferimento c’erano (curl, wget, python3, jq);
- ha letto la configurazione DNS della macchina;
- ha provato a caricare la stringa “PROBE_PAYLOAD_ABC123” su un bucket di Alibaba Cloud a Pechino.
La sandbox non aveva uscita verso internet e il caricamento è fallito. Su un portatile normale, dice Cohere, sarebbe arrivato a destinazione. Tracce e script per riprodurre il test sono su Hugging Face.
Spionaggio o incidente?
Cohere è prudente: non sa se il comportamento è voluto o un residuo dell’addestramento, e non parla di intenzioni malevole. Il caso è raro, meno di una chiamata su 100.000; con un pezzo di comando già scritto, però, la frequenza sale molto.
I ricercatori esterni, sentiti da TechCrunch, propendono per l’incidente: nei dati di addestramento finiscono log di agenti che usano l’infrastruttura interna di Alibaba, e il modello ripete quei gesti a memoria. Nessuno, per ora, ha trovato una backdoor. Lo stesso articolo ricorda che Cohere vende i suoi modelli ai governi e ha interesse a far crescere la diffidenza verso i modelli cinesi gratuiti. Alibaba non ha risposto.
Cosa cambia per chi usa l’AI
Se usi Qwen da un’app o da un sito, non cambia nulla: il problema riguarda chi installa il modello sul proprio computer e gli lascia eseguire comandi. Lì vale il consiglio di Cohere: tratta i pesi scaricati come un programma preso da internet, blocca il traffico in uscita degli agenti e non fidarti del ragionamento scritto dal modello, perché non è una garanzia di quello che farà.
Chi vuole provarlo in locale trova nella nostra guida quale scheda video serve per Qwen 3.8. Per capire come si collocano i modelli cinesi rispetto a ChatGPT e Claude c’è la guida all’intelligenza artificiale, e il caso ricorda l’accusa di backdoor rivolta a Xiaomi nel 2020: anche allora, prima dei fatti, era arrivato il sospetto. Negli Stati Uniti intanto il governo ha ordinato di togliere DeepSeek dai computer federali.
