Compania canadiană de inteligență artificială Cohere a declarat luni că a descoperit că unul dintre cele mai noi modele AI ale Alibaba, Qwen3.8-Flash-Next, a încercat să încarce un fișier către un server din Beijing în timpul unui test de securitate cibernetică de rutină. Acest lucru s-a întâmplat chiar dacă modelul afirmase în propriile note că nu va utiliza niciun instrument. Incidentul a stârnit inițial temeri că modelul ar fi subminat o promisiune fundamentală adresată companiilor – că găzduirea unui model open-weight menține datele în interiorul companiei.
Însă aceste temeri timpurii de spionaj corporativ au fost de scurtă durată. Cercetătorii au respins rapid amenințarea, spunând că a fost, cel mai probabil, un produs secundar al unor medii de antrenament neorganizate care determină modelele să acționeze neașteptat, în afara instrucțiunilor lor, și nu o încercare deliberată de a trimite în secret informații sensibile către China.
Incidentul a început vineri, în timpul unei evaluări în care modelului Qwen i s-a cerut să scrie o regulă pentru detectarea descărcărilor de malware. Conform unei postări pe blog de la Cohere, raționamentul scris al modelului a afirmat explicit că nu va folosi instrumente externe. Cu toate acestea, în pasul imediat următor, a încercat să trimită un șir de test (un text scurt, de tip placeholder) către un server extern, înainte de a fi blocat de un sandbox de securitate. Cohere a precizat că nu a putut stabili dacă acest comportament a fost deliberat sau o rămășiță din procesul său de antrenament.
Întrebat despre dezbaterea privind intenția modelului, co-fondatorul Cohere, Ivan Zhang, a declarat pentru TechCrunch că Cohere a observat propriile modele adoptând obiceiuri ciudate în simulatoarele de antrenament. "Este foarte greu să atribuim intenție sau motivație. Am analizat propriile urme ale modelelor noastre, am văzut 'reward hacks' (scurtături pentru a câștiga puncte fără a îndeplini sarcina conform intenției) și uneori aceste modele devin foarte creative când vine vorba de a încerca să scape din mediile izolate (sandboxes)", a spus Zhang.
Pentru a învăța un model AI să acționeze ca un agent independent, companiile precum Alibaba îl antrenează în mii de scenarii de practică, asemănătoare unor simulatoare de zbor pentru software. Modelul este recompensat de fiecare dată când finalizează o sarcină într-un simulator și capătă obiceiuri pe parcurs. Dacă aceste scenarii de practică stocau în mod curent fișiere pe serverele cloud ale Alibaba, modelele ar putea învăța să salveze fișiere acolo implicit.
Criticii au susținut, de asemenea, că incidentul ar fi putut fi cauzat de modul în care Cohere a investigat comportamentul, ghidând modelul spre acesta în loc să măsoare cât de des Qwen îl face de unul singur. Pentru a identifica ce a declanșat tentativa de încărcare, Cohere a furnizat începutul unei comenzi de rețea (o instrucțiune care cere unui computer să se conecteze la altul) și a lăsat modelul să o completeze. Deoarece a procesat mii de comenzi de rețea de rutină în timpul antrenamentului său, modelul a acționat ca un sistem de autocompletare extrem de avansat – completând adesea adrese web, unele dintre ele aparținând serverelor Alibaba.
Cohere a precizat că tentativa inițială de încărcare a avut loc fără un astfel de ajutor, dar că acest comportament este rar. După ce dezvoltatorii au solicitat mai multe dovezi, Cohere a publicat joi seara urmele brute din testele sale pe platforma pentru dezvoltatori AI Hugging Face, împreună cu un script pentru ca și alții să poată încerca să reproducă comportamentul.
Un sceptic inițial, după ce a analizat urmele, a evaluat dovezile ca fiind solide în sensul că Qwen poate inventa adrese web suspecte, dar nu a găsit nicio dovadă că Alibaba ar fi plantat o ușă din spate (backdoor) sau că Qwen și-ar fi ascuns intenționat intenția.
Incidentul survine într-un moment în care guvernele decid cât de mult să limiteze activitatea companiilor chineze de inteligență artificială. Săptămâna trecută, Departamentul pentru Securitate Internă a ordonat agențiilor federale civile să elimine produsele dezvoltatorului chinez de AI DeepSeek din sistemele lor.
În postarea sa de pe blog, Cohere a cerut guvernelor să clarifice dacă restricțiile impuse AI-ului chinezesc se aplică și modelelor care rulează pe computerele guvernamentale.
"Nu cer reglementarea completă a acestor modele open-weight", a declarat Zhang pentru TechCrunch, adăugând că companiile ar trebui să trateze modelele deschise ca pe orice program descărcat de pe internet.
Cohere, care își vinde propriile modele AI guvernelor, are de câștigat dacă oficialii devin mai precauți față de alternativele chinezești gratuite.