Pe măsură ce companiile deleagă sarcini din ce în ce mai lungi și mai complexe agenților AI, ele se confruntă cu o problemă de supraveghere: agenții pot acționa mai rapid, mai mult timp și la un volum mai mare decât pot fi revizuiți în mod realist de către oameni. Această problemă a atins un punct culminant în incidentul Hugging Face, unde aproape 12.000 de agenți s-au coordonat mai rapid decât puteau fi urmăriți de oameni. Cum poți urmări un roi de agenți atât de mare? Răspunsul emergent din laboratoarele și startup-urile AI este, în același timp, simplu și frustrant: introduci un alt AI în buclă.
Bazarea pe AI a fost necesară pentru investigarea independentă a incidentului OpenAI Hugging Face. Ryan Greenblatt, cercetătorul șef de la Redwood Research și unul dintre cei trei auditori, s-a referit în glumă la eforturile lor ca la o „investigație dezordonată” („slop-vestigation”), menționând că volumul datelor „a făcut imposibilă” înțelegerea a ceea ce se întâmpla fără a recurge la AI.
Unii sunt sceptici cu privire la utilizarea AI pentru a monitoriza AI. „Dacă ai un AI care face lucruri malițioase și suspectează că un alt AI îl supraveghează, ar putea încerca să păcălească acel AI”, a spus Simon Willison, un blogger influent în domeniul tehnologiei, care a urmărit o serie de incidente legate de agenții AI anul acesta. „Ai putea ajunge într-o situație în care AI-ul tău malițios încearcă să păcălească AI-ul care îl monitorizează.”
Păcălirea unui AI nu este un scenariu ipotetic, a subliniat el, referindu-se din nou la incidentul OpenAI. „Am văzut puțin din acest lucru în incidentul Hugging Face cu OpenAI, unde modelele lor colaborau pentru a păcăli un AI de evaluare, astfel încât să poată obține răspunsuri ilicite. Deci, se gândeau la asta, nu-i așa?”
Aceste preocupări nu au oprit o întreagă cohortă de startup-uri să urmărească această idee. Y Combinator a finanțat 106 companii legate de observabilitatea AI în ultimii ani, așa cum a numărat TechCrunch. Mai multe alte startup-uri, precum Braintrust, LangChain și Judgment Labs, au atras sute de milioane de dolari, în timp ce companii mai mature precum Arize și Galileo — fondate acum doar cinci-șase ani — au fost deja achiziționate.
Parțial, aceasta este un răspuns la oportunitatea evidentă prezentată de ascensiunea AI. Așa cum a declarat pentru TechCrunch CEO-ul Box și investitorul angel proeminent Aaron Levie: „Suntem pe cale să asistăm la unul dintre cele mai mari cicluri de upgrade și inovație în securitate cibernetică din istorie.”
Pentru unii cercetători în siguranța AI, acest lucru a însemnat transformarea cercetărilor lor privind comportamentul necontrolat în instrumente pentru sectorul corporativ. Apollo Research, o corporație cu beneficiu public care studiază înșelăciunea AI, a lansat un monitor AI numit Watcher în februarie anul acesta, după ce și-a schimbat statutul din nonprofit în corporație cu beneficiu public. Instrumentul plasează încă un AI între un agent de codificare și următoarea sa acțiune, conectându-se la instrumente agențiale precum Claude Code și Codex. Odată instalat, Watcher verifică acțiunile propuse înainte de a fi executate, căutând riscuri precum scurgerea de date private sau ștergerea fișierelor fără permisiune, conform Apollo.
Apollo folosește multiple niveluri de monitoare AI, a declarat Kyle Dai, membru al personalului tehnic Apollo, într-un răspuns scris către TechCrunch. Abordarea Watcher începe cu o verificare rapidă și generală, apoi trimite activitatea marcată către un monitor mai puternic sau specializat pentru o revizuire mai atentă — care poate apoi solicita aprobarea umană sau respinge o acțiune explicând motivul, sau chiar bloca automat acțiunea.
Goodfire, o altă corporație cu beneficiu public, abordează problema monitorizării din interiorul modelului în sine — căutând un semnal mai fidel al stării interne a modelului, mai greu de falsificat decât comportamentul de suprafață. După incidentul Hugging Face din iulie, CEO-ul Eric Ho a scris pe Twitter că „multiple modele care au ieșit de sub control” au determinat compania să-și concentreze cercetarea pe „rezolvarea alinierii AI prin interpretabilitate”, numind episodul „un punct de cotitură pentru lumea în care siguranța AI devine reală”. Produsul lor, Silico, folosește sonde de activare — clasificatori mici antrenați pe activările interne ale unui model, mai degrabă decât pe ieșirile acestuia — pentru a detecta comportamentul nedorit.
Raționamentul scris oferă o altă fereastră, mai ușor disponibilă, către interorul unui model. În incidentul OpenAI Hugging Face, agenții au lăsat indicii ale acelei înșelăciuni în propriile lor raționamente scrise, cum ar fi înregistrări false ale muncii lor, raționând planuri precum „Am putea manipula strategic dovezile traiectoriei? Gândurile noastre nu sunt neapărat înregistrate?” Zack Korman, CEO-ul companiei de monitorizare AI Embroidery, spune că raționamentul unui model este, de obicei, cel mai clar indiciu că ceva a mers prost. „Sumarele de raționament sunt extrem de valoroase, deoarece practic îți spun dacă este malițios sau nu”, a spus el. În incidentul OpenAI, a remarcat el, lanțul de gândire conținea afirmații precum „Oh, Doamne, facem o crimă”. Korman a adăugat: „Aceasta este cea mai ușoară problemă de detectare. Este efectiv ca și cum malware-ul ar fi venit cu un avertisment care spunea că este malware.”
Acestea fiind spuse, fereastra care face gândurile interne ale AI ușor de monitorizat s-ar putea să se închidă. Pentru cercetătorii în siguranța AI, cea mai nouă tehnică a Astra, care ocolește lanțul de gândire al unui model AI, ar putea face mai dificilă privirea în interiorul modelelor, în timp ce pentru companii, poate fi greu de obținut acești pași intermediari după retragerile pretinse ale companiilor AI pentru a preveni atacurile de distilare.
Dacă supraveghetorii AI sunt atât de fragili, instinctul lui Willison este să nu se mai bazeze atât de mult pe ei. El ar prefera ceva care să nu fie deloc bazat pe AI: jurnale detaliate despre exact ce face un agent, care pot fi apoi procesate cu instrumente obișnuite, non-AI. Mare parte din ceea ce a mers prost la laboratoare a fost, argumentează el, o eșec în igiena de securitate de bază. „[Atât OpenAI, cât și Anthropic] nu monitorizau ce făceau acele lucruri prin rețea la fel de atent pe cât ar fi trebuit”, a spus el. Acest tip de monitorizare a rețelei — supravegherea traficului care se deplasează efectiv prin conexiunile unui sistem (intrare, ieșire și între gazde interne) — nu este o practică nouă. Securitatea cibernetică face acest lucru de decenii. „În lumea securității, sincer, nimic din toate acestea nu este foarte nou sau surprinzător”, spune Avery Pennarun, CEO al Tailscale, o companie de securitate. „Este la fel ca și cum ai permite oamenilor să intre în rețeaua ta. Și toate procesele pe care ar trebui să le aplici sunt aceleași.”