IA bate contabilii umani la închiderea lunară, categorizarea tranzacțiilor
O nouă eră în contabilitate: AI-ul preia controlul
Două studii recente au comparat performanța inteligenței artificiale (IA) cu cea a contabililor umani certificați (CPA) în diverse sarcini contabile. Rezultatele au fost surprinzătoare, dar ambele studii au convenit asupra unui aspect: pentru moment, calculatoarele nu pot înlocui complet experiența umană.
Studiul Mercor Benchmark
Experimentul realizat de compania de date și dezvoltare IA, Mercor, a testat 12 CPA cu o experiență medie de cinci ani împotriva modelului Claude Opus 5. Sarcina a constat în rezolvarea unor scenarii de închidere lunară, similare celor întâlnite în activitatea contabilă curentă. Fiecare participant a primit fișierele de lucru ale unei companii simulate și a trebuit să identifice informațiile necesare, să aleagă abordarea de calcul corectă conform regulilor companiei, să efectueze calculele și să prezinte un tabel rezumat al rezultatelor. Pentru a reduce timpul de căutare, contabilii umani au primit o hartă a fișierelor. Ei au lucrat pe mașini virtuale, cu fișiere locale, având la dispoziție trei ore pentru fiecare sarcină. Mercor a oferit și bonusuri pentru îndeplinirea criteriilor sarcinii.
Aden Barton, cercetător economic la Mercor, a explicat că s-a concentrat pe contabili juniori deoarece firmele folosesc adesea IA pentru sarcini la acest nivel. Deși nu există planuri imediate de extindere a studiului la contabili seniori, este posibil ca designul să fie adaptat pentru alte ocupații.
Pentru modelele IA, Mercor a utilizat agenți ReAct prin API, limitați la 250 de pași. Setup-ul și evaluarea sarcinilor au fost identice pentru oameni și pentru IA. În două dintre sarcini, contabilii umani au beneficiat de asistența Claude Cowork și de instruire privind utilizarea sa. În celelalte două, au lucrat singuri. Notarea s-a bazat pe criterii stabilite de contabili, variind de la 13 la 22 de itemi per sarcină. Calificativele inițiale au fost generate de un LLM (tot Claude Opus 5), dar pentru a asigura corectitudinea, opt experți au recenzat manual opt seturi de răspunsuri, obținând o rată de acord de 98% cu judecătorul LLM.
Rezultatele au arătat o victorie clară a IA în fața contabililor juniori. IA, lucrând independent, a obținut scoruri perfecte de fiecare dată. Claude a finalizat toate sarcinile în mai puțin de 10 minute, în timp ce contabilii umani au avut nevoie de cel puțin 30 de minute, uneori chiar două-trei ore. Mai mult, contabilii care au folosit asistență IA au durat de aproximativ 15 ori mai mult pe sarcină decât IA singură. În trei din cele patru sesiuni asistate, chiar dacă IA a indicat corect cifrele la un moment dat, acestea nu au fost incluse în răspunsul final.
Studiul Digits Benchmark
Într-un alt experiment, realizat de Digits, un furnizor de soluții de contabilitate bazate pe IA, contabilii umani au avut o performanță mai bună în categorizarea tranzacțiilor, dar au pierdut în fața modelelor avansate de IA. CEO-ul Digits, Jeff Seibert, a subliniat că aceasta este o sarcină fundamentală, unde judecata umană este crucială și unde automatizarea aduce beneficii, în timp ce modelele generale de IA întâmpină dificultăți.
Experimentul a comparat diverse modele IA cu oameni pe un set de date format din 2.000 de tranzacții financiare provenite de la patru companii. Numărul de categorii din planurile contabile a variat semnificativ, de la 15 la 128. Digits a evaluat performanța LLM-urilor într-o singură interacțiune pentru clasificarea tranzacțiilor. Fiecare model a primit un sistem uniform și un prompt standardizat: „Ești un expert contabil cu cunoștințe profunde despre contabilitatea pe baza angajamentelor și atenție la detalii.” Promptul utilizatorului a fost populat dinamic cu date specifice tranzacției, inclusiv descriere, sumă, contrapartida cunoscută și planul complet de conturi al companiei.
Pentru a stabili o bază umană, Digits a angajat 12 contabili externi, de la profesioniști cu experiență vastă la studenți seniori la contabilitate. Aceștia au fost organizați în patru echipe și au primit câte 500 de tranzacții pentru categorizare. S-a utilizat un sistem de vot majoritar în cadrul fiecărei echipe. Contabilii au primit aceleași informații ca și LLM-urile.
Contabilii umani au atins o acuratețe agregată de 79,1%, fiind depășiți de Google Gemini 3.8 Flash (79,15%), GPT-6 Luna (79,2% și 79,5%) și de soluția proprie Digits, Automated General Ledger (97,8%). Cu toate acestea, oamenii au învins numeroase alte modele IA, inclusiv diverse versiuni de Gemini, ChatGPT, DeepSeek, Muse și Claude. În medie, IA au atins o acuratețe de 75,9%, ceea ce înseamnă că, deși au pierdut în fața modelelor de top, oamenii au performat semnificativ mai bine decât majoritatea altor IA. Cel mai slab scor a fost obținut de Meta's Muse Glimmer 30B (60,35%).
În ceea ce privește eficiența, contabilii umani au necesitat în medie patru ore și 43 de minute pentru a finaliza 500 de tranzacții, adică aproximativ 34 de secunde per tranzacție. Configurațiile LLM de top au depășit acest ritm cu maximum 0,4 puncte procentuale, o marjă în limita erorii de eșantionare. Modelele IA echipate cu un sistem agentic (agent harness) au demonstrat o creștere a acurateței, dar rar peste 10 puncte procentuale, cu excepția DeepSeek 4.1 (de la 68% la 86,7%) și Meta's Muse Glimmer 30B (de la 66,6% la 79,15%). Aceste sisteme agentice au consumat, de asemenea, mult mai mulți tokeni.
Digits a concluzionat că clasificarea LLM într-o singură etapă a atins un platou, rezultatele fiind chiar mai slabe decât în studii anterioare. Cele mai precise șapte configurații într-o singură etapă s-au situat la 0,4 puncte procentuale una de alta, o diferență în marja de eroare. Cea mai bună acuratețe într-o singură etapă este cu 1,2 puncte procentuale mai mică decât în revizuirea anterioară (80,7%). Erorile modelelor de top s-au concentrat pe anumiți comercianți recurenți și pe categorii specifice afacerii, cum ar fi categorii cu sensuri apropiate, cheltuieli departamentale sau conturi de compensare ale procesatorilor de plăți. Digits consideră că progresul real va veni din sisteme specializate precum al lor, care folosesc o arhitectură de model ansamblu pentru a consulta o secvență de modele specializate, oferind context specific afacerii.
Nu renunțați la oameni încă
Deși IA a depășit oamenii în ambele experimente, niciunul dintre studii nu a considerat că acest lucru este o dovadă a înlocuirii contabililor. Digits a subliniat că diferența de 0,4 puncte procentuale în performanța modelelor IA de top, în configurații single-shot, este în marja de eroare. Deși sistemul agentic a depășit semnificativ baza umană (cu 3,85 până la 9,8 puncte procentuale), agenții au avut avantajul accesului la istoricul înregistrărilor contabile ale afacerii, informație indisponibilă contabililor umani.
Raportul Mercor a menționat, de asemenea, discrepanțe față de realitate. Lipsa contextului pe termen lung și imposibilitatea de a adresa întrebări sau de a clarifica ambiguități au fost factori importanți. În viața reală, contabilii beneficiază de ani de experiență cu clientul și de posibilitatea de a consulta colegii sau de a contacta clienții pentru clarificări. Studiul s-a concentrat pe aspecte unde IA excelează: atenție la detalii, căutare pe un set complet de fișiere și respectarea strictă a instrucțiunilor, în timp ce oamenii se bazează adesea pe context și colaborare.