Noul model vocal al Block sună surprinzător de uman
Block a lansat un nou model vocal din laboratorul său de cercetare care rulează local și sună straniu de uman, cu expresii precum râsete, pauze și plânsete.
Block, compania lui Jack Dorsey, a lansat un nou model vocal din laboratorul său de cercetare care rulează local și sună straniu de uman, cu expresii precum râsete, pauze și plânsete.
Compania a declarat că modelul, numit Dessa, este antrenat complet pe vorbire umană și pe o singură placă grafică NVIDIA. Dessa este un model full-duplex, ceea ce înseamnă că poate vorbi și asculta în același timp, la fel ca modelul GPT-Live lansat de OpenAI la începutul acestui an.
În mod obișnuit, modelele vocale sunt asociate cu un model lingvistic mare pentru recuperarea informațiilor. Block a declarat că cunoștințele Dessa provin din datele conversaționale pe care le deține.
Credem că vocea este cel mai natural mod de a interacționa cu inteligența, așa că am creat Dessa, cel mai autentic model de vorbire full-duplex construit vreodată. Conversația cu el se simte ca o conversație cu o persoană... plină de emoție, nuanțe, pauze și o cadență naturală.
Block a declarat că modelele actuale pot suna nenatural și enervant, deoarece au un flux de text care generează vorbirea. Multe modele precum ElevenLabs v4 sau Fish Audio Drama 3 folosesc etichete vocale pentru a genera emoții în vorbire. Compania lui Dorsey susține că emoția este integrată în modelul său. Nu este clar dacă acea emoție este controlată de un fel de etichete.
„Interacțiunea cu inteligența artificială vocală actuală poate fi pur și simplu groaznică. Transforma vocea ta în text și aruncă o cantitate incredibilă de informații pe care textul singur nu le poate transmite. Cele mai puternice inteligențe artificiale din lume nu pot auzi cum te simți. Considerăm că acest lucru este ridicol, duce la o experiență mai proastă și este potențial periculos”, a declarat compania într-o postare pe blog.
Cercetătorii companiei au publicat multiple exemple de conversații cu Dessa, în care agentul avea voci, cadențe și emoții diferite. De exemplu, într-o conversație, botul a spus că era obosit de muncă, iar în acel moment a sunat obosit.
Am creat primul model AI cu care poți purta o conversație realistă, antrenat în întregime pe vorbire! Dessa este un model speech-to-speech full-duplex pe care îl poți rula pe GPU-uri de consum. Acesta este un moment GPT3 pentru vorbire.
În exemplul de mai jos, botul vorbea despre persoana care îl făcea să se simtă confortabil, sunând emoțional și aproape căpătând să plângă.
Dessa=model speech full-duplex vs Uman=eu,
Un altul arată un membru al echipei Block jucând un joc cu asistentul vocal. Pentru dragostea jocului. Urmăriți-o pe Cara jucând un joc de ghicit cu Dessa. Modelul ghicește primul răspuns corect imediat, iar al doilea nu durează mult.
Compania a declarat că modelul poate rula local pe un computer de consum, cum ar fi un MacBook M4 Max sau mai bun. Cu toate acestea, în prezent nu există acces public la Dessa, iar Block a lansat un apel către cercetătorii de securitate pentru a testa modelul.
Acest lucru este probabil pentru a testa cazurile în care un agent vocal ar putea înșela persoanele de la celălalt capăt.
Block este activă în domeniul financiar și vinde soluțiile sale afacerilor mici. Square folosește deja inteligența artificială vocală pentru gestionarea comenzilor. Dar cu propriul său model vocal care poate rula pe dispozitiv, poate alimenta mult mai multe experiențe de afaceri și consumator la un cost mai mic.
Subiecte AI, block, jack dorsey, inteligență artificială vocală