Izražavanje digitalnog lika poput prave osobe i dalje je trn u oku mnogim 3D igrama i aplikacijama. S otvaranjem Audio2FaceNVIDIA pruža programerima i studijima izravan put do pouzdane sinkronizacije glasa i gesta lica, kako u stvarnom vremenu tako i u offline produkciji.
Novost nije sama sinkronizacija, već način pristupa: alat postaje otvoreni kod (Apache 2.0), tako da svatko može procijeniti, integrirati i prilagoditi komponente bez licencnih prepreka. To olakšava velikim i malim timovima vođenje izražajniji avatari bez zamornih ručnih procesa animacije.
Što je Audio2Face i koje promjene donosi jer je otvorenog koda?
Audio2Face koristi generativni AI analizirati govorne značajke - foneme, intonaciju, pa čak i emocionalne nijanse - i pretvoriti ih u podatke animacije lica. Sustav sinkronizirajte usne, obraze i obrve točno, bilo da se radi o prijenosima uživo ili unaprijed renderiranim scenama.
Prilikom otvaranja projekta s Licenca Apache 2.0, tvrtka omogućuje besplatan pristup kodu, modelima i alat, što ubrzava eksperimentiranje, omogućuje tehničke revizije i potiče doprinose akademske i industrijske zajednice. Drugim riječima, manje trenja u testiranju, iteraciji i implementaciji.
Cilj je jasan: pružiti kvalitetnu animaciju lica većem broju videoigre, 3D aplikacije i digitalna iskustva, smanjujući troškove i vrijeme proizvodnje bez žrtvovanja ekspresivnih detalja.
Sve što je NVIDIA izdala: SDK, modeli i obuka
Tvrtka je objavila Audio2Face SDK s bibliotekama i dokumentacijom za pokretanje animacije na uređaju ili u oblaku. Postoje i referentni dodaci koji pojednostavljuju proces za motore i softver koji se široko koristi u industriji.
Paket uključuje modele regresija (v2.2) i difuzija (v3.0) orijentiran na sinkronizacija usana, pored modela Audio2Emotion (produkcijska v2.2 i eksperimentalna v3.0) sposobna za zaključivanje emocionalnih stanja iz zvuka.
Za one koji ga trebaju ponijeti na svoje polje, Okvir za obuku (v1.0) i uzorke podataka. To omogućuje prilagodbu modela jezici, naglasci ili stilovi prevođenja specifične, pa čak i različitim «zbrinjavanje otpada»tretmani lica.
Ponuda je upotpunjena službenim dodacima za Autodesk Maya (v2.0) y Unreal Engine 5 (v2.5, kompatibilan s UE 5.5 i 5.6), dizajniran za integraciju u profesionalne tijekove rada bez ponovnog izmišljanja kotača.
Integracija s UE5 i Mayom, performanse i zahtjevi
NVIDIA-in pristup je da gotovi dodaci i primjeri za brzi početak rada u Unreal Engineu 5 i Mayi, s testnim scenama i vodičima koji pomažu u validaciji rezultata od prvog dana.
Izvršenje se može izvršiti u stvarnom vremenu ili u offline način rada, ovisno o projektu. Iako se preporučuje GPU ubrzanje, programeri mogu razmotriti različite konfiguracije, dajući prioritet kvaliteti, latenciji ili cijeni ovisno o slučaju upotrebe.
Zahvaljujući okviru za obuku, tehnički timovi mogu specijalizirati sustav za dodatni jezici i govorne varijante, što je ključno ako tražite vjerodostojnu sinkronizaciju usana na više tržišta.
Budući da je dio AI ekosustava brenda — s rješenjima kao što su ACE, Edify i RTX NIM-ovi—, Audio2Face se uklapa u moderne cjevovode koji kombiniraju generiranje, interakciju i animaciju.
Usvajanje i stvarni slučajevi u industriji
Tehnologija je već prisutna u komercijalnim projektima i alatima trećih strana. Farma 51 Koristi ga u filmu Černobil 2: Zona isključenja, i Survios je optimizirao svoj facijalnu obradu u igri Alien: Rogue Incursion Evolved Edition kako bi postigao impresivnije scene.
U području kreativnog softvera, Reallusion integriran Audio2Face u iClone i Character Creator, kombinirajući ga s AccuLip i funkcije lutkarstva lica za napredno uređivanje.
Osim toga, studije i pružatelji usluga kao što su Codemasters, NetEase, Perfect World Games, GSC Game World, Convai, Inworld AI, Streamlabs y UneeQ Digital Humans su među onima koji usvajaju ili integriraju ovo rješenje.
Njegov opseg nije ograničen na tradicionalne igre: postoje slučajevi u mediji, zabava i korisnička podrška, gdje ekspresivni avatari i interakcija u stvarnom vremenu dodaju vrijednost i podršku.
Alternative, zajednica i sljedeći koraci
Audio2Face nije jedina opcija na tržištu. U Unreal ekosustavu, OVR Lip Sync i njegova integracija s MetaHuman Creatorom nude valjane putove, iako nisu otvorenog koda i obično zahtijevaju ručne postavke za savršeno uklapanje u svaki projekt.
Ključna razlika je u otvaranju: s kod, modeli i dostupna obuka, NVIDIA-ina ponuda omogućuje doprinose, revizije i prilagodbe, uz plan razvoja koji vodi zajednica.
Tvrtka potiče razvojne programere, studente i istraživače na suradnju putem Audio2Face Discord server, dijeliti napredak i predlagati poboljšanja za nove slučajeve upotrebe.
Za timove koji još uvijek oklijevaju, početna točka je jasna: testirati UE5 i Maya dodaci, procijenite latenciju i kvalitetu te, ako je potrebno, trenirajte s vlastitim podacima kako biste usavršili sinkronizaciju usana na jezicima i stilovima potrebnim za svaku produkciju.
Prelaskom na otvoreni kod, ova tehnologija se bolje uklapa u ograničene proračune i omogućuje većem broju studija da svoje likove podignu na razinu... ekspresivnost i sinkronizacija što je prije zahtijevalo više resursa. Pragmatičan potez koji bi mogao ubrzati usvajanje sinkronizacije usana pomoću umjetne inteligencije u svim vrstama interaktivnih iskustava.
