Inilabas ng Google DeepMind ang Genie 4 na may Live na Audio, mga Interaktibong Tauhan at Mas Makatotohanang mga Mundo

Mga virtual na mundong tumutugon sa mga larawan, galaw at tunog

Inilabas ng Google DeepMind ang Genie 4, isang eksperimental na modelo ng artificial intelligence na lumilikha ng mga interaktibong virtual na mundo na may tunog, pasalitang diyalogo at nagbabagong pisikal na kapaligiran. Inanunsyo ito noong Oktubre 27, oras sa US. Sa ngayon, limitado muna ang paggamit nito sa maliit na grupo ng mga pinagkakatiwalaang tagasubok. Plano ring magbigay ng access sa pamamagitan ng Project Genie, Gemini API at Google AI Studio.

Ayon sa Google, napapanatili ng Genie 4 ang pagkakapare-pareho ng isang eksena nang hanggang dalawang minuto, doble ng humigit-kumulang isang minutong naiuugnay sa nauna nitong bersyon, ang Genie 3. Sa panahong iyon, maaaring gumalaw ang mga user sa isang kapaligiran, magbago ng panahon, magdagdag ng mga tao o bagay, at marinig ang tugon ng mga tauhan sa mga nangyayari.

Ganito inilarawan ni Sundar Pichai, punong ehekutibo ng Alphabet at Google, ang modelo nang ipahayag niya ang preview para sa pananaliksik:

ang aming pinakamakatotohanan at pinakainteraktibong modelo ng mundo

Ang pinakamalaking dagdag ay ang native na audio, ibig sabihin, bahagi na ng ginagayang karanasan ang paglikha ng tunog sa halip na idagdag ito pagkatapos. Maaaring sabayan ng hangin, alon, musikang panglikuran at usapan ang pagbabago ng isang mundo. Inaangkin din ng Google na napahusay ang galaw ng tao at ang paggaya sa mga pisikal na epekto gaya ng banggaan at aerodynamics, o kung paano naaapektuhan ng hangin ang mga gumagalaw na bagay.

Itinatampok ng Google ang teknolohiyang ito para sa pagpaplano ng pelikula, pagbuo ng laro, edukasyon, at pagsasanay sa mga robot o AI agent bago sila gamitin sa totoong kapaligiran. Praktikal din ang mga limitasyon nito sa ngayon: panandalian lamang ang mga eksena, maaaring magbago nang di-inaasahan ang mga bagay, mahirap basahin ang mga salitang nasa loob ng eksena, at hindi pa ganap na nalulutas ang katumpakan ng audio.

Pagkakaiba ng isang interaktibong mundo sa nalikhang bidyo

Nagsisimula ang Genie sa isang paglalarawan sa teksto o larawan at lumilikha ng kapaligirang maaaring galugarin ng mga user. Sinusundan ng karaniwang nalikhang bidyo ang isang pagkakasunod-sunod na pinanonood ng mga tao. Samantala, patuloy na nililikha ng isang world model ang susunod na mangyayari bilang tugon sa mga kilos nila.

Sa pamamagitan ng mga kontrol sa keyboard, maaaring gumalaw ang mga user at iposisyon ang kamera. Maaaring baguhin ng nakasulat na mga tagubilin ang kapaligiran habang tumatakbo ito, gaya ng pagpapalit ng panahon, pagdaragdag ng tauhan o pagbabago ng tanaw ng kamera. Pagkatapos, kailangang lumikha ang sistema ng mga susunod na larawan upang ipakita ang mga pagbabagong iyon.

Inilalarawan ito ng Google bilang paglikha ng karanasan kada frame. Sa halip na paunang ihanda ang bawat posibleng interaksiyon, hinuhulaan ng modelo kung paano dapat magpatuloy ang eksena kapag kumilos ang isang tao rito.

Dahil dito, mahalagang hamon ang pagpapanatili ng pagpapatuloy. Kailangang tandaan ng isang kapaki-pakinabang na simulasyon kung nasaan ang mga bagay, paano gumagalaw ang mga tao at ano na ang nangyari. Hindi gaanong kapaki-pakinabang ang isang eksenang mukhang kapani-paniwala sa isang sandali kung nagbabago naman ang ayos nito kapag lumingon ang user.

Isinasama ng audio ang mga tauhan sa interaksiyon

Nagdagdag ang Genie 4 ng mga tunog sa kapaligiran, musika at pananalita sa nagbabagong biswal na mundong iyon. Ayon sa Google, maaaring tumugma ang audio sa lokasyong nililikha, gaya ng ihip ng hangin sa mga puno o paghamabas ng mga alon sa dalampasigan.

Maaari ring magsalita ang mga tauhan bilang tugon sa mga input ng user at sa mga pangyayari sa loob ng simulasyon. Inaasahang magbabago ang kanilang diyalogo ayon sa sitwasyon, sa halip na sumunod sa nakapirming soundtrack. Maaaring tukuyin ng mga user sa kanilang mga prompt ang mga elemento ng audio, gayundin ang mga biswal na detalye.

Ayon sa Google, napahusay din ang mga pigura ng tao sa ibang paraan, kabilang ang mas natural na galaw at pagtugon sa kapaligiran. Maaaring baguhin ang kanilang mga kilos habang nagpapatuloy ang simulasyon, kaya nagagawa sa iisang interaksiyon ang pagkontrol sa kilos ng mga tauhan at pag-edit sa eksena.

Kinikilala ng pangkat na isa pa ring suliraning kailangang lutasin ang katumpakan ng audio. Para sa sinumang nagpaplano ng eksena o interaktibong pagsasanay, mahalagang manatiling angkop ang pananalita at mga tunog sa kapaligiran habang nagbabago ang kilos.

Si Gemini ang nagpaplano habang si Genie ang lumilikha

Mas malapit nang isinama ng Google sa Genie 4 ang pamilya nitong Gemini ng mga AI model. Magkakaiba ang kanilang tungkulin: nililikha ng Genie ang ginagayang mundo, habang tumutulong ang Gemini na gabayan ang mga pangyayari at tiyaking sumusunod ang resulta sa nilalayong plano.

Sinusuportahan ng Gemini Omni ang hitsura at gawi ng kapaligiran. Sinusubaybayan naman ng Gemini 3.8 Flash ang mga papasok na frame, hinahati ang mga layunin sa mas maliliit na hakbang, tinitingnan kung nagtatagumpay ang mga kilos at inaayos ang plano kapag nagbabago ang eksena o may nakikialam na user.

Sa madaling salita, nililikha ng isang bahagi ng sistema ang susunod na tanawin habang sinusubaybayan naman ng isa pa ang pag-usad tungo sa isang layunin. Layunin ng ganitong ayos na makatulong sa pagpapatuloy ng mga pangyayari sa makatuwirang pagkakasunod-sunod, lalo na kapag nangangailangan ang isang gawain ng ilang hakbang sa halip na iisang agarang tugon.

Ganito inilarawan ni Tejas Kulkarni, direktor ng pananaliksik sa Google, ang pangmatagalang pananaw ng kumpanya sa isang briefing:

Lalo nating makikita sa hinaharap ang mga hybrid na world model na pinagsasama ang Gemini na sumusulat ng code at teksto at ang Genie na tumatanggap niyon nang real time at gumagaya sa realidad sa iba't ibang antas ng abstraksiyon,

Sa iminungkahing kombinasyong ito, magtutulungan ang wika, code at biswal na simulasyon. Limitado pa ang ganitong paghahati ng mga tungkulin sa Genie 4 sa ngayon: tumutulong ang Gemini na gabayan ang isang mundong nililikha habang ginagalugad ito ng user.

Bakit nais ng Google na magsanay rito ang mga robot

Sinusubukan ng Google DeepMind kung paano makapagbibigay ang Genie 4 ng mga kapaligirang pagsasanayan para sa mga robot at AI agent. Ang agent ay software na kumikilos upang makamit ang isang layunin: pumipili ito ng mga kilos, sinusuri ang resulta at nagpapasya kung ano ang susunod na gagawin.

Sa isang eksperimento kaugnay ng Gemini Robotics, hinati ng Gemini 4 Argon ang mga gawain sa mga hakbang na ginaya ng Genie 4 nang real time. Layunin nitong siyasatin kung paano maisasagawa ng isang robot ang masalimuot na trabaho bago ito subukan sa pisikal na mundo.

Ayon sa Google, maaaring buuing muli ng mga virtual na kapaligiran ang mga sitwasyong mahirap maranasan o isaayos sa realidad. Maaaring baguhin ng mga developer ang mga kundisyon at suriin kung paano tumutugon ang isang agent nang hindi na kailangang muling magtayo ng pisikal na lugar ng pagsubok para sa bawat pagbabago.

Partikular na mahalaga sa ganitong gamit ang mga sinasabing pagpapahusay sa paggaya ng banggaan at aerodynamics. Kailangan ng pagsasanay ang maaasahang ugnayan ng isang kilos at ng resulta nito: halimbawa, kung paano gumagalaw ang isang bagay matapos itong matamaan, o kung paano tumutugon ang kapaligiran sa paggalaw. Kinikilala ng Google na hamon pa rin para sa modelo ang masalimuot na interaksiyong pisikal.

Mas agarang gamit ang pagpaplano ng pelikula

Tinutukoy ng mga pinagkakatiwalaang tagasubok ang pagbuo ng paunang bersiyon ng pelikula at mabilisang pagbuo ng storyboard bilang mga posibleng gamit. Inilalatag ng storyboard ang pagkakasunod-sunod ng mga kuha bago ang paggawa ng pelikula. Maaaring tulungan ng Genie 4 ang isang pangkat ng mga malikhaing propesyonal na galugarin ang mga posisyon ng kamera, kilos ng mga tauhan at pagbabago ng atmospera habang hinuhubog pa ang isang ideya.

Ganito ipinaliwanag ni Diego Rivas, isang inhinyero ng Google DeepMind, sa isang briefing sa midya kung bakit maaaring maging kapaki-pakinabang sa yugtong iyon ang mga agarang tugon:

Pinakamahalaga ang aspeto ng real time sa mga pagkakataong lubhang kapaki-pakinabang ang pagpapanatili ng tuloy-tuloy na daloy sa proseso ng pagkamalikhain,

Binanggit ni Rivas ang pagbuo ng mga ideya at storyboard bilang mga halimbawa. Bilis ang praktikal na pakinabang: maaaring baguhin ng isang lumikha ang eksena at galugarin ang resulta nang hindi humihinto para maghanda ng hiwalay na pagkakasunod-sunod para sa bawat pagbabago.

Nag-aalok din ang Google ng Veo, na lumilikha ng mga bidyong may magkakasabay na audio mula sa mga prompt. Binanggit ni Rivas ang posibleng paggamit sa hinaharap kung saan tutulong ang Gemini Omni na gawing malikhaing materyal ang mga prototype, ngunit sinabi rin niyang hindi pa ito malapit maisakatuparan.

Kabilang sa iba pang iminungkahing gamit ang paglalaro at interaktibong edukasyon. Ang pagkakatulad ng mga ito ay ang pagkakaroon ng eksenang tumutugon sa kalahok, sa halip na tapos na midyang pareho ang pag-play sa bawat pagkakataon.

Limitado pa rin ang dalawang minutong pagpapanatili ng pagkakapare-pareho

Ayon sa iniulat, tumatagal nang hanggang dalawang minuto ang pagkakapare-pareho ng Genie 4, doble ng humigit-kumulang isang minutong limitasyon ng Genie 3. Nagbibigay ito sa mga user ng mas maraming pagkakataong galugarin ang isang ideya, ngunit nililimitahan pa rin ang haba ng tuloy-tuloy na aktibidad.

Ayon sa Google, maaaring magbago-bago ang mga bagay at biswal na detalye habang tumatakbo ang simulasyon. Maaaring magbago ang hitsura o puwesto ng isang bagay, at maaaring hindi na matandaan ng sistema kung paano nagsimula ang eksena. Kaya nananatiling mahirap ang mas mahahabang sesyon kahit tumutulong ang Gemini na panatilihin ang pagpapatuloy.

Maaari ring hindi mabasa ang tekstong nalilikha sa loob ng isang mundo. Nagiging tiyak na problema ito para sa mga eksenang may karatula, tagubilin o iba pang tekstong kailangang basahin ng isang tao.

Inilalarawan ng Google ang Genie 4 bilang isang maagang eksperimental na modelo at nakikipagtulungan ito sa mga tagasubok mula sa iba't ibang larangan. Sinabi ni Rivas na inaalam pa kung ano ang magiging ganap na karanasan sa huling produkto. Sa ngayon, nakasentro ang kapaki-pakinabang na karanasan sa maiikling eksperimento, habang kailangan pang paghusayin ang pagpapatuloy ng mga biswal, pisikal na pagkilos at tunog.

Sino ang magkakaroon ng access, at magkano ang halaga nito?

Nagsimula ang research preview ng Genie 4 sa mga pinagkakatiwalaang tagasubok. Plano ng Google na palawakin ang access para sa mga consumer sa pamamagitan ng Project Genie para sa mga subscriber ng Google AI Ultra, at para sa mga developer sa pamamagitan ng mga partnership para sa maagang access gamit ang Gemini API at Google AI Studio.

Sinabi ng Google na malapit na ang pagpapalawak na ito at inaasahan ang paglulunsad sa mga susunod na linggo, ngunit wala pa itong itinakdang petsa. Tumatanggap na ang Project Genie ng mga pagpaparehistro sa waitlist. Magagamit ng mga developer ang API upang ikonekta ang modelo sa sarili nilang software, habang nagbibigay naman ang AI Studio ng lugar para subukan ang mga modelo ng Google.

Nagsisimula umano sa $100 kada buwan ang mga plano ng Google AI Ultra. Hindi pa inanunsyo ang hiwalay na presyo para sa mga developer na gagamit ng Genie 4. Napag-usapan ang access sa pamamagitan ng AI Pro at AI Plus bilang posibleng susunod na pagpapalawak, hindi bilang kumpirmadong bahagi ng paglulunsad.

Ayon sa Google, lalagyan ng SynthID ang nalikhang bidyo at audio. Ito ang digital watermark nito para matukoy ang nilalamang nilikha ng AI. Layunin ng pagmamarka na makatulong sa pagtukoy sa materyal na ginawa ng sistema habang dumarami ang gumagamit sa mga ginayang karanasang ito.

Mula Genie 3 hanggang sa mas malawak na paligsahan sa simulasyon

Kasunod ang Genie 4 ng sunod-sunod na hakbang upang maging mas madaling magamit ang mga world model ng Google bukod sa mga demonstrasyon sa pananaliksik:

• Agosto 2025: Inanunsyo ng Google DeepMind ang Genie 3.
• Enero 2026: Sinimulan ng Google ang pagsubok sa Project Genie gamit ang modelong iyon.
• Mayo 2026: Inanunsyo ng Google ang integrasyon sa Street View.
• Oktubre 27, oras sa US: Inanunsyo ng Google ang Genie 4 at ang paunang research preview nito.

Umabot na rin ang kompetisyon lampas sa mga tahimik na interaktibong eksena. Tumutugon ang GWM Worlds 2 ng Runway, na inilabas ilang buwan bago ang Genie 4, sa mga kilos ng user at may kakayahan ding lumikha ng audio.

Ipinakikita rin ng iba pang galaw sa industriya ang interes sa simulasyon para sa pagpapaunlad ng AI at mga pisikal na sistema. Binili ng Rivian ang Third Dimension upang maisama ang mga kakayahan nito sa simulasyon sa pagsubok ng mga sasakyan. Inilalagay din ng iniulat na pagbili ng AMD sa World Labs at ng mga pakikipag-usap ng Amazon para bilhin ang Decart ang teknolohiya ng mga world model sa mas malawak na sunod-sunod na kasunduan, bagaman usapan pa lamang ang mga talakayan ng Amazon.

Pinagsasama ng pinakabagong ambag ng Google ang paglikha ng eksena, diyalogo at pagpaplano ng Gemini sa iisang eksperimental na sistema. Ang susunod na kongkretong hakbang ay ang pagpapalawak ng access, na magbibigay-daan sa mas maraming lumikha at developer na malaman kung aling maiikling gawain ang kayang hawakan ng modelo nang maaasahan.

Mahahalagang Punto

• Inanunsyo ng Google DeepMind ang Genie 4 noong Oktubre 27, oras sa US, at unang ibinigay ang access sa mga pinagkakatiwalaang tagasubok.
• Lumilikha ang modelo ng mga interaktibong mundo na may tunog sa kapaligiran, musika at pasalitang diyalogong tumutugon sa mga pangyayari.
• Ayon sa Google, napapanatili ang pagkakapare-pareho ng eksena nang hanggang dalawang minuto, doble ng humigit-kumulang isang minutong limitasyon ng Genie 3.
• Tumutulong ang mga Gemini model sa pagpaplano ng mga kilos, pagsubaybay sa mga nalikhang eksena at pagsasaayos ng mga simulasyon.
• Kabilang sa mga planong gamit ang pagbuo ng storyboard para sa pelikula, mga laro, edukasyon at pagsasanay sa mga robot.
• Maaaring magbago-bago ang mga bagay, hindi mabasa ang teksto, at nananatiling hamon sa pagpapaunlad ang masalimuot na pisika at katumpakan ng audio.
• Plano ang access sa pamamagitan ng Project Genie, Gemini API at Google AI Studio, ngunit wala pang itinakdang petsa ng pagpapalawak o presyong para sa mga developer.