Inilunsad ng Alibaba ang Open Source na Multimodal AI Model na Qwen3 Omni

Bagong open source na karibal sa multimodal AI

Ipinakilala ng Alibaba ang Qwen3 Omni, isang malawakang multimodal model na kayang bumasa ng teksto, tumingin sa mga larawan, makinig sa audio, at manood ng video. Sumasagot ito sa pamamagitan ng teksto at natural na pananalita. Inilalarawan ito ng kumpanya bilang isang likas na end-to-end na omni model. Ibig sabihin, dinisenyo ang modelo mula pa sa simula upang sabay-sabay na pangasiwaan ang lahat ng input na ito, sa halip na ituring na mga dagdag lang ang speech o vision. Dumarating ito sa panahong sinusuri ng maraming organisasyon ang mga kapalit sa gastos at kontrol sa pagitan ng mga open source model at proprietary system gaya ng GPT 4o at Gemini 2.5 Pro. Ang pangunahing pagkakaiba ay ang access. Inilabas ang Qwen3 Omni sa ilalim ng lisensyang Apache 2.0, isang maluwag na balangkas na nagpapahintulot ng libreng komersyal na paggamit, pagbabago, at muling pamamahagi. Pinapababa nito ang hadlang para sa mga team na gustong mag-host ng modelo sa sarili nilang sistema o maglabas ng mga produkto nang walang bayad kada user o pagkakatali sa iisang vendor.

Higit pa sa karaniwang tatluhan ng teksto, larawan, at audio ang Qwen3 Omni. Kaya rin nitong magsuri ng video, isang kakayahang pangunahing limitado noon sa mga saradong platform. Sinusuportahan ng modelo ang 119 na wika para sa teksto, 19 para sa speech input, at 10 para sa speech output, kabilang ang mga pangunahing wika at ilang diyalekto gaya ng Cantonese. Itinatampok sa mga paunang materyal ang streaming responsiveness na mas kahawig ng pag-uusap kaysa pagproseso nang batch, kung saan dumarating ang unang audio packet sa humigit-kumulang sangkapat ng segundo at ang unang video packet sa humigit-kumulang kalahating segundo. Mahalagang antas ito para sa mga assistant na mabilis sumingit, maglinaw, at maglipat ng usapan sa mga real-time na sitwasyon gaya ng mga support call o gabay sa mobile.

Kasama sa release ang tatlong variant na iniangkop sa magkakaibang gawain. Ang Instruct ang modelong pang-usap na kumpleto ang mga feature; nakatuon ang Thinking sa masalimuot na pangangatwiran at mahahabang proseso ng pag-iisip, at teksto lamang ang inilalabas; samantalang dalubhasa ang Captioner sa paglalagay ng caption sa audio, kung saan mahalaga ang mababang antas ng hallucination. Maa-access ng mga developer ang mga weight sa mga kilalang model hub, gumamit ng API na may mas mabilis na Flash option, o mag-fine-tune para makontrol ang domain at estilo. Ayon sa mga benchmark na iniulat ng kumpanya, mahusay ang resulta nito sa mga gawain sa speech, audio, at video habang nananatiling kompetitibo ang performance sa teksto at vision kumpara sa mga nangungunang sistema.

Ano ang pinagkaiba ng Qwen3 Omni

Ilang teknikal na pasya ang nagtatangi sa Qwen3 Omni. Una, pinaghahalo ng training pipeline nito ang unimodal at cross-modal na datos mula pa sa simula, at patuloy itong pinalalaki sa pretraining at post-training. Ikalawa, gumagamit ang modelo ng Mixture of Experts architecture na nagpapagana lamang sa maliit na bahagi ng mga parameter para sa bawat token. Maaari nitong pataasin ang throughput at pababain ang gastos sa inference, na mahalaga sa mga real-time na application at deployment na may limitasyon sa hardware. Ikatlo, pinaghihiwalay ng sistema ang pangangatwiran at speech sa dalawang bahaging nagtutulungan na tinatawag na Thinker at Talker. Si Thinker ang nangangasiwa sa mas mabibigat na gawain ng multimodal comprehension at pangangatwiran. Ginagawang speech ni Talker ang mga high-level na representasyon habang pinananatili ang timing at karakter.

Tatlong variant ng modelo para sa magkakaibang pangangailangan

Naglabas ang Alibaba Cloud ng tatlong opsyon sa ilalim ng Qwen3 Omni 30B A3B family upang mapili ng mga team ang pinakaangkop:

• Instruct, na pinagsasama ang Thinker at Talker para tumanggap ng input na teksto, larawan, audio, at video, at maglabas ng teksto at speech.
• Thinking, na nakatuon sa malalim na pangangatwiran at mahahabang proseso ng pag-iisip, tumatanggap ng kaparehong multimodal na input, at teksto lamang ang inilalabas.
• Captioner, na nakatuon sa paglalagay ng caption at paglalarawan sa audio nang mababa ang hallucination; kapaki-pakinabang ito sa pagsusuri ng media, accessibility, at pagmo-moderate ng content.

Nagdaragdag ang API ng Flash variant na ginawa para sa mas mababang latency at mas maraming sabayang request. Mahalaga ito kung bumubuo ka ng assistant para sa call center o gabay sa pamimili na kailangang humawak ng biglaang dagsa ng trapiko nang hindi naaantala ang mga sagot.

Sa loob ng arkitekturang Thinker at Talker

Pinaghihiwalay ng Qwen3 Omni ang mga responsibilidad upang mapanatiling natural ang speech at flexible ang pangangatwiran. Si Thinker ang pangunahing multimodal model. Iniaayon at pinagsasama nito ang mga feature ng teksto, larawan, audio, at video, saka gumagawa ng mga representasyong nasa antas ng token na nagtutulak sa sagot. Si Talker naman ay dedikadong speech generator. Sa halip na teksto mula sa output ni Thinker ang gamitin, direktang nakaasa ito sa mga audio at visual na feature. Nakakatulong ang disenyong ito upang maitugma ni Talker ang prosody at timbre sa nakikita at naririnig nito, na nagpapahusay sa mga katangian ng pagsasalin at voice acting gaya ng bilis, diin, at emosyonal na tono.

Para mabawasan ang latency ng speech, gumagamit si Talker ng multi-codebook autoregressive na pamamaraan na nanghuhula ng mga discrete acoustic token. Pagkatapos, ginagawang waveform ng magaan na Code2Wav convolutional network ang mga token na iyon. Dahil hiwalay si Talker sa teksto ni Thinker, maaaring impluwensiyahan o salain ng mga panlabas na module ang mga output ni Thinker bago gawing speech ang mga ito. Mas praktikal nito ang mga proseso para sa kaligtasan, dahil maaaring isagawa ang mga pagsusuri sa polisiya at hakbang sa retrieval sa pagitan ng pag-iisip at pagsasalita. Pangunahing bahagi ng sistema ang streaming performance. Ayon sa mga bilang ng kumpanya, humigit-kumulang 234 millisecond ang bago dumating ang unang audio packet at 547 millisecond naman para sa unang video packet. Nananatili sa ibaba ng one real-time factor ang sistema, ibig sabihin, kaya nitong bumuo ng audio nang mas mabilis kaysa sa tagal ng playback nito, kahit maraming request ang pinangangasiwaan.

Gumagamit ang arkitektura ng Mixture of Experts para kina Thinker at Talker. Sa Mixture of Experts, binubuo ang modelo ng maraming maliliit na expert network at isang gating network na nagtatalaga sa bawat token sa ilan lamang sa mga ito. Maliit na bahagi lang ng mga parameter ang pinatatakbo sa bawat token, kaya natutulungan nitong humawak ng maraming sabayang request at panatilihing mabilis ang inference. Para sa mga developer, maaaring ito ang magtakda kung magiging assistant ang sistema na kayang sumingit at makipag-ugnayan, o bot na naghihintay munang matapos ang kausap bago magsalita.

Paano ito binuo at ano ang sinusuportahan nito

Nagsisimula sa encoder ang performance sa audio. Ipinakikilala ng Qwen3 Omni ang Audio Transformer, na binuo mula sa simula at sinanay sa humigit-kumulang 20 milyong oras ng supervised na datos. Karamihan sa pinagsamang datos ay mula sa automatic speech recognition para sa Chinese at English, kasama ang karagdagang datos mula sa ibang wika at mga gawaing nakatuon sa pag-unawa sa audio. May humigit-kumulang 600 milyong parameter ang encoder, sinusuportahan nito ang streaming cache para sa mababang latency, at maaari itong patakbuhin offline para sa mga gawaing pagsusuri gaya ng pagproseso ng mahahabang recording. Ipinapasok ang output ng encoder na ito sa multimodal core sa pamamagitan ng mga yugto ng pag-aayon upang makapangatuwiran ang modelo sa iba't ibang format.

May tatlong yugto ang pretraining. Sa encoder alignment, sinanay at iniayon ang mga vision at audio encoder habang naka-freeze ang language model. Sa pangkalahatang training, pinalaki ng team ang datos sa humigit-kumulang 2 trilyong token na binubuo ng teksto, audio, larawan, at ilang pares ng video at audio-video. Sa long-context training, pinalawak ang maximum na haba ng token mula 8,192 tungo sa 32,768 habang nagdaragdag ng mas maraming mahahabang sequence ng audio at video. Kabilang sa post-training ang supervised fine-tuning, distillation mula sa mas mahuhusay na teacher, at policy optimization gamit ang mga tuntunin at hatol ng modelo para kay Thinker. Sumailalim naman si Talker sa apat na yugto ng training na gumamit ng daan-daang milyong multimodal na speech sample, kasama ang tuloy-tuloy na pretraining, upang mabawasan ang hallucination at mapahusay ang kalidad ng boses.

Malawak ang mga kakayahan at limitasyon nito para sa isang pamilyang may 30 bilyong parameter. Sinusuportahan ng Qwen3 Omni ang 119 na wika sa teksto, 19 para sa speech input, at 10 para sa speech output. Nagbibigay ang Thinking Mode ng context window na 65,536 token; sumusuporta naman ang Non Thinking Mode sa 49,152 token. Sinusuportahan ng modelo ang hanggang 16,384 token para sa input at 16,384 token para sa output. Umaabot sa 32,768 token ang pinakamahabang proseso ng pag-iisip. Nakakatulong ang ganitong laki sa pagproseso ng masalimuot na transcript, mahahabang pulong, o codebase at dokumentong lalampas sa kakayahan ng ibang modelo kung hindi hahatiin-hatiin.

Mga benchmark, kalakasan, at tamang pagbasa sa mga pahayag

Sa 36 na benchmark, iniulat ng Alibaba na nangunguna ang Qwen3 Omni sa 22 at nangunguna ito sa mga open source model sa 32. Kabilang sa mga resulta sa teksto at pangangatwiran ang 65.0 sa AIME25, mas mataas kaysa sa 26.7 na iniulat para sa GPT 4o, at 76.0 sa ZebraLogic, lampas sa 57.9 na inilathala para sa Gemini 2.5 Flash. Nagtala ito ng 82.6 sa WritingBench, kumpara sa 75.5 ng GPT 4o. Sa speech at audio, 4.69 at 5.89 ang Word Error Rate nito sa dalawang karaniwang test split ng Wenetspeech, mas mahusay kaysa sa 15.30 at 32.27 na iniulat para sa GPT 4o. Bumaba sa 2.48 WER ang resulta nito sa Librispeech other, mababa kumpara sa mga kapantay nito.

Kabilang sa mga resulta sa larawan at vision ang 59.7 sa HallusionBench, 57.0 sa MMMU pro, at 56.3 sa MathVision full, na pawang mas mataas kaysa sa GPT 4o ayon sa ulat ng kumpanya. Sa pag-unawa sa video, umabot ang modelo sa 75.2 sa MLVU, lampas sa 71.0 ng Gemini 2.0 Flash at 64.6 ng GPT 4o. May pag-unlad din sa mga gawain sa musika, na may 93.0 sa GTZAN at 52.0 sa RUL MuchoMusic. Tugma sa pokus ng disenyo ang ipinakikita ng mga bilang na ito. Nagtatakda ang Qwen3 Omni ng mataas na pamantayan sa audio at audio-visual na pag-unawa habang pinananatili ang malakas na kakayahan sa teksto at larawan.

Nakakatulong ang mga benchmark, pero kontroladong pagsubok pa rin ang mga ito. Maaaring paboran ng mga dataset at paraan ng pagmamarka ang ilang uri ng pinaghalong training data. Sa aktuwal na deployment, lumilitaw ang iba pang hamon gaya ng maingay na mikropono, mga punto o diin sa pagsasalita, magulong kuha mula sa camera ng telepono, at mabilis na pagpapalit ng konteksto. May karaniwang kapalit din ang mga multimodal model. Maaaring bahagyang humina ang performance sa teksto lamang kumpara sa mas malalaking modelong pangunahing sinanay sa teksto kapag sinasanay ang modelo para sa lawak ng mga modality. Dapat magsagawa ang mga team ng nakatuong pilot test gamit ang sarili nilang datos, saka pumili ng pinagsamang estratehiya sa mga modelo kung kinakailangan. Maraming negosyo ang gumagamit ng mas maliit na multimodal model na nakikinig at tumitingin, kasama ng mas malaking text model na bumubuo ng mga ulat o email. Pinapadali ng open Apache license ang ganitong pag-uugnay nang walang hadlang sa procurement.

Paghahambing sa GPT 4o, Gemini 2.5 Pro, at Gemma 3n

Nagtakda ang OpenAI ng mga inaasahan sa GPT 4o, na pinag-isa ang teksto, larawan, at audio sa mahigpit na pagkakaugnay at natural na speech. Idinadagdag ng Qwen3 Omni ang pagsusuri ng video sa listahan ng mga input. Nag-aalok ang Google ng pagsusuri ng video sa Gemini 2.5 Pro, pero nananatili itong proprietary. May open model din ang Google na Gemma 3n, na tumatanggap ng input na teksto, larawan, audio, at video, pero teksto lamang ang inilalabas nito. Naglalabas ang Qwen3 Omni ng teksto at speech, na nagpapalawak sa mga interaktibong gamit nito gaya ng live na pagsasalin o paglilipat ng gawain sa pagitan ng mga ahente sa mga call center.

Isa pang pagkakaiba ang paglilisensya. Inilabas ang Qwen3 Omni sa ilalim ng Apache 2.0 na may patent license, na nagpapahintulot sa mga kumpanya na gumamit, magbago, at maglabas ng mga produkto nang hindi kailangang isapubliko ang source o magbayad ng runtime fee. Nangangailangan ng bayad na access ang mga saradong modelo at nakatali ang paggamit sa platform ng provider. May mahalagang paglilinaw sa mga makabagong open release. Bukas ang mga weight at code para sa paggamit, samantalang karaniwang hindi inilalabas sa publiko ang buong paraan para buuing muli ang modelo mula sa simula, kabilang ang piniling training data. Para sa maraming gagamit, ang pangunahing layunin ay patakbuhin at i-fine-tune ang modelo at isama ito sa produksyon, at pinapayagan ito rito.

Kompetitibo ang latency. Iniulat ng Alibaba na humigit-kumulang 234 millisecond bago dumating ang unang audio packet at 547 millisecond naman para sa video. Kapantay ito ng pinakamahuhusay na sistemang pang-usap. Dapat suriin ng mga kumpanya ang mga service level objective na lampas sa oras bago dumating ang unang packet, kabilang ang oras bago maging matatag ang nilalaman at ang kabuuang oras ng pagsagot sa mahahabang tugon. Nag-aalok din ang Qwen3 Omni ng API Flash variant para sa mas mabilis pang tugon, na kahawig ng mga tier na nakatuon sa bilis sa ibang ecosystem.

Access, presyo, at libreng quota

May ilang paraan para subukan ng mga developer ang Qwen3 Omni. Makukuha ang mga weight sa mga pangunahing model hub. Nagbibigay ang API ng on-demand na access at libreng quota na isang milyong token sa iba't ibang modality sa loob ng 90 araw mula nang i-activate ito. Kada isang libong token ang batayan ng presyo. Nagkakahalaga ng 0.00025 dolyar ang text input. Nagkakahalaga ng 0.00221 dolyar ang audio input. Nagkakahalaga ng 0.00046 dolyar ang image at video input. Nagkakahalaga ng 0.00096 dolyar ang text output kada isang libong token kung teksto lamang ang input, o 0.00178 dolyar kung may larawan o audio ang input. Kung hihiling ka ng text at audio output, nagkakahalaga ng 0.00876 dolyar kada isang libong token ang bahagi ng audio at libre ang bahagi ng teksto.

Mababa ang mga presyong ito kumpara sa maraming saradong serbisyo, kaya maaaring magsagawa ng mga eksperimento nang hindi nagkakaroon ng malaking bayarin. Ayon sa kumpanya, magkapareho ang presyo ng Thinking Mode at Non Thinking Mode. Limitado sa Non Thinking Mode ang audio output. Ipinakikita rin ng platform ang mga limitasyon sa konteksto at mga opsyon sa modelo sa Model Studio, kung saan maaaring pumili ang mga kumpanya ayon sa bilis, kalidad, at gastos. Makikita ang mga opisyal na detalye sa mga pahina ng Alibaba Cloud Model Studio sa link na ito.

Mga gamit, mula sa support desk hanggang sa mga media tool

Para sa mga gawaing mahalaga ang paningin, pakikinig, at pagsasalita ang Qwen3 Omni. Ilan sa mga halimbawa ang sumusunod:

• Live na teknikal na suporta. Maaaring manood ang assistant ng live na kuha mula sa camera ng telepono habang nakikinig sa customer, saka magbigay ng sunod-sunod na gabay sa natural na boses.
• Multilingual na transkripsyon at pagsasalin. Itinatala ng modelo ang mga pulong, tawag, o lektyur sa iba't ibang wika, saka gumagawa ng buod sa English o sumasagot sa ibang wika sa pamamagitan ng pagsasalita.
• Paglalagay ng caption sa audio at paglalagay ng tag sa musika. Gumagawa ang Captioner variant ng mga paglalarawan sa audio na mababa ang hallucination, kabilang ang mga tunog sa background at katangian ng musika; kapaki-pakinabang ito sa paghahanap at pamamahala ng mga karapatan.
• Pag-unawa sa video. Nasasagot ng modelo ang mga tanong tungkol sa nangyari sa isang clip, nasusubaybayan ang mga pangyayari, at nabubuod ang mga tagpo.
• OCR at pagkuha ng datos mula sa dokumento. Nakakatulong ang pagsasama ng vision at wika sa pagkuha ng mga field mula sa mga form o resibo at pagpapatunay sa mga ito batay sa konteksto.
• Mga assistant para sa mamimili. Maaaring gamitin ng mga wearable o telepono ang modelo sa pagsasalin ng mga menu, pagtukoy ng mga palatandaan, at mga feature para sa accessibility gaya ng paglalarawan sa paligid.

Maaaring i-fine-tune ng mga developer ang estilo ng pag-uusap at persona sa pamamagitan ng system prompt. Sinusuportahan din ang paggamit ng tool upang matawag ng modelo ang mga panlabas na serbisyo para sa retrieval, pagkalkula, o paghahanap sa database. Nagbibigay-daan ito sa mga pattern ng paggamit na parang ahente, kung saan nagpaplano ang modelo, tumatawag ng mga tool, at nagbibigay ng sagot sa pamamagitan ng pagsasalita.

Epekto ng lisensya sa negosyo

Mahalagang bahagi ng usapin ang lisensyang Apache 2.0. Pinapayagan nito ang komersyal na paggamit, pagbabago, at muling pamamahagi, at may kasama itong patent license na nagpapababa sa legal na panganib kapag isinasama ang modelo sa mga proprietary system. Maaaring isama ng mga negosyo ang Qwen3 Omni sa mga produkto o panloob na workflow nang walang bayad sa vendor, at hindi nila kailangang gawing open source ang kanilang mga pagbabago. Kaakit-akit ito sa mga sektor na may regulasyon, kung saan kailangan ang kontrol sa pagruruta at pagtatala ng datos. Dahil bukas ang mga weight, maaari rin itong i-deploy sa sariling lugar o i-host sa pinagkakatiwalaang cloud.

Hindi awtomatikong nasasagot ng open release ang lahat ng alalahanin. Karaniwang hindi kasama ang training data at buong training code, kaya hindi kayang buuing muli ng komunidad ang buong modelo. Katanggap-tanggap ito sa maraming negosyo dahil ang pokus nila ay patakbuhin at i-customize ang modelo at matugunan ang mga service level goal. Pinatitibay ng release ang dahilan para gumamit ng stack na binubuo ng maraming modelo. Maaaring pagsamahin ng mga team ang mabilis at open na multimodal model sa mas malaking proprietary model kung angkop, o panatilihing open ang lahat upang maiwasan ang mga limitasyon ng platform. Alinman dito, pinalalawak ng pagkakaroon ng modelong nakauunawa ng video at nakapagsasalita sa ilalim ng maluwag na lisensya ang mga posibleng mabuo nang hindi dumaraan sa mahahabang negosasyon.

Mga panganib, pananggalang, at susunod na susuriin

Nagbubukas ang mga multimodal model ng mga usaping pangseguridad at pangkaligtasan na higit pa sa teksto. Maaaring maglaman ng sensitibong impormasyon ang input na audio at video. Maaari ring makapanlinlang ang speech output kung hindi ito nakabatay sa sapat na batayan o nasasala. Inilalarawan ng Alibaba ang isang hakbang sa gating kung saan maaaring saluhin ng mga panlabas na module ang output ni Thinker bago ito gawing speech ni Talker. Sinusuportahan ng disenyong ito ang mga pagsusuri sa polisiya, retrieval, o filter ng red team. Dapat pa ring patunayan ng mga negosyo ang kaligtasan ng nilalaman sa sarili nilang kapaligiran at rehiyon, kabilang ang mga panangga laban sa prompt injection, mga kontrol sa privacy, at pahintulot para sa pagre-record o pagsusuri.

Dapat subukan ang mga pahayag sa performance gamit ang totoong datos. Maaaring magpahina sa kalidad ng automatic speech recognition ang mga punto o diin sa pagsasalita, jargon ng isang domain, at ingay sa background. Maaari namang makasira sa pag-unawa ng vision ang mahinang liwanag o malabong kuha dahil sa galaw. Nagdudulot ang paggamit ng tool at pag-uugnay ng mga ahente ng mga bagong posibleng pagkabigo, gaya ng maling pagtawag sa tool o paulit-ulit na pag-ikot. Kailangan ang mga patakaran sa pamamahala para sa pagtatala, pagsusuri ng tao, at pagbabalik sa dating bersyon. Mahalaga rin ang imprastraktura. Nangangailangan ng maingat na pagpaplano sa throughput, memorya ng GPU, at pagbabawas ng load ang pagpapatakbo ng real-time na speech sa malawakang saklaw. Nakakatulong sa kahusayan ang Mixture of Experts, pero kailangang itakda ng mga team ang laki ng cluster at cache para sa biglaang pagdami ng gawain at mahahabang konteksto.

Mahahalagang punto

• Inilabas ng Alibaba ang Qwen3 Omni bilang open model sa ilalim ng Apache 2.0, na may text at speech output at tumatanggap ng input na teksto, larawan, audio, at video.
• Gumagamit ang sistema ng disenyong Thinker at Talker na may Mixture of Experts para sa maraming sabayang request at mababang latency ng streaming speech.
• Iniulat na humigit-kumulang 234 millisecond ang latency bago dumating ang unang audio packet at humigit-kumulang 547 millisecond para sa unang video packet, at mas mababa sa one real-time factor ang resulta.
• May tatlong variant: Instruct para sa buong interaksiyon, Thinking para sa malalim na pangangatwiran na teksto ang output, at Captioner para sa paglalagay ng caption sa audio.
• Kabilang sa training ang pasadyang Audio Transformer na sinanay sa humigit-kumulang 20 milyong oras ng datos at multimodal corpus na may humigit-kumulang 2 trilyong token.
• Ayon sa mga benchmark na iniulat ng kumpanya, nangunguna ang Qwen3 Omni sa maraming pagsubok sa audio, video, at pangangatwiran habang nananatiling kompetitibo sa teksto at vision.
• Mababa ang presyo kada isang libong token, at may libreng quota na isang milyong token sa loob ng 90 araw sa pamamagitan ng API; makukuha rin ang mga weight para sa sariling hosting.
• Pinapayagan ng lisensyang Apache 2.0 ang komersyal na paggamit, pagbabago, at muling pamamahagi, kasama ang patent grant na nagpapababa sa pagkakatali sa vendor.
• Dapat subukan ng mga negosyo ang kaligtasan, latency, at katumpakan gamit ang totoong datos, at magplano para sa pamamahala at imprastrakturang kailangan ng mga real-time na gawain.