Inilunsad ng Alibaba ang Qwen3-Omni: Isang Open-Source na Multimodal AI Model

Isang katutubong multimodal na karibal na ginawang open source

Inilunsad ng Alibaba ang Qwen3-Omni, isang katutubong multimodal na modelo ng artificial intelligence na tumatanggap ng text, mga larawan, audio, at video bilang input at tumutugon sa pamamagitan ng text o sintesis ng pananalita. Available ang modelo bilang open source sa ilalim ng lisensyang Apache 2.0, na nagpapahintulot sa komersiyal na paggamit, pagbabago, at muling pamamahagi, kasama ang pagkakaloob ng lisensiya sa patent. Dahil sa malawak na kakayahan nito at maluwag na lisensiya, direktang nakikipagkumpitensya ang Qwen3-Omni sa mga nangungunang saradong sistema mula sa Estados Unidos habang pinapadali ang paggamit nito ng mga startup, mananaliksik, at malalaking negosyo.

Sumusunod ang Qwen3-Omni sa paglipat ng industriya tungo sa mga omni model, isang klase ng mga sistemang idinisenyo upang umunawa at kumilos sa iba't ibang modality nang real time. Di-gaya ng mga stack na nagdaragdag ng speech o vision sa ibabaw ng isang text model, sinasabi ng Alibaba na itinayo ang Qwen3-Omni bilang isang end-to-end na multimodal na sistema. Direktang pinoproseso nito ang audio at video habang nag-iisip at bumubuo ng pananalita sa pamamagitan ng nakalaang speech module, kaya napapanatili nito ang ritmo, tono, at konteksto ng usapan nang hindi naghihintay na matapos ang buong mga file.

Nakasentro ang unang release sa isang pamilya ng modelong may 30 bilyong parameter na gumagamit ng disenyong Mixture of Experts upang mapanatiling mabilis at scalable ang inference. Iniulat ng Alibaba na maaaring bumaba sa 234 millisecond ang latency ng unang packet para sa audio at 547 millisecond para sa video, habang mas mababa sa isa ang RTF (real-time factor) kahit maraming sabay-sabay na proseso. Sinusuportahan ng sistema ang 119 na wika para sa text, 19 na wika para sa input na pananalita, at 10 wika para sa output na pananalita. Nagbubukas ito ng oportunidad para sa mga multilingual assistant, call center, at live na pagsasalin.

Dumating ang paglulunsad habang ipinoposisyon ng Alibaba ang negosyo nitong cloud bilang isang full-stack na AI provider at mabilis na sumisikat ang mga open model mula China sa mga platform para sa developer. Sa loob lamang ng ilang araw, umakyat sa mga nangungunang puwesto sa trending rankings sa Hugging Face ang mga variant ng Qwen3-Omni, na nagpapakita ng matinding interes mula sa pandaigdigang komunidad. Namamahagi rin ang kumpanya ng mas mabilis na bersiyon ng API at nagho-host ng mga weight para sa direktang pag-download at lokal na deployment.

Ano ang kaibhan ng Qwen3-Omni

Idinisenyo ang Qwen3-Omni upang mag-isip at magsalita nang magkasabay. Pinangangasiwaan ng bahaging Thinker ang multimodal na pangangatwiran. Ginagawang natural na pananalita ng bahaging Talker ang output ng Thinker habang direktang gumagamit ng mga katangian ng audio at visual bilang batayan. Dahil magkahiwalay ang mga bahaging ito, maaaring magpasok ang mga developer ng retrieval, mga pagsusuri sa kaligtasan, o lohika ng negosyo sa yugto ng Thinker bago bigkasin ang anumang salita. Kapaki-pakinabang ito para sa mga workflow na saklaw ng regulasyon.

Thinker at Talker

Ang Thinker ay isang large language model na sinanay gamit ang humigit-kumulang 2 trilyong token mula sa text, pananalita, mga larawan, at video. Gumagamit ito ng Mixture of Experts routing upang maliit na bahagi lamang ng mga parameter ang naa-activate sa bawat token. Nababawasan nito ang gastos sa compute at nadaragdagan ang throughput. Magaang speech generator naman ang Talker. Gumagamit ito ng multi-codebook autoregressive scheme upang mapanatili ang timbre at prosody, at ng compact na Code2Wav network upang mabilis na makabuo ng audio.

Real-time streaming at caching

Mahalaga ang latency sa mga usapan. Iniulat ng Alibaba na nagsisimulang marinig ang unang token sa streaming pagkalipas ng halos sangkapat ng segundo para sa audio at humigit-kumulang kalahating segundo para sa mga kontekstong may video. Kabilang sa audio stack ang bagong Audio Transformer encoder na sinanay gamit ang 20 milyong oras ng supervised audio, na karamihan ay datos ng ASR sa Chinese at English at may pandaigdigang saklaw para sa iba pang wika. Sinusuportahan ng encoder ang online caching para sa mga live na tawag at offline encoding para sa mga batch job.

Mga wika at mahabang konteksto

Maaaring magpasok ang mga developer ng mahahabang prompt at transcript. Sinusuportahan ng Thinking Mode ang hanggang 65,536 token ng konteksto, na may mga chain ng pangangatwiran na umaabot sa 32,768 token. Sinusuportahan naman ng Non Thinking Mode ang hanggang 49,152 token. Tumatanggap ang modelo ng hanggang 16,384 token bilang input at nakagagawa ng hanggang 16,384 token bilang text output. Sa ngayon, saklaw ng speech system ang 10 wika para sa output, isang praktikal na bilang para sa mga pandaigdigang pilot sa customer support at field service.

Mga modelo, mode, at presyo

Naglalabas ang Alibaba ng tatlong variant ng pamilyang 30B upang maiangkop ng mga team ang mga ito sa iba't ibang pangangailangan. Pinagsasama ng Instruct model ang buong Thinker at Talker stack para sa mga input na audio, video, at text, at bumubuo ito ng text at pananalita. Nakatuon ang Thinking model sa masalimuot na pangangatwiran at mahahabang chain of thought. Gumagamit ito ng kaparehong multimodal na input ngunit text lamang ang output, kaya angkop ito para sa pananaliksik, pagsusuri, at mga rekord ng negosyo na kailangang sumunod sa mga patakaran. Espesyalistang modelong fine-tuned para sa paglalagay ng caption sa audio ang Captioner. Layunin nitong makagawa ng tumpak na paglalarawan sa musika, pananalita, at halo-halong audio nang kaunti ang hallucination.

Available ang Qwen3-Omni sa mga model hub para i-download, sa GitHub para sa code at mga weight, at sa Alibaba Cloud bilang API, kabilang ang mas mabilis na Flash option para sa mga interactive na serbisyo. Makakatanggap ang mga bagong user ng libreng quota na isang milyong token, na valid sa loob ng 90 araw mula nang i-activate. Para sa bayad na paggamit, kada libong token ang singil. 0.00025 dolyar ang input na text, 0.00046 dolyar ang input na larawan o video, at 0.00221 dolyar ang input na audio. Para sa output, 0.00096 dolyar ang text kapag text lamang ang input, at tataas ito sa 0.00178 dolyar kapag may kasamang mga larawan o audio ang input. Kapag humiling ang mga developer ng parehong text at audio output, 0.00876 dolyar kada libong token ang halaga ng bahaging audio at libre ang bahaging text.

Sa pamamagitan lamang ng API at sa Non Thinking Mode available ang audio output. Pinapasimple ng pagpiling ito ang pag-iskedyul para sa streaming speech at iniiwasan ang mga salungatan sa matagal na structured reasoning. Magagamit pa rin ng mga team na nangangailangan ng mas malalim na chain of thought ang Thinking model upang magplano o kumuha ng impormasyon, bago ipasa ang huling sagot sa audio renderer o sa Instruct model para bigkasin.

Mga benchmark at kung paano unawain ang mga ito

Iniulat ng Alibaba ang matitibay na resulta sa 36 na pampublikong test, na may mga score na state of the art sa 22 at nangunguna sa mga open model sa 32. Ipinahihiwatig ng mga bilang na balanse ang sistema: napapanatili nito ang kalidad ng text at visual habang pinahuhusay ang kakayahan sa pananalita. Kabilang sa mga tampok na resulta ang mga gawaing pangangatwiran kung saan nakakuha ang Qwen3-Omni ng 65.0 sa AIME25 at 76.0 sa ZebraLogic. Umabot sa 82.6 ang WritingBench. Sa transcription ng audio, nagtala ang modelo ng word error rate na 4.69 at 5.89 sa Wenetspeech, kasama ang 2.48 sa Librispeech other, na napakababa para sa dataset na iyon. Ipinapakita ng mga score sa pag-tag at pag-uuri ng musika, gaya ng 93.0 sa GTZAN at 52.0 sa RUL-MuchoMusic, na mahusay nitong natutukoy ang genre at mga katangian ng audio.

Malakas din ang ipinakita sa mga benchmark para sa vision at matematika. Nagtala ang HallusionBench ng 59.7, ang MMMU_pro ng 57.0, at ang MathVision_full ng 56.3. Sa pag-unawa sa video, nakakuha ang Qwen3-Omni ng 75.2 sa MLVU. Batay sa mga bilang na inilathala ng Alibaba, mas mataas ang mga resultang ito kaysa sa maraming saradong modelo sa mga partikular na test na iyon, kabilang ang GPT 4o at Gemini 2.0 Flash.

Hindi nasasaklaw ng mga benchmark ang lahat ng sitwasyong kinakaharap ng mga user. Maaaring mas maingay ang mga totoong usapan, iba-iba ang mga punto ng pagbigkas, nagbabago ang liwanag, at madalas pagsamahin sa mga gawain ng negosyo ang maraming tool. Itinuturo ng mga unang independiyenteng pagsusuri na kung minsan ay nahihirapan ang mas maliliit na modelo sa labas ng mga piling test, kahit na maganda ang ipinapakita ng mga ito sa mga leaderboard. Dapat magsagawa ang mga developer ng proof-of-concept na pagsubok gamit ang sarili nilang datos, lalo na para sa mga di-pangkaraniwang sitwasyon gaya ng jargon sa isang larangan, espesyalisadong diagram, o magkakapatong na boses.

Paghahambing sa GPT 4o, Gemini, at Gemma

Kasali ang Qwen3-Omni sa mahigpit na kompetisyon kasama ang GPT 4o ng OpenAI at Gemini 2.5 ng Google. Mahuhusay na sistema ang mga ito at naisama na sa malalaking platform. Sarado ang source ng mga ito. Nagbabayad ang mga user sa bawat tawag at hindi nila maaaring baguhin o muling ipamahagi nang legal ang mga batayang modelo. Inilabas ang Qwen3-Omni sa ilalim ng Apache 2.0, isang maluwag na lisensiya na nagpapahintulot sa komersiyal na paggamit, pagbabago sa code at mga weight, at muling pamamahagi. Kabilang din dito ang lisensiya sa patent. Binabawasan ng ganitong kombinasyon ang legal na panganib para sa mga kumpanyang kailangang direktang mag-embed ng AI sa mga produkto o sa pribadong imprastraktura.

Sa usapin ng kakayahan, tumatanggap ang Qwen3-Omni ng text, mga larawan, audio, at video at nakasasagot ito sa pamamagitan ng text o pananalita. Tumatanggap ang GPT 4o ng text, mga larawan, at audio bilang input at tumutugon sa pamamagitan ng text at pananalita, ngunit hindi nito tinatanggap bilang input ang mga video clip sa pangunahing configuration nito. Nakapagsusuri ng input na video ang Gemini 2.5 Pro at nakapagbibigay ito ng mga tugon sa text at pananalita sa pamamagitan ng mga serbisyo ng Google. Ipinoposisyon ng Alibaba ang Qwen3-Omni bilang katutubong multimodal na sistema kung saan pangunahing bahagi ang pananalita at vision, sa halip na mga adapter na idinagdag sa isang text core.

Iniaalok din ng Google ang Gemma 3n bilang open source sa ilalim ng Apache 2.0. Tumatanggap ang Gemma 3n ng video, audio, text, at mga larawan, ngunit text lamang ang output nito. Para sa mga team na naghahanap ng ganap na open stack na may live na output ng pananalita, maaaring Qwen3-Omni lamang ang kasalukuyang opsiyong may maluwag na lisensiya at nakahandang speech generation.

Bakit mahalaga ang Apache 2.0 sa mga gagamit nito

Itinatakda ng lisensiya kung saan maaaring patakbuhin ang isang modelo at kung paano ito maaaring gawing produkto. Pinahihintulutan ng Apache 2.0 ang fine-tuning at muling pamamahagi bilang saradong produkto nang hindi kinakailangang ilabas ang mga derivative model. Kabilang dito ang pagkakaloob ng lisensiya sa patent at lisensiya para sa mga kontribusyon. Para sa mga industriyang saklaw ng regulasyon at masusing sumusuri sa mga karapatan sa intelektuwal na pag-aari, binabawasan ng mga tuntuning ito ang panganib sa integrasyon. Maaaring i-deploy ng mga kumpanya ang Qwen3-Omni sa sarili nilang mga server, sa napili nilang cloud, o sa edge, habang pinananatiling pribado ang sarili nilang mga custom model.

Mga gamit para sa negosyo at mga developer

Para sa malawak na hanay ng gawain ang Qwen3-Omni. Maaaring gamitin ang multilingual na text at speech stack para sa transcription sa mga call center at live na pagsasalin sa 19 na wika ng input at 10 wika ng output. Kayang ilarawan ng audio captioner ang musika, mga tunog sa paligid, at magkakahalong audio clip para sa mga editor, archivist, at pantulong na tool. Nakababasa ng mga screenshot at larawan ang vision pipeline para sa OCR at layout, na nakatutulong sa pag-automate ng mga workflow sa back office at onboarding ng customer.

Natatanging kakayahan ang pag-unawa sa video. Maaaring suriin ng isang support agent ang maikling clip mula sa telepono upang matukoy ang ilaw ng error o kable na mali ang pagkakakabit. Maaaring manood ang isang maintenance app ng live stream upang matiyak na bumukas ang balbula. Dahil sabay na gumagana ang Thinker at Talker, maaari nang magsimulang magsalita ang sistema habang patuloy nitong pinoproseso ang mga papasok na frame, kaya napapanatili nito ang bilis na kahawig ng pakikipag-usap ng tao sa mga sitwasyong hindi kailangang hawakan ang device.

Binibigyan ng malinaw na paghihiwalay ng pag-iisip at pagsasalita ng kontrol ang mga developer. Maaaring kumuha ng mga dokumento ng kumpanya ang mga retrieval system. Maaaring salain ng mga policy filter ang nilalaman. Maaaring suriin ng mga safety check ang mga bakas ng pangangatwiran bago bumuo ng audio ang Talker. Angkop ang paraang ito para sa mga consumer assistant na kailangang manatiling naaayon sa tatak, mga pangbuod para sa negosyo na kailangang umiwas sa pagtagas ng datos, at mga field tool na nangangailangan ng sunud-sunod na gabay.

Paggamit ng tool at mga agent

Maaaring ikonekta ang Qwen3-Omni sa mga panlabas na tool at serbisyo para sa masalimuot na gawain. Kabilang dito ang pagtawag sa search, pagtatanong sa mga database, o pag-activate ng mga workflow engine. Gumagawa rin ang Alibaba ng mga agent framework sa cloud platform nito upang makapag-ugnay ng mga tool, makapag-iskedyul ng gawain, at makapag-deploy sa production ang mga team na gumagamit ng low code at high code. Dahil lampas 49,000 ang mga token sa context window sa Non Thinking Mode, kayang panatilihin ng modelo ang mahahabang sesyon na may maraming hakbang at subaybayan ang mga naunang aksiyon.

Pagtanggap, merkado, at estratehiya

Mabilis ang naging interes ng mga developer. Ilan sa mga variant ng pamilyang Qwen3 ang nasa mga nangungunang puwesto sa trending boards ng pangunahing model hub, at madalas na nasa unang puwesto ang Qwen3-Omni-30B-A3B. Sumasalamin ang atensiyong ito sa mas malawak na alon ng mga open model mula China na nakakakuha ng pansin sa pananaliksik at industriya.

Kaayon nito ang mga senyas mula sa merkado. Tumaas ang halaga ng mga bahagi ng Alibaba dahil sa lumalaking kumpiyansa sa pagtutulak ng kumpanya sa AI at cloud, kasabay ng mga bagong pag-upgrade ng mga analyst at panibagong interes mula sa mga pandaigdigang pondo. Pinalalawak ng kumpanya ang saklaw ng mga data center nito upang suportahan ang mga customer sa labas ng China. Kabilang dito ang mga bagong pasilidad sa Brazil, France, at Netherlands, at planong magdagdag pa ng kapasidad sa ibang mga rehiyon. Malaki rin ang ipinuhunan ng Alibaba sa imprastraktura ng AI. Nangako itong gumastos ng sampu-sampung bilyong dolyar sa susunod na tatlong taon at nagpahiwatig na tataas pa ang kabuuang puhunan nito sa AI.

Bahagi rin ng plano ang mga pakikipagtulungan sa hardware. Inanunsiyo ng Alibaba ang kolaborasyon sa software ng Nvidia upang isama ang mga tool sa pagbuo ng AI para sa mga larangan gaya ng training, simulation, at validation. Ipinasilip din ng kumpanya ang mas malaking Qwen3 Max model na may mahigit isang trilyong parameter para sa mas abanteng pagbuo ng code at pagkilos ng agent. Ipinakikita nito kung paanong bahagi ang Qwen3-Omni ng mas malawak na pamilya ng mga modelo, mula sa mga interactive assistant hanggang sa mabibigat na modelong pananaliksik.

Mga pahayag mula sa Alibaba

Nagtakda ng tono si Eddie Wu, punong ehekutibo ng Alibaba Group, sa taunang kumperensiya ng kumpanya sa Hangzhou. Inilarawan niya ang AI at cloud bilang dalawang makina ng susunod na yugto ng paglago. Binalangkas din niya ang mga planong magpalawak ng mga internasyonal na data center at palalimin ang mga pakikipagtulungan para sa training at deployment.

Ipinaliwanag ni Wu sa kanyang mga pahayag kung bakit dinaragdagan ng kumpanya ang pamumuhunan nito sa AI.

Ang AI at cloud, kasama ng e-commerce, ang mga makina ng paglago ng Alibaba. Palalawakin namin ang paggasta at kapasidad upang matugunan ang pandaigdigang pangangailangan.

Inilarawan ni Lin Junyang, isang mananaliksik sa Qwen team, kung paano ginamit ng proyekto ang naunang gawain sa speech at vision upang buuin ang bagong sistema.

Pinagsama namin ang mga pangunahing proyekto sa audio at larawan upang buuin ang Qwen3 Omni.

Mga panganib, limitasyon, at dapat bantayan

May mga tanong pa ring masasagot lamang sa aktuwal na paggamit sa production kahit maganda ang mga resulta sa benchmark. Maaaring may matinding ingay sa likuran, magkakapatong na usapan, o bihirang punto ng pagbigkas sa totoong audio. Madalas namang may silaw, motion blur, o mga bahaging natatakpan sa mga video. Kung nangangailangan ang inyong serbisyo ng napakataas na recall sa mga espesyalisadong diagram o transcription na sumusunod sa mahihigpit na pamantayan sa isang makitid na larangan, maglaan ng panahon para sa pagpili at paghahanda ng datos at fine-tuning para sa larangang iyon.

Sampung wika ng output na pananalita ang sinusuportahan sa kasalukuyang release, na sumasaklaw na sa maraming merkado. Ngunit kakailanganin ng mga team na may pangangailangan sa mga wikang hindi gaanong ginagamit na output na text o third-party na speech engine. May mga pagpipilian ding kaakibat ang paghahati sa Thinker at Talker. Maaaring mas piliin ng ilang organisasyon na panatilihing text lamang ang mahahabang pangangatwiran at bumuo ng pananalita para lang sa mga huling sagot. Tatanggapin naman ng iba ang mas maiikling output kapalit ng mas mabilis na pasalitang tugon. Dapat subukan ang mga kompromisong ito batay sa mga layunin para sa karanasan ng user.

Lakas ng open-source na lisensiya para sa mga gumagawa ng produkto, ngunit nangangahulugan din ito na maaaring baguhin ng sinuman ang modelo. Dapat gumamit ang mga kumpanya ng mga filter sa nilalaman, pagtukoy sa pang-aabuso, at pagsubaybay sa paggamit upang maiwasan ang maling paggamit. Sa kabilang banda, kabilang sa Apache 2.0 ang pagkakaloob ng lisensiya sa patent na nagpapababa sa panganib sa intelektuwal na pag-aari para sa mga gagamit nito, isang mahalagang salik para sa mga pangkat sa negosyo na nangangasiwa sa pagsunod sa mga regulasyon.

Ang hangad ay isang multimodal assistant na nag-iisip gamit ang text, vision, at tunog nang halos kasimbilis ng tao. Kung patuloy na mapatutunayan ng Qwen3-Omni ang kakayahan nito sa labas ng mga piling pagsusuri, maaari itong maging pangunahing piliin ng mga team na naghahanap ng lokal na kontrol, mahuhulaang gastos, at malawak na komunidad ng mga developer.

Mahahalagang punto

• Tumatanggap ang Qwen3-Omni ng text, mga larawan, audio, at video bilang input, at naglalabas ng text at pananalita.
• Open source ang modelo sa ilalim ng Apache 2.0, kasama ang pagkakaloob ng lisensiya sa patent para sa komersiyal na paggamit.
• Pangangatuwiran ang trabaho ng Thinker at pagbuo ng pananalita ang trabaho ng Talker; kapwa gumagamit ang mga ito ng Mixture of Experts para sa bilis.
• Iniulat na latency ng unang packet ay 234 millisecond para sa audio at 547 millisecond para sa video.
• Sinusuportahan nito ang 119 na wika para sa text, 19 na wika ng input na pananalita, at 10 wika ng output na pananalita.
• May tatlong variant: Instruct, Thinking, at Captioner.
• Nagsisimula sa 0.00025 dolyar kada libong text token ang presyo ng API, at may libreng pagsubok na isang milyong token.
• Ipinakikita ng mga resulta sa benchmark na nangunguna ito sa maraming test sa pananalita, video, at pangangatwiran.
• Senyal ng mabilis na pagtanggap ang mga ranggo sa Hugging Face at interes ng mga mamumuhunan.
• Pinalalawak ng Alibaba ang mga data center at pinalalalim ang pakikipagtulungan sa Nvidia habang pinalalaki ang pamilya ng Qwen3.