Inilunsad ng Alibaba ang Qwen3-Omni: Open Source na Multimodal AI Model

Bakit mahalaga ito ngayon: nagiging mainstream ang open multimodal AI

Naglabas ang Alibaba ng Qwen3-Omni, isang multimodal na modelo ng artificial intelligence na malayang magagamit, tumatanggap ng text, mga larawan, audio, at video bilang input, at sumasagot sa text o natural na pananalita nang real time. Inilalarawan ito ng kumpanya bilang unang native na end-to-end na omni-modal system na nagsasama ng lahat ng apat na uri ng input sa iisang modelo, sa halip na idagdag ang mga ito pagkatapos mabuo ang modelo. Dumating ang paglulunsad sa merkadong pag-aari pa rin ng OpenAI at Google ang mga nangungunang proprietary system, kaya malinaw ang pagkakaiba ng mga saradong platform at open source na alternatibong maaaring i-download, baguhin, at i-deploy ng sinuman sa ilalim ng lisensyang Apache 2.0.

Direkta ang pangako nito. Makakakuha ang mga negosyo at developer ng modelong gumagana sa iba’t ibang modality, may mababang latency, malawak na saklaw ng wika, at mga tool para hubugin ang mga sagot. Higit pa sa mga teknikal na benchmark ang mga implikasyon nito. Inaalis ng lisensyang bukas at angkop sa negosyo ang pagkakakulong sa iisang vendor at binibigyan ang mga organisasyon ng opsyong patakbuhin ang modelo sa sarili nilang imprastraktura. Mahalaga ito sa panahong sinusubukan ng maraming kumpanya na balansehin ang gastos, kontrol, at performance sa kanilang mga AI stack.

Dumating ang Qwen3-Omni matapos ang sunod-sunod na paglabas ng mga omni model. Pinagsama ng GPT-4o ng OpenAI ang text, larawan, at audio. Nagdagdag naman ang Gemini 2.5 Pro ng Google ng pagsusuri sa video. Nananatiling bayad at sarado ang mga sistemang iyon. Pinagsasama ng Qwen3-Omni ang pag-unawa sa video, input ng pananalita, at output ng pananalita sa iisang pakete na maaaring suriin at pagbatayan ng komunidad. Sumasalamin din ang paglabas nito sa paglago ng mga open AI project mula sa China, na mabilis na tinatangkilik sa mga platform para sa developer at nagbabago sa mapa ng kompetisyon.

Ano ang Qwen3-Omni at paano ito gumagana

Gumagamit ang Qwen3-Omni ng disenyong may dalawang bahagi na tinatawag na Thinker at Talker, na bawat isa ay inoptimize para sa magkaibang yugto ng proseso. Pinangangasiwaan ng Thinker ang multimodal na pag-unawa, pangangatwiran, at pagbuo ng text. Ginagawang pananalita ng Talker ang mga inaprubahang output at iniaayon ang pananalita sa mga visual. Umaasa ang dalawang bahagi sa arkitekturang Mixture of Experts, na naghahati sa modelo sa mga espesyalisadong grupo ng parameter na ina-activate lamang kapag kapaki-pakinabang. Pinabibilis at pinapalawak nito ang inference dahil hindi kailangang patakbuhin ng modelo ang bawat parameter sa bawat kahilingan.

Paliwanag sa Thinker at Talker

Sa Qwen3-Omni, tinatanggap ng Thinker ang mga input, pinagsasama ang mga signal mula sa text, larawan, audio, at video, at binubuo ang pangunahing sagot sa anyong text. Dito maaaring tumakbo ang pangangatwiran na may mahabang konteksto, paggamit ng mga tool, retrieval, at mga filter para sa kaligtasan. Mahalaga, hindi kailangang ibatay ng Talker ang output nito sa mga text token ng Thinker. Sa halip, direkta itong umaasa sa mga feature ng audio at visual. Dahil dito, nakakabuo ang system ng pananalitang umaayon sa tiyempo at diin ng orihinal na tagapagsalita habang nagsasalin, o naiaayon ang bilis ng pagsasalita sa mga ipinapakita sa screen. Nagbibigay-daan din ito sa pagkontrol sa workflow dahil maaaring suriin o baguhin ng mga panlabas na module ang output ng Thinker bago ito gawing audio ng Talker.

Para sa pananalita, gumagamit ang Qwen3-Omni ng autoregressive na paraang multi-codebook na nanghuhula ng mga compact na acoustic token, saka ginagawang waveform ang mga ito gamit ang magaan na Code2Wav network. Pinaiikli ng disenyong ito ang latency habang napapanatili ang detalye ng boses. Sinanay mula sa simula ang audio encoder na tinatawag na Audio Transformer upang suportahan ang streaming at offline na paggamit.

Dinisenyo para sa streaming na may mababang latency

Layunin ng Qwen3-Omni na magamit sa live at pabalik-balik na usapan. Iniulat ng system na humigit-kumulang 234 millisecond ang end-to-end na latency bago dumating ang unang packet para sa audio, at humigit-kumulang 547 millisecond para sa video. Nananatili ito sa ibaba ng isang real-time factor, ibig sabihin, nakakabuo ito ng output nang kasimbilis o mas mabilis kaysa sa pagtanggap nito ng input. Mahalaga ito para sa mga voice agent, copilot sa mga call center, transkripsiyon ng pulong, at anumang sitwasyong napuputol ang daloy dahil sa pagkaantala.

Saklaw ng wika at mga limitasyon sa konteksto

Sinusuportahan ng modelo ang 119 na wika sa text, 19 sa input ng pananalita, at 10 sa output ng pananalita. Kaya nitong pangasiwaan ang mahahabang usapan. Nag-aalok ang Thinking Mode ng context window na 65,536 token, at umaabot sa 32,768 token ang pinakamahabang chain of reasoning. Gumagamit ang Non Thinking Mode ng kontekstong 49,152 token. Parehong 16,384 token ang maximum na input at output. Itinatakda ng mga limitasyong ito kung gaano karaming content ang kayang tanggapin at ilabas ng modelo sa isang session, na lalong mahalaga para sa mga transkripsiyon ng video at mahahabang dokumento.

Mga bersyon at opsyon sa deployment

Maglalabas ang Alibaba ng tatlong bersyon ng Qwen3-Omni-30B-A3B, na bawat isa ay inayos para sa magkakaibang gawain.

Pinagsasama ng Instruct model ang Thinker at Talker. Tumatanggap ito ng text, mga larawan, audio, at video, at sumasagot sa text at pananalita. Nakatuon naman ang Thinking model sa pangangatwiran at mga gawaing nangangailangan ng mahabang chain of thought. Pareho ang tinatanggap nitong input, ngunit text lamang ang inilalabas nito. Angkop ito sa mga sitwasyong mas mahalaga ang detalyadong nakasulat na sagot kaysa sa boses. Pino ang pagsasanay sa Captioner model para sa paglalagay ng caption sa audio, at gumagawa ito ng detalyadong paglalarawan sa text na nakatuon sa pagpapababa ng hallucination. Saklaw ng mga modelong ito ang malawak na multimodal na interaksiyon, masusing pangangatwiran, at espesyalisadong pag-unawa sa audio.

Magagamit ang Qwen3-Omni nang lokal at sa pamamagitan ng cloud. Maaaring i-download ng mga developer ang mga weight mula sa opisyal na repository at mga community hub, o gumamit ng mas mabilis na Flash variant sa pamamagitan ng API ng Alibaba. Nagbibigay ang dokumentasyon ng proyekto ng gabay para sa mabilis na pagsisimula, mga cookbook para sa mga gawaing tulad ng speech recognition, pagsasalin, pagsusuri ng musika, OCR, at audiovisual na dayalogo, pati mga tala para sa deployment gamit ang Docker. Narito ang GitHub repository: https://github.com/QwenLM/Qwen3-Omni.

Para sa mga team na sumusubok sa naka-host na API, nagbibigay ang Alibaba ng libreng quota na isang milyong token para sa iba’t ibang modality, na valid sa loob ng 90 araw mula sa activation. Audio output lamang ang available sa Non Thinking Mode kapag ginagamit ang API. Mahalaga ang mga detalyeng ito sa pagpaplano ng mga pilot at pagtataya ng gastos sa mga unang eksperimento.

Maikling pagsilip sa proseso ng pagsasanay

Sinanay ang Qwen3-Omni sa maraming yugto na pinagsasama ang pretraining sa malakihang datos at naka-target na post-training. Nagsisilbing audio encoder ang Audio Transformer at mayroon itong humigit-kumulang 0.6 bilyong parameter. Sinanay ito gamit ang 20 milyong oras ng audio na may supervision. Binubuo ang halo ng datos ng humigit-kumulang 80 porsiyentong speech recognition sa Chinese at English, 10 porsiyentong speech recognition sa iba pang wika, at 10 porsiyentong mga gawaing pag-unawa sa audio. Dinisenyo ang encoder para sa real-time caching at offline na pagproseso.

Isinagawa ang pretraining sa tatlong yugto. Sa unang yugto, na tinatawag na encoder alignment, sinanay ang mga vision at audio encoder habang hindi ginalaw ang core ng language model. Napigilan nito ang paghina ng kakayahan ng modelo sa pag-unawa habang maaga pa lamang pinagsasama ang mga modality. Sa ikalawang yugto, na tinatawag na general training, gumamit ng dataset na may humigit-kumulang 2 trilyong token na sumasaklaw sa text, audio, mga larawan, at mas maliliit na bahagi ng video at audiovisual na sample. Sa ikatlong yugto, pinalawak ang maximum na haba ng token mula 8,192 tungo sa 32,768, at dinagdagan ang mahahabang content ng audio at video upang palakasin ang paghawak sa mahahabang sequence.

Tinutukan ng post-training kapwa ang pangangatwiran at kalidad ng pananalita. Sumailalim ang Thinker sa supervised fine-tuning, strong-to-weak distillation, at GSPO optimization gamit ang halo ng feedback na nakabatay sa mga tuntunin at pagmamarka ng modelong nagsisilbing tagahatol. Dumaan naman ang Talker sa apat na yugto ng pagsasanay gamit ang daan-daang milyong multimodal na sample ng pananalita at tuloy-tuloy na pretraining sa piling datos. Layunin nitong pababain ang antas ng hallucination at gawing mas natural ang pananalita.

Performance at mga larangang pinangungunahan nito

Batay sa mga pampublikong benchmark na iniulat ng kumpanya, mahusay ang Qwen3-Omni sa pananalita, audio, at pag-unawa sa video habang mataas din ang mga marka nito sa text at vision. Nangunguna ito sa maraming open leaderboard at nagtatala ng mga resultang kayang makipagsabayan sa mga saradong sistema.

Sa text at pangangatwiran, nakakuha ang modelo ng 65.0 sa AIME25 at 76.0 sa ZebraLogic. Umabot ito sa 82.6 sa WritingBench. Sa pananalita at audio, nagtala ito ng word error rate na 4.69 at 5.89 sa Wenetspeech, at 2.48 sa Librispeech other. Mahusay din ito sa mga gawaing may kinalaman sa musika, na may markang 93.0 sa GTZAN at 52.0 sa RUL MuchoMusic. Para sa larawan at vision, umabot sa 59.7 ang HallusionBench, 57.0 ang MMMU pro, at 56.3 ang MathVision full. Sa video, iniulat nito ang 75.2 sa MLVU. Kung mapagtitibay ng mga panlabas na pagsusuri ang mga bilang na ito, ipinahihiwatig ng mga ito na nababalanse ng modelo ang mga karaniwang gawain sa text at ang mas masalimuot na pag-unawa sa audio at video.

May dalawang bagay na dapat bigyang-pansin. Una, maraming resulta ang iniulat mismo ng kumpanya. Magbibigay ng mas kumpletong larawan ng pang-araw-araw na performance ang independiyenteng pagpapatunay sa mas malawak na hanay ng mga pagsusulit. Ikalawa, maaaring magdulot ng mga kompromiso ang pagbuo ng iisang modelong sumasaklaw sa apat na uri ng input. Ipinapakita sa mga materyal ng kumpanya na magkakapantay ang kakayahan nito sa iba’t ibang modality, ngunit may ilang community reviewer na nakapansin na bahagyang mas mahusay sa ilang makikitid na gawain ang mga naunang text-first na bersyon ng Qwen sa purong text output. Karaniwan itong tensiyon sa pagitan ng mga espesyalisado at pangkalahatang modelo. Pinapaliit ng kasalukuyang release ang agwat na ito habang nagbubukas ng cross-modal na kakayahang hindi kayang tapatan ng mga espesyalisadong modelo.

Pagpepresyo, quota, at limitasyon sa paggamit

Open source ang Qwen3-Omni para sa lokal na deployment sa ilalim ng lisensyang Apache 2.0. May singil batay sa mga token ang pinamamahalaang access sa pamamagitan ng API ng Alibaba. Pareho ang singil kada token sa Thinking Mode at Non Thinking Mode. Sa Non Thinking Mode lamang iniaalok ang audio output.

Gastos sa input kada 1,000 token

• Text input: 0.00025 dolyar ng Estados Unidos
• Audio input: 0.00221 dolyar ng Estados Unidos
• Input ng larawan o video: 0.00046 dolyar ng Estados Unidos

Gastos sa output kada 1,000 token

• Text output na text lamang ang input: 0.00096 dolyar ng Estados Unidos
• Text output kapag may larawan o audio ang input: 0.00178 dolyar ng Estados Unidos
• Text at audio output: 0.00876 dolyar ng Estados Unidos para sa bahagi ng audio; libre ang text

Libreng tier: isang milyong token para sa iba’t ibang modality, valid sa loob ng 90 araw mula sa activation. Malaki ang mga limitasyon sa konteksto: 65,536 token sa Thinking Mode at 49,152 sa Non Thinking Mode. 16,384 token ang maximum para sa iisang input, gayundin para sa output. Umaabot sa 32,768 token ang pinakamahabang chain of reasoning. Gabay ang mga limitasyong ito sa paghahati-hati ng mahahabang media at dokumento para sa paggamit sa produksyon.

Bakit ito mahalaga sa mga negosyo

Pangunahing bahagi ng kuwento ang lisensya. Nagbibigay ang Apache 2.0 ng mga karapatang gamitin sa komersiyo, baguhin, at muling ipamahagi ang modelo. Kabilang dito ang lisensya sa patent, na nagpapababa sa legal na panganib kapag naging bahagi ang modelo ng mga proprietary system. Walang obligasyong ilathala ang mga hinangong gawa, kaya mas madali itong gamitin ng mga kumpanyang kailangang panatilihing pribado ang mga bersiyong pinino ang pagsasanay. Kabaligtaran ito ng black box na kontrolado ng vendor, kung saan maaaring magbago ang mga gastos, limitasyon sa paggamit, at asal ng modelo nang walang magagawa ang gumagamit.

Itinutulak din ng release ang pagbabago sa mga desisyon sa arkitektura. Lumilipat ang maraming organisasyon sa stack na gumagamit ng maraming modelo. Pinaghahalo nila ang mga open at closed model ayon sa gawain, pinagsasama ang mabilis at maliliit na modelo para sa karaniwang trabaho at mas malalaki para sa masalimuot na pangangatwiran, at pinananatili sa sariling lugar ang ilang workload para makontrol ang datos. Dahil malawak ang kakayahan ng Qwen3-Omni, maaari itong gamitin sa mga senaryong maraming pananalita, mga setting na maraming wika, at mga workflow na sagana sa video. Maaaring mabawasan ng paghawak sa maraming modality sa iisang modelo ang dami ng magkakahiwalay na sistemang kailangang sanayin at panatilihin.

Kailangan pa rin ng disiplina para maging matagumpay ang deployment. Mahahalagang batayan pa rin ang mga pagsusuri sa seguridad, kontrol sa privacy, mga evaluation harness, at pipeline para sa fine-tuning. Mas madaling suriin at i-optimize ang modelo dahil open ito, ngunit nasa gumagamit ang responsibilidad sa kaligtasan at pagsunod sa mga regulasyon. Pinakamaraming mapapakinabangan ito ng mga team na namumuhunan sa MLOps, paggamit ng mga tool, at mga pananggalang.

Mga gamit: mula sa mga contact center hanggang sa field service

Itinatampok ng Alibaba ang malawak na hanay ng mga sitwasyong nababagay sa mga kalakasan ng modelo. Maaaring pagsamahin ang transkripsiyon at pagsasalin sa maraming wika sa low-latency na output ng pananalita para sa mga live na usapan. Sinusuportahan ng paglalagay ng caption sa audio ang paggawa ng media at pagiging accessible ng content. Umaabot ang OCR at pag-unawa sa dokumento sa mga larawan ng form, resibo, at diagram. Nakakatulong ang paglalagay ng tag sa musika at pagsusuri ng tunog sa mga media library at creative tool. Nagbibigay-daan naman ang pag-unawa sa video sa pag-index, pag-navigate, at pagsunod sa mga tagubilin mula sa mga tutorial o gabay sa paggamit ng kagamitan.

Isang halimbawang nagpapakita nito ang teknikal na suporta. Maaaring mag-stream ng video ang customer mula sa telepono habang binabasa ng modelo ang text sa screen, pinakikinggan ang tunog sa paligid, at nagbibigay ng sunod-sunod na gabay gamit ang pasalitang mga sagot. Isa pang halimbawa ang naisusuot na assistant na nagsasalin ng mga menu o karatula nang real time. Maaari ring gabayan ng mga developer ang asal ng modelo gamit ang mga system prompt upang magtakda ng tono, personalidad, at mga hangganan ng domain, at ikonekta rito ang retrieval, mga calculator, o mga third-party tool para palawakin ang mga kakayahan nito.

Mga senyales ng pagtangkilik at pandaigdigang konteksto

Ipinahihiwatig ng maagang pagtangkilik ang matinding interes mula sa komunidad ng mga developer. Umakyat sa tuktok ng mga trending model list sa mga sikat na AI hub ang mga bersyon ng Qwen3-Omni, at napabilang din sa iba pang nangungunang puwesto ang mga modelong Qwen. Itinatampok ng pagdagsa ng interes ang mas malawak na paglipat tungo sa mga open system mula sa mga team sa China na tuwirang nakikipagkompetensiya sa mga matagal nang nangungunang kumpanya sa Kanluran. Sa mga merkado, tumaas nang bahagya sa apat na porsiyento ang halaga ng shares ng Alibaba sa Hong Kong sa araw na malawak ang naging pansin sa release.

Magdudulot ng presyon ang open na alternatibo sa pagpepresyo at estratehiya ng produkto ng mga saradong sistema, lalo na sa mga gamiting maraming audio at video. Maaari nang magpatakbo ng omni-modal na modelo sa mababang gastos ang mga negosyong kailangang sumubok ng mga ideya nang hindi dumaraan sa mahabang proseso ng pagkuha. Kung tatapat ang performance sa totoong paggamit sa mga iniulat na benchmark, maaaring pabilisin ng paglulunsad na ito ang paggamit ng mga multimodal assistant sa mga contact center, paggawa ng media, edukasyon, transkripsiyon sa pangangalagang pangkalusugan, at pagpapanatili ng mga kagamitang pang-industriya.

Ang Buod

• Open source na modelo ang Qwen3-Omni na tumatanggap ng text, larawan, audio, at video, at sumasagot sa text at pananalita; inoptimize ito para sa real-time na paggamit.
• Gumagamit ang system ng arkitekturang Thinker at Talker na may Mixture of Experts para sa bilis at kakayahang lumawak, kasama ang pasadyang Audio Transformer at Code2Wav renderer.
• Humigit-kumulang 234 millisecond ang target na latency para sa audio at 547 millisecond para sa video, na may streaming na mas mababa sa isang real-time factor.
• Saklaw ng suporta sa wika ang 119 para sa text, 19 para sa input ng pananalita, at 10 para sa output ng pananalita, at may mahahabang context window na umaabot sa 65,536 token.
• May tatlong bersiyon: Instruct para sa buong multimodal na input at output, Thinking para sa pangangatwirang text lamang, at Captioner para sa detalyadong paglalagay ng caption sa audio.
• Open source ito sa ilalim ng Apache 2.0, may libreng quota na isang milyong token para sa mga pagsubok sa API, at may singil kada token para sa naka-host na access.
• Ipinapakita ng mga benchmark na iniulat ng kumpanya ang mahusay na resulta sa pananalita, audio, video, at text, kabilang ang maraming markang nangunguna sa larangan.
• May paraang walang gastos ang mga negosyo para mag-deploy, magpasadya, at magpatakbo ng multimodal AI nang hindi nakatali sa iisang vendor, basta mamumuhunan sila sa pagsusuri at kaligtasan.
• Mabilis ang pagtangkilik ng komunidad: nagte-trend ang mga modelong Qwen sa mga platform para sa developer at lumalaki ang interes sa mga open AI system mula sa China.