Inilunsad ng Alibaba ang Qwen3-Omni: Isang Open-Source na Multimodal AI Model

Dumating ang isang likas na multimodal na modelo bilang open source

Inilantad ng Alibaba Cloud ang Qwen3-Omni, isang multimodal na AI model na likas na pinag-iisa ang teksto, mga larawan, audio, at video sa iisang sistema. Itinutulak ng paglabas nito sa bagong antas ang kompetisyon sa mga real-time na assistant sa pamamagitan ng pagsasama ng malawak na kakayahan at isang open-source na lisensyang angkop sa mga negosyo. Tumatanggap ang modelo ng input sa apat na modality at tumutugon bilang teksto o natural na pananalita. Maaari itong i-download, baguhin, at gamitin nang libre sa mga komersyal na deployment sa ilalim ng Apache 2.0, isang permisibong lisensyang may kasamang patent grant. Dahil dito, nagiging kapani-paniwalang alternatibo ang Alibaba sa mga proprietary na alok ng OpenAI at Google, habang binibigyan ang mga developer ng ganap na kontrol sa kung paano at saan patatakbuhin ang modelo.

Dumating ang Qwen3-Omni bilang bahagi ng mas malawak na serye ng mga modelong Qwen na unti-unting lumawak ang saklaw. Ayon sa team, sinanay ang bagong release gamit ang malalaking corpus ng teksto at napakaraming audio at biswal na datos, saka pinahusay upang tumugon nang mabilis sa mga live na pag-uusap. Mayroon itong tatlong pangunahing variant para sa karaniwang pangangailangan. Pinangangasiwaan ng Instruct model ang magkakahalong input at nakapagsasalita ng mga sagot nito. Nakatuon ang Thinking model sa mas mahihirap na pangangatwiran gamit ang mahabang konteksto. Dalubhasa ang Captioner sa paggawa ng mga caption para sa audio at mababa ang antas ng hallucination nito. Ipinamamahagi ito sa opisyal na repositoryo ng GitHub, mga model hub gaya ng Hugging Face, at isang naka-host na API na may mas mabilis na opsyong Flash. Kasama rin sa paglulunsad nitong gabi ang bagong sistemang Qwen3 TTS at isang modelong pang-edit ng larawan, tanda ng pagsisikap na maghatid ng kumpletong stack para sa multimodal na interaksiyon.

Bakit mahalaga ang paglulunsad na ito

Mula sa mga demo, lumilipat na sa mga production workload ang mga multimodal assistant. Nais ng mga negosyo ng iisang modelong kayang makinig, manood, magbasa, at mangatwiran nang real time, saka sumagot nang natural ang ritmo ng pananalita. Tiyak na ganitong gamit ang puntirya ng Qwen3-Omni. Mahalaga ang anunsiyo para sa mga mamimiling nangangailangan ng kakayahang umangkop, kontrol sa presyo, at deployment sa sariling lugar, dahil pinagsasama nito ang bukas na access at sinasabing state-of-the-art na mga marka sa malawak na hanay ng mga pagsubok sa pananalita, audio, larawan, at video.

Mga pagkakaiba ng Qwen3-Omni sa GPT-4o at Gemini

Pinasikat ng mga kakompetensiya ang ideya ng mga omni model na nakakakita, nakaririnig, at nakapagsasalita. Pinag-isa ng OpenAI ang teksto, larawan, at audio sa GPT-4o. Pinalawak naman ng Google ang pagsusuri upang maisama ang video sa Gemini 2.5 sa ilang antas ng produkto. Binuo ang Qwen3-Omni mula sa simula bilang iisang end-to-end na stack para sa lahat ng apat na uri ng input. Sinusuportahan ng modelo ang pag-unawa sa video, gaya ng pagtukoy sa mga eksena at pagsubaybay sa mga pangyayari; tumatanggap ito ng mga larawan at dokumento para sa OCR at pag-uugnay sa mga bahagi ng larawan; nakikinig ito sa boses at nagbabasa ng teksto. Inihahatid ang mga sagot bilang teksto o pananalita, na nagpapasimple sa output para sa mga live na interaksiyon habang iniiwasan ang komplikasyon ng pagbuo ng larawan o video.

Isang mahalagang pagkakaiba ang pagiging available nito. Inilabas ang Qwen3-Omni sa ilalim ng Apache 2.0, na nagpapahintulot sa mga negosyo na i-download ang mga weight, patakbuhin ang mga ito sa sarili nilang imprastraktura, at i-fine-tune ang gawi nito para sa mga partikular na sektor nang hindi nakikipagnegosasyon ng mga lisensya. Nililimitahan ng mga proprietary na sistema ang sariling pagho-host o naniningil kada token sa bawat interaksiyon. Nananatiling text-only ang Gemma, isa pang pamilya ng open model mula sa Google, kaya hindi nito saklaw ang gayon ding lawak ng mga modality. Para sa mga team na gustong gumamit ng iisang open model sa mga gawain sa boses, bisyon, at teksto, pinupunan ng Qwen3-Omni ang isang kakulangan.

Bilis para sa mga live na pag-uusap

Inilathala ng Alibaba ang teoretikal na bilang para sa latency ng unang packet: humigit-kumulang 234 millisecond para sa audio at 547 millisecond para sa video. Ang ganitong saklaw ay akma sa inaasahan ng mga tao sa salitan ng pagsasalita at ginagawang praktikal ang real-time na paggamit sa iba't ibang rehiyon kapag sinamahan ng mahusay na streaming. Sinukat ang mga iniulat na bilang sa mga internal na sistema, kaya mag-iiba ang resulta sa aktuwal na paggamit depende sa hardware, sabayang paggamit, at kundisyon ng network. Gayunman, ipinahihiwatig ng latency na mas mababa sa isang real-time factor sa ilalim ng mabigat na paggamit na iniangkop ang disenyo para sa praktikal na deployment.

Sa loob ng arkitektura

Gumagamit ang modelo ng disenyong may dalawang bahagi na tinawag ng team na Thinker at Talker. Pinangangasiwaan ng Thinker ang multimodal na pag-unawa at pangangatwiran. Nagbabasa ito ng teksto, tumitingin sa mga pixel, at nakikinig sa mga katangian ng audio, saka nagpaplano at bumubuo ng nilalaman. Nakatuon naman ang Talker sa pananalita at ginagawa nitong natural na boses ang mga mataas na antas na representasyon para sa mga streaming na tugon. Sa paghihiwalay ng mga tungkuling ito, nakakakilos ang speech stack sa sarili nitong ritmo habang nag-iisip nang maaga ang language model.

Gumagamit ng Mixture of Experts ang dalawang bahagi. Isa itong teknik kung saan sinasanay ang maraming espesyalisadong subnetwork, ngunit iilan lamang ang ina-activate para sa bawat token. Pinatataas nito ang throughput kapag maraming sabay-sabay na gumagamit nang hindi ina-activate ang lahat ng parameter sa bawat hakbang. Gumagamit ang speech pipeline ng multi-codebook na autoregressive na pamamaraan upang i-compress ang audio bilang mga discrete code. Ginagawang waveform ng magaan na convolutional network na Code2Wav ang mga code na ito. Binabawasan ng paraang ito ang pagkaantala habang pinananatili ang timbre at prosody, kaya hindi gaanong tunog-robot ang pananalita kahit mababa ang latency.

Hindi nakadepende ang Talker sa mga representasyon ng teksto ng Thinker; direktang kinokondisyon ito ng mga katangian ng audio at biswal. Nakakatulong ang pagpiling ito upang maitugma ang boses sa mga nangyayari sa screen sa mga interaksiyong audio-biswal. Sa bahagi ng persepsyon, sinanay ang isang Audio Transformer encoder gamit ang humigit-kumulang 20 milyong oras ng audio na may supervision. Isinasagawa nang paunti-unti ang pretraining. Pinag-uugnay ng team ang mga encoder, nagsasanay gamit ang humigit-kumulang dalawang trilyong token mula sa teksto, audio, larawan, at video, saka pinalalawak ang konteksto para sa mahahabang sesyon. Kabilang sa post-training ang supervised fine-tuning, distillation, at mga hakbang sa optimization para sa Thinker at Talker.

Mga bersyon, wika, at limitasyon ng konteksto

Inilabas ang Qwen3-Omni bilang Qwen3-Omni-30B-A3B na may tatlong pampublikong variant. Tumatanggap ang Instruct model ng input na audio, video, at teksto, at naglalabas ng teksto at pananalita. Para sa mahihirap na pangangatwiran, mga hakbang sa matematika, at pagpaplano na may output na teksto ang Thinking model. Iniangkop naman ang Captioner sa detalyadong paggawa ng mga caption para sa audio. Layunin ng naka-host na opsyong Flash na pabilisin ang mga interaksiyon sa pamamagitan ng Alibaba Cloud.

Isa sa mga pinagtutuunan ang suporta sa maraming wika. Sinusuportahan ng batayang modelo ang 119 na wika sa teksto, 19 sa input ng pananalita, at 10 sa output ng pananalita, kabilang ang mga malawakang ginagamit na diyalekto gaya ng Cantonese. Makapagpapasimple ang ganitong balanse sa mga pandaigdigang deployment kung saan kailangang umangkop ang mga karanasan sa boses sa mga lokal na punto at sistema ng pagsulat.

Maaaring magtagal ang mga sesyon. Nag-aalok ang Thinking Mode ng mga kontekstong hanggang 65,536 token. Umaabot naman sa 49,152 ang Non Thinking Mode. Nakatakda sa 16,384 token ang maximum na input at output. Para sa masalimuot na pangangatwiran, maaaring umabot sa 32,768 token ang pinakamahabang chain. Gumagamit ang API ng pagsingil batay sa token kada 1,000 token, na magkakahiwalay ang singil para sa input na teksto, audio, at larawan o video, at para sa output na teksto o audio. Makakakuha ang mga bagong account ng libreng quota na isang milyong token sa iba’t ibang modality sa loob ng siyamnapung araw mula sa activation.

Mga benchmark at kung paano unawain ang mga ito

Iniulat ng Alibaba ang mga resulta sa 36 na benchmark na sumasaklaw sa teksto at pangangatwiran, pananalita at audio, larawan at bisyon, at mga gawaing audio-biswal na may video. Ayon sa kumpanya, nakakakuha ang Qwen3-Omni ng mga state-of-the-art na marka sa 22 pagsubok at nangunguna sa mga open-source na modelo sa 32. Sinasabi rin ng team na nahihigitan nito ang GPT-4o at Gemini 2.5 Pro sa maraming pagsusuri sa audio at audio-biswal na gawain. Kabilang sa mga kategorya ang speech recognition, pag-unawa sa audio, pagsagot sa mga tanong tungkol sa audio-biswal na nilalaman, paglalarawan ng video, at pagbuo ng boses. Iniulat na kapantay ng modelo sa mga gawaing nakasentro sa teksto ang ilang modelo sa pamilya ng mga text model ng Qwen.

Gabay ang mga benchmark, hindi garantiya. Nagkakaiba ang lawak, format ng mga tagubilin, at mga tuntunin sa pagmamarka ng mga test suite. Pinipili ng mga vendor kung aling mga sukatan ang ilalathala nila, at maaaring pumabor ang iba’t ibang run sa ilang arkitektura o datos sa pagsasanay. Sa aktuwal na deployment, may maingay na audio, iba’t ibang mikropono, mabilis na pagpapalit ng eksena, at sari-saring punto. Dapat magsuri ang mga team gamit ang sarili nilang mga sample, magsagawa ng stress test para sa hallucination kapag mahirap ang sitwasyon, at sukatin ang gastos kumpara sa throughput. Gayunman, palatandaan na sinanay ang modelo na pangunahing layunin ang multimodality, at hindi ito idinagdag lamang sa huling yugto sa pamamagitan ng mga adapter, ang lawak ng mga gawaing saklaw ng iniulat na mga resulta.

Sa opisyal na dokumentasyon, inilalarawan ng team ng Qwen ang Qwen3-Omni bilang isang likas na multilingual na modelong nagpoproseso ng teksto, mga larawan, audio, at video, at naghahatid ng mga streaming na tugon bilang teksto at binibigkas na mga salita. Layunin ng disenyo na panatilihing natural ang pananalita habang pinaplano ng language model ang mga susunod na hakbang.

Mga puwedeng buuin ng mga developer ngayon

May kasamang mga cookbook para sa karaniwang gawain ang repositoryo at mga demo, at gumagana na ang mga ito nang maayos nang hindi nangangailangan ng malawakang pag-customize. Maaaring magsimula ang mga team sa mga simpleng halimbawa at palawakin ang mga ito tungo sa mga feature na handa sa produksyon habang tumataas ang kumpiyansa.

Mga karaniwang gamit

Narito ang mga sitwasyong angkop sa kakayahan ng modelo sa persepsyon, pangangatwiran, at boses:

• Multilingual na speech recognition para sa mga live na tawag, pulong, at media.
• Pagsasalin ng pananalita sa pagitan ng mga malawakang ginagamit na pares ng wika, kasama ang mga pasalitang tugon.
• Paggawa ng mga caption para sa audio ng mga tunog sa kapaligiran at paglalagay ng mga tag sa musika.
• OCR para sa mga dokumento at screenshot, na may mga sagot na nakabatay sa nilalaman at tumutukoy sa mga bahagi ng larawan.
• Pagsagot sa mga tanong tungkol sa mga larawan ng masalimuot na diagram o dashboard.
• Paglalarawan ng video, pagkuha ng mga highlight, at pagtukoy sa mga pangyayari upang madaling mahanap ang mga bahagi ng mahahabang clip.
• Pagsagot sa mga tanong tungkol sa audio-biswal na nilalaman para sa pagsasanay, suporta, at gabay sa kung paano gumawa ng mga bagay.
• Real-time na teknikal na suporta na nakikinig, tumitingin, at nagpapaliwanag ng mga solusyon.
• Mga workflow na tulad ng agent at tumatawag sa mga panlabas na tool at API para matapos ang mga gawain.

Maaaring hubugin ang gawi nito gamit ang mga system prompt upang itakda ang persona, tono, at format. Sinusuportahan ng modelo ang real-time streaming, kaya makapaghahatid ito ng bahagyang mga sagot habang nagpapatuloy ang pangangatwiran. Mas natural ang ganitong estilo para sa mga voice assistant, kung saan mas mainam ang maiikling paghinto at mabilis na paglilinaw kaysa mahahabang katahimikan. Para sa mga sensitibong deployment, makatutulong ang pagbuo ng safety stack na may pinatibay na prompt, mga filter ng nilalaman para sa teksto at audio, at policy engine na nagtatala ng konteksto at mga desisyon.

Mga konsiderasyon sa negosyo at paglilisensiya

Mahalaga ang pasiyang ilabas ito sa ilalim ng Apache 2.0. Pinahihintulutan ng lisensya ang komersiyal na paggamit, pamamahagi, pagbabago, at pagsasailalim sa ibang lisensya. May kasama rin itong patent license na nagpapababa sa legal na panganib kapag isinasama ang modelo sa mga produkto. Maaaring patakbuhin ng mga negosyo ang Qwen3-Omni sa mga pribadong cluster o pinagkakatiwalaang cloud, iangkop ito sa sarili nilang datos, at maglabas ng software nang hindi nagbabayad ng usage fee sa vendor. Inaalis ng kombinasyong ito ang pagkakandado sa iisang vendor at pinabababa ang hadlang sa pag-eeksperimento ng iba’t ibang team.

Itinuturo ng Alibaba ang lumalaking ecosystem sa paligid ng pamilya ng Qwen. Ayon sa kumpanya, daan-daang modelo na ang inilabas ng grupo mula nang dumating ang mga unang checkpoint ng Qwen, at umabot na sa daan-daang milyon ang mga download. Naglathala ang mga developer ng sampu-sampung libong derivative sa mga pampublikong hub, na nagpapabilis sa paglipat mula prototype tungo sa produksyon. Para sa mga industriyang mahigpit ang regulasyon, makatutulong ang self-hosted na multimodal stack upang matugunan ang mga kinakailangan sa lokasyon ng datos at pag-audit habang napapanatiling madaling hulaan ang gastos sa inference.

Gastos at operasyon

Nangangailangan ng pagpaplano ang pagpapatakbo ng multimodal na modelo. Nakaaapekto sa bilis ng pagtugon ang memorya ng GPU, bandwidth ng storage para sa audio at video, at mabilis na networking para sa streaming. Pinapasimple ng mga API na nakabatay sa token ang paunang paggamit habang tinatantiya ng mga team sa imprastraktura ang laki ng mga cluster. Sapat ang libreng quota na isang milyong token sa loob ng 90 araw upang tiyakin ang pagiging praktikal, paghusayin ang mga prompt, at sukatin ang kalidad gamit ang internal na datos. Kapag lumaki na ang mga workload, madalas na pinaghahalo ng mga organisasyon ang paggamit ng mga modelo. Maaaring pangasiwaan ng open model ang karamihan sa pang-araw-araw na gawain, habang inilalaan ang proprietary na API para sa mga pambihirang kaso o espesyalisadong feature. Nababawasan ng paraang ito ang gastos habang napapanatili ang kakayahang umangkop.

Mga panganib at responsableng deployment

Nagbibigay-daan ang mahusay na pag-unawa sa audio at video sa pagbuo ng mga produktong kapaki-pakinabang. Ngunit nagdudulot din ito ng mga panganib ng maling paggamit. Maaaring gayahin ng voice synthesis ang estilo ng isang tao kahit hindi nakatakdang maglabas ang modelo ng partikular na boses bilang default. Nangangailangan ng malinaw na proseso ng pahintulot, ligtas na pag-iimbak, at mga patakaran sa pagbura ng datos ang mga real-time na agent na nanonood at nakikinig sa mga user. Dapat suriin ng mga legal team kung paano dumadaloy ang datos mula sa pagkuha sa device patungo sa mga server at log, at magtakda ng mga panahon ng pagpapanatili ng datos na naaayon sa regulasyon.

Dapat sumailalim ang modelo sa masusing pagsubok ng mga negosyo para sa hallucination, pagkiling, at hindi ligtas na nilalaman. Maaaring magkamali sa pagbibigay-kahulugan sa mga tunog sa magulong kapaligiran ang paggawa ng mga caption para sa audio. Maaaring hindi mapansin ng paglalarawan ng video ang konteksto sa pagitan ng mga cut. Maaari ring magdulot ng paglihis sa mga tagubilin ang mahahabang konteksto. Kabilang sa mahusay na planong pang-ebalwasyon ang mga adversarial na prompt, pagsaklaw sa iba’t ibang punto at diyalekto, at red teaming upang subukin ang mga hangganan ng kaligtasan. Makakatulong sa pagpapahusay ng mga modelo ang mga feedback loop na nagpapahintulot sa mga end user na mag-ulat ng mga isyu, habang pinananatiling may pananagutan ang mga deployment.

Paano magsimula

Maaaring kunin ng mga developer ang mga weight at halimbawa mula sa opisyal na repositoryo ng GitHub para sa Qwen3-Omni. Ipinapakita ng gabay sa mabilisang pagsisimula kung paano patakbuhin ang modelo gamit ang mga sikat na library gaya ng Transformers at vLLM. Mayroon ding mga Docker image at demo ng web UI para sa mabilisang pagsubok. Ang naka-host na access sa pamamagitan ng API ng Alibaba ay angkop para sa mga team na gustong mag-prototype gamit ang streaming na pananalita bago maglaan ng imprastraktura. Nagbibigay ang mga model hub ng mga handang checkpoint at gabay mula sa komunidad para sa fine-tuning at ebalwasyon.

Link: Qwen3-Omni sa GitHub

Mahahalagang Punto

• Inilabas ng Alibaba ang Qwen3-Omni bilang open source sa ilalim ng Apache 2.0 na may patent grant, kaya pinahihintulutan ang libreng komersiyal na paggamit at muling pamamahagi.
• Tumatanggap ang modelo ng teksto, mga larawan, audio, at video, at tumutugon ito sa anyo ng teksto o natural na pananalita gamit ang real-time streaming.
• May tatlong variant: Instruct para sa multimodal na interaksiyon, Thinking para sa masalimuot na pangangatwiran, at Captioner para sa paggawa ng mga caption para sa audio.
• Humigit-kumulang 234 ms ang iniulat na latency para sa audio at 547 ms para sa video, na idinisenyo upang suportahan ang natural na salitan ng pagsasalita.
• Saklaw ng suporta ang 119 na wika sa teksto, 19 na wika sa input ng pananalita, at 10 wika sa output ng pananalita, kabilang ang Cantonese.
• Sa 36 na pagsubok, iniulat ng Alibaba na state-of-the-art ang mga resulta nito sa 22 at nangunguna ito sa mga open model sa 32, na may matitibay na resulta sa audio at video.
• Umaabot sa 65,536 token ang mga kontekstong window sa Thinking Mode, habang 16,384 token ang maximum na input o output.
• Nag-aalok ang API ng libreng quota na isang milyong token sa loob ng 90 araw, at naniningil kada 1,000 token sa iba’t ibang modality.
• Kabilang sa mga gamit ang transcription, pagsasalin, OCR, paglalagay ng tag sa musika, pag-unawa sa video, at mga real-time na assistant.
• Maaaring patakbuhin ng mga negosyo ang Qwen3-Omni sa sarili nilang imprastraktura, i-fine-tune ito, at isama ito sa kanilang mga sistema habang nagpapatupad ng mga pananggalang sa seguridad, privacy, at pagsunod sa regulasyon.