Inilunsad ng Alibaba ang Qwen3 Omni, isang open-source na multimodal AI model

Bakit mahalaga ang paglulunsad na ito ngayon

Inilabas ng Alibaba ang Qwen3 Omni, isang multimodal na modelo ng artificial intelligence na nagpoproseso ng teksto, mga larawan, audio, at video sa iisang sistema, sa gitna ng tumitinding pandaigdigang kompetisyon sa AI. Maaaring i-download at gamitin ang modelo sa ilalim ng lisensyang Apache 2.0, na nagbibigay sa mga kumpanya ng malawak na karapatang patakbuhin, baguhin, at isama ang teknolohiya sa mga komersyal na produkto. Dahil sa malawak nitong saklaw ng mga modality at maluwag na mga tuntunin sa lisensya, tuwirang nahahamon ang mga saradong sistema ng mga nangungunang kumpanya sa US.

Kapansin-pansin ang tiyempo nito. Patuloy na naglalaan ng malaking pondo ang mga kumpanya sa Kanluran sa mga saradong AI system at sa imprastrakturang kailangan ng mga ito, samantalang umaakit naman ng mga developer ang mga grupong pananaliksik sa China sa pamamagitan ng mga modelong malayang magagamit. Mabilis na umakyat ang Qwen3 Omni sa mga community chart sa Hugging Face, palatandaang malawak itong ginagamit ng mga developer. Ipinahihiwatig ng paglabas nito na layon ng Alibaba, ang pinakamalaking cloud provider ng China, na makipagkompetensya sa pandaigdigang merkado ng AI workloads, hindi lamang sa impluwensiya sa pananaliksik.

Madaling ilarawan ang ipinapangako ng modelo. Isa itong foundation model na kayang tumanggap ng wika, mga larawan, audio, at video, saka tumugon sa pamamagitan ng teksto o natural na pananalita nang mabilis. Kung mapapatunayan sa karaniwang paggamit ang iniulat na performance ng Alibaba, maaaring magpatakbo ang mga negosyo ng mga assistant, serbisyo sa transcription, at analytics tool nang hindi nagbabayad ng usage fee sa mga saradong platform, at nang hindi pinagdurugtong ang magkakahiwalay na modelo para sa bawat uri ng datos.

Ano ang Qwen3 Omni at ano ang ginagawa nito

Ang Qwen3 Omni ay isang foundation model na ginawa para sa likas na multimodal na interaksyon. Tumatanggap ito ng apat na uri ng input, teksto, larawan, audio, at video, at gumagawa ng dalawang uri ng output, teksto at pananalita. Maaaring ipadala nang tuloy-tuloy ang mga tugon nang halos real time, kaya puwedeng kausapin ng user ang sistema o itutok dito ang kamera sa isang tanawin at magsimula nang makarinig ng sagot habang pinoproseso nito ang mga frame.

Inilalabas ng Alibaba ang tatlong bersyon para mapili ng mga team ang kakayahang akma sa kanilang gamit. Bawat bersyon ay nakabatay sa backbone na may 30 bilyong parameter, na pumipili ng mga expert na ia-activate habang nag-i-inference upang maging episyente. Ganito ang mga bersyon:

• Instruct, ang buong interactive na modelo na tumatanggap ng audio, video, at tekstong input at lumilikha ng teksto at pananalita.
• Thinking, ang modelong nakatuon sa pangangatwiran para sa mahahabang tugon na may sunod-sunod na pag-iisip. Pareho ang mga input na tinatanggap nito, pero teksto lamang ang inilalabas nito.
• Captioner, isang fine-tuned na bersyon para sa detalyadong paglalarawan ng audio na naglalayong mabawasan ang mga hallucination habang inilalarawan ang mga pinagmumulan at pangyayari sa tunog.

Maaaring i-download ng mga developer ang mga weight mula sa GitHub at Hugging Face, o tumawag sa pinamamahalaang endpoint sa API ng Alibaba, na nag-aalok din ng mas mabilis na Flash na bersyon para sa mga gamit na sensitibo sa latency.

Sa loob ng disenyong Thinker at Talker

Gumagamit ang sistema ng arkitekturang may dalawang bahagi na tinatawag ng Alibaba na Thinker at Talker. Thinker ang nangangasiwa sa pangangatwiran sa iba't ibang modality. Pinagsasama nito ang mga pahiwatig mula sa teksto, mga visual encoder, at audio encoder, saka nagpaplano at lumilikha ng mga text token na kumakatawan sa nilalayong sagot o aksyon. Ginagawang natural na pananalita ng Talker ang planong iyon habang itinutugma ang tiyempo at intonasyon sa kontekstong biswal at pandinig.

Gumagamit ang dalawang bahagi ng pamamaraang Mixture of Experts. Bahagi lamang ng mga parameter ang aktibo sa bawat hakbang, kaya naipapamahagi ang workload sa iba't ibang expert at napapabilis ang pagproseso kapag sabay-sabay na dumarating ang maraming kahilingan. Nakakatulong ang disenyong ito na mapanatiling mababa ang latency habang pinagsisilbihan ang maraming user nang sabay.

Hindi umaasa ang Talker sa panloob na representasyong tekstuwal ng Thinker. Maaari itong direktang umayon sa mga tampok na audio at biswal. Dahil dito, nagiging mas natural ang pananalita sa pagsasalin o live na tulong, dahil napapanatili ng sistema ang prosody at timbre na angkop sa tagpo. May pakinabang din ito sa operasyon. Maaaring siyasatin at baguhin ng mga panlabas na module, gaya ng mga retrieval system o safety filter, ang iminungkahing teksto ng Thinker bago ito bigkasin ng Talker.

Para maging mabilis at malinaw ang pananalita, sunud-sunod na hinuhulaan ng Talker ang multi-codebook sequence at gumagamit ng magaan na Code2Wav network para bumuo ng mga audio frame habang tumatakbo. Nababawasan ng pamamaraang ito ang pagkaantala nang hindi isinasakripisyo ang detalye ng kalidad ng boses.

Bilis, saklaw, at mga wika

Mahalaga ang latency sa interaksyon sa boses at video. Iniulat ng Qwen3 Omni na humigit-kumulang 234 milliseconds ang latency bago dumating ang unang packet para sa audio at mga 547 milliseconds para sa video. Nananatili sa loob ng isang real-time factor ang tugon mula simula hanggang dulo kahit maraming kahilingan ang pinoproseso, kaya tuluy-tuloy ang usapan.

Malawak ang saklaw ng mga wika. Sinusuportahan ng modelo ang 119 na wika sa teksto. Nauunawaan nito ang sinasalitang input sa 19 na wika at nakapagsasalita ito sa 10. Kabilang dito ang mga pangunahing wika sa mundo at mga diyalekto gaya ng Cantonese. Nagbibigay ito sa mga product team ng paraan para bumuo ng mga assistant para sa pandaigdigang audience nang hindi nagpapalit-palit ng modelo ayon sa rehiyon.

Dinisenyo ang mga context window para sa mahahabang sesyon. Nag-aalok ang Thinking Mode ng 65,536 token at ang Non Thinking Mode naman ng 49,152 token. Tig-16,384 token ang pinakamahabang input at output, at umaabot sa 32,768 token ang pinakamahabang sinusuportahang hanay ng pangangatwiran. Kayang suriin at ibuod ng modelo ang mahahabang audio clip na hanggang humigit-kumulang 30 minuto.

Paano sinanay ng Alibaba ang modelo

Nakasandig sa isang pasadyang Audio Transformer na tinatawag na AuT ang pag-unawa nito sa audio. Sinanay ng Alibaba ang AuT mula sa simula gamit ang humigit-kumulang 20 milyong oras ng nilagyang audio. Karamihan sa dataset na ito ay nakatuon sa awtomatikong pagkilala sa pananalita sa Chinese at English, at mas maliit na bahagi ang mula sa ibang mga wika at mga gawaing naglalayong palawakin ang pag-unawa sa audio. May humigit-kumulang 600 milyong parameter ang AuT at inayos ito para sa streaming cache at mga offline na gawain.

Tatlong yugto ang pretraining. Sa yugto ng pag-aayon ng encoder, sinanay ng team ang mga vision at audio encoder habang hindi ginalaw ang language backbone, para makatulong na mapanatili ang kalidad ng persepsyon. Sinundan ito ng pangkalahatang pagsasanay sa dataset na may humigit-kumulang dalawang trilyong token mula sa teksto, audio, at mga larawan, kasama ang mas maliliit na bahagi ng video at audiovisual na datos. Sa huling yugto para sa mahabang konteksto, pinalawig ang haba ng sequence mula 8,192 token hanggang 32,768 token at isinama ang mas mahahabang audio at video upang matiyak na masusundan ng modelo ang mahahabang sequence.

Nagdagdag ang post-training ng pagsunod sa mga tagubilin at pag-aayon sa kaligtasan. Para sa Thinker, gumamit ang team ng supervised fine-tuning, distillation mula malakas patungo sa mahina, at GSPO optimization gamit ang feedback mula sa kombinasyon ng mga patakaran at LLM bilang hurado. Dumaan naman ang Talker sa apat na yugto na pinagsasama ang daan-daang milyong multimodal na sample ng pananalita at tuluy-tuloy na pretraining sa mga piniling datos. Layunin nitong bawasan ang mga hallucination habang pinapahusay ang linaw at pagpapahayag sa pananalita.

Mga benchmark, kalakasan, at limitasyon

Sa 36 pampublikong benchmark na sumasaklaw sa teksto, pananalita, paningin, at video, iniulat ng Alibaba na nangunguna ang Qwen3 Omni sa 22 at nangunguna ito sa mga open model sa 32. Ipinapakita ng mga resulta ang mahusay na performance sa mga gawaing mabigat sa audio at kompetitibong resulta sa teksto at paningin.

Pangangatwiran at pagsulat: Sa AIME25, nakakuha ang modelo ng 65.0, malayong mas mataas sa 26.7 na resulta ng GPT 4o noong 2024. Nagtala ito ng 76.0 sa ZebraLogic, na mas mataas sa 57.9 ng Gemini 2.5 Flash. Sa WritingBench, nakakuha ang modelo ng 82.6, mas mataas sa 75.5 ng GPT 4o.

Pananalita at audio: Sa Wenetspeech suite, 4.69 at 5.89 ang iniulat na word error rate, malayong mas mababa sa 15.30 at 32.27 ng GPT 4o. Sa LibriSpeech other, bumaba sa 2.48 ang error. Mahusay din ito sa pag-uuri ng musika, na nagtala ng 93.0 sa GTZAN at 52.0 sa RUL MuchoMusic, kapwa mas mataas kaysa sa GPT 4o.

Paningin at video: Nagtala ito ng 59.7 sa HallusionBench, 57.0 sa MMMU pro, at 56.3 sa MathVision full, na pawang mas mataas kaysa sa GPT 4o sa parehong hanay ng mga resulta. Sa pagsusulit sa pag-unawa sa video na MLVU, nakakuha ang Qwen3 Omni ng 75.2, mas mataas sa 71.0 ng Gemini 2.0 Flash at 64.6 ng GPT 4o.

Mahusay ang mga numerong ito, pero dapat unawain ng mga team ang konteksto ng mga ito. Iniayon ng Alibaba ang sistema upang mapanatili ang kalidad sa teksto at paningin habang mahusay sa pananalita at multimodal na interaksyon. Pansinin ng mga unang tagasubaybay na may mga gawaing purong pangwika kung saan maaari pa ring manguna ang modelong teksto lamang mula sa parehong pamilya, isang karaniwang kompromiso kapag lumilipat mula sa pagsasanay sa iisang modality tungo sa malawak na multimodal na sistema. Ang tunay na pagsubok ay ang pang-araw-araw na performance sa mga workflow sa aktuwal na paggamit.

Bukas na lisensya, akses, at presyo

Inilabas ang Qwen3 Omni sa ilalim ng Apache 2.0. Pinahihintulutan ng lisensyang ito ang komersyal na paggamit, pagbabago, at muling pamamahagi, at may kasama rin itong patent grant. Maaaring isama ng mga negosyo ang modelo sa kanilang mga produkto, patakbuhin ito sa sarili nilang hardware o sa mga pinagkakatiwalaang cloud, at maglabas ng mga saradong produkto nang hindi inilalantad ang mga pagmamay-ari nilang pagbabago. Inaalis ng lisensya ang pinakakaraniwang legal na hadlang na pumipigil sa mga team na gumamit ng mga advanced na modelo sa mga industriyang mahigpit ang regulasyon.

Maaaring i-download ang pamilya ng mga modelo mula sa GitHub at Hugging Face. Maaaring gamitin ng mga team na mas gusto ang pinamamahalaang serbisyo ang API ng Alibaba, na may opsyong Flash para sa mas mabilis na mga tugon. Nag-aalok ang Alibaba ng libreng quota na isang milyong token sa lahat ng modality sa loob ng 90 araw pagkaraang i-activate ito, upang masuri ng mga team ang mga kakayahan bago magbayad.

Paano gumagana ang presyo ng mga token

Bawat isang libong token ang batayan ng singil. Maliit na yunit ng teksto ang isang token o kaya'y hinating representasyon ng iba pang media, at ito ang karaniwang panukat ng gastos sa pag-compute sa iba't ibang modality. Magkapareho ang presyong kada token na itinakda ng Alibaba para sa Thinking at Non Thinking mode, maliban sa isang bagay: sa Non Thinking Mode lamang available ang audio output.

Gastos sa input: 0.00025 dolyar kada isang libong token ang halaga ng text input, o humigit-kumulang 25 sentimo kada isang milyong token. 0.00221 dolyar kada isang libong token ang halaga ng audio input, o mga 2.21 dolyar kada isang milyong token. 0.00046 dolyar kada isang libong token naman ang halaga ng input ng larawan at video, o mga 46 sentimo kada isang milyong token.

Gastos sa output: 0.00096 dolyar kada isang libong token ang halaga ng text output kapag teksto lamang ang prompt. Kung may larawan o audio ang input, 0.00178 dolyar kada isang libong token ang halaga ng text output. Kapag parehong teksto at audio output ang hiningi, 0.00876 dolyar kada isang libong token ang halaga ng bahaging audio. Libre ang bahaging teksto sa kasong ito.

Mga gamit na handa na ngayon

Makikinabang ang mga application na nakasentro sa audio at video. Maaaring patakbuhin sa iisang modelong nakikinig, umuunawa sa konteksto, at sumasagot sa pamamagitan ng pananalita ang multilingual na transcription at pagsasalin para sa customer support at lokalisasyon ng media. Nakatuon ang bersyong Captioner sa paglalarawan ng audio, na kapaki-pakinabang sa paglalagay ng tag sa media, pagsubaybay sa broadcast, at paghahanap ng impormasyon tungkol sa musika.

Angkop din dito ang mga biswal na gawain gaya ng optical character recognition, pagtukoy sa kinaroroonan ng mga bagay, at pagsagot sa mga tanong tungkol sa larawan o video. Maaaring manood ang isang support agent ng live na video mula sa kamera ng telepono na nakatutok sa laptop at ilarawan kung aling kable ang dapat tingnan, saka isalaysay ang mga hakbang sa natural na bilis. Nagpakita ang Alibaba ng real-time na pagsasalin ng menu ng restawran gamit ang isang naisusuot na device. Ipinapakita ng mga sitwasyong ito kung bakit mahalaga ang mababang streaming latency at kalidad ng pananalita.

Sinusuportahan din ng Qwen3 Omni ang audiovisual na dayalogo. Kaya nitong makipag-usap tungkol sa parehong naririnig at nakikita nito, subaybayan ang konteksto sa mahabang sesyon, at maglabas ng kaugnay na panlabas na kaalaman kapag nakakonekta sa mga tool. Maaaring itakda ng mga developer ang tono at asal nito sa pamamagitan ng system prompt, bumuo ng mga assistant para sa partikular na larangan, at ipadaan ang mga output ng Thinker sa mga pasadyang safety filter bago gumawa ng anumang pananalita.

Paghahambing sa GPT 4o, Gemini 2.5, at Gemma 3n

Kasama ang Qwen3 Omni sa hanay ng mga omni model na naglalayong magproseso ng maraming uri ng datos sa iisang makina. Tumatanggap ang GPT 4o ng OpenAI ng input na teksto, larawan, at audio, at iniaalok ito bilang saradong serbisyo. Kaya ring magsuri ng video ang Gemini 2.5 Pro ng Google at sarado rin ito. May bukas na lisensya ang Gemma 3n ng Google at tumatanggap ito ng input na teksto, larawan, audio, at video, pero teksto lamang ang nililikha nito. Tumatanggap ang modelo ng Alibaba ng parehong apat na input at nagdaragdag ito ng speech output, na mahalaga para sa mga assistant at live na pagsasalin.

Praktikal na pagkakaiba ang pagiging bukas nito. Makukuha ang mga weight ng Qwen3 Omni sa ilalim ng Apache 2.0, kaya maaaring patakbuhin ng mga kumpanya ang modelo nang lokal, iangkop ito sa mga regulasyon ng industriya, at kontrolin ang daloy ng datos. Nangunguna pa rin ang mga saradong modelo sa ilang high-end na gawain, pero maaaring limitahan ng mga tuntunin sa lisensya at lokasyon ng pag-iimbak ng datos ang paggamit ng mga ito sa mga sensitibong sektor. Maraming organisasyon ang pipili ng pinagsamang sistema: mga open model para sa pagtitipid at kontrol, at mga bayad na serbisyo para sa mga gawaing mahirap tapatan ang performance.

Isa pang pagkakaiba ang kahandaan para sa paggamit sa produksyon. Bumuo ang Alibaba ng malawak na pamilya ng Qwen na may daan-daang bersyon at iniulat nitong malawakan itong ginagamit ng mga developer. Kung mapapanatili ng live na pananalita at interaksyon sa video ng Qwen3 Omni ang performance na ipinakita sa mga benchmark sa pang-araw-araw na paggamit, magiging kapani-paniwala itong alternatibo para sa mga team na nangangailangan ng multilingual at mababang-latency na assistant na kaya nilang patakbuhin mismo.

Pagtanggap at mga pahiwatig sa merkado

Makikita ang interes ng mga developer. Umabot ang Qwen3 Omni sa tuktok ng mga trending list sa Hugging Face, at ilang iba pang modelo ng Alibaba ang nasa mga nangungunang puwesto na rin. Sumasalamin ang pag-usbong nito sa mas malawak na pagbabago kung saan nagiging popular sa pandaigdigang komunidad ang mga open model mula sa mga laboratoryo sa China.

Ayon sa Alibaba Cloud, mahigit 400 milyong beses nang na-download sa buong mundo ang pamilya ng Qwen, at mahigit 300 modelo na ang inilabas ng kumpanya mula nang simulan ang serye. Suportado ito ng reaksyon ng mga mamumuhunan. Tumaas nang bahagya sa 4 na porsiyento ang bahagi ng Alibaba sa Hong Kong noong araw na umakyat ang Qwen3 Omni sa tuktok ng mga community chart, palatandaang sinusubaybayan ng merkado ang pagsulong ng kumpanya sa AI.

Pinagtatalunan din kung ano nga ba ang ibig sabihin ng pagiging bukas. Inilalabas ang mga modelo sa ilalim ng Apache 2.0 at makukuha ang mga weight, pero hindi isinapubliko ang buong paraan para maulit ang pagsasanay mula sa hilaw na datos. Tatawagin ito ng mga mahigpit ang pamantayan na open weights. Para sa karamihan ng negosyo, mas mahalaga ang mga tuntunin ng lisensya, na nagpapahintulot sa kanila na maglabas ng mga produkto nang hindi nagbabayad ng bayad kada user o kada upuan.

Mga dapat bantayan sa kaligtasan at pamamahala

Itatanong ng mga negosyo kung nagiging maaasahan at ligtas nga ba ang iniulat na pag-angat sa mga benchmark kapag ginagamit ang sistema sa ilalim ng mabigat na load. May natatanging panganib ang mga sistema ng pananalita, mula sa maling pagkarinig sa mga utos hanggang sa kapani-paniwalang sintesis ng boses. Dapat magtakda ang mga team ng mga pananggalang para sa pagberipika ng pagkakakilanlan, pagsala ng nilalaman, at pagpapanatili ng datos. Nakakatulong sa mga kontrol na ito ang paghihiwalay ng Thinker at Talker, dahil maaaring harangin ng safety layer ang teksto bago gumawa ng pananalita.

Tutuunan din ng pansin ang kahandaan sa operasyon. Madalas mamuhunan ang mga organisasyong gumagamit ng open model sa malawakang saklaw sa MLOps, mga pipeline para sa fine-tuning, at pagsusuri. Binabawasan ng Qwen3 Omni ang pangangailangang magpalipat-lipat sa maraming modelo dahil pinoproseso nito ang teksto, audio, larawan, at video sa iisang lugar. Maaari nitong pasimplehin ang imprastraktura at pabilisin ang pagbuo ng produkto, lalo na para sa mga deployment sa sariling lugar o sa sovereign cloud na kailangang sumunod sa mga panrehiyong tuntunin.

Inilahad ng Alibaba ang mga susunod na hakbang, kabilang ang mas mahusay na pagkilala sa maraming tagapagsalita, pagkilala sa teksto sa video, mas mahusay na pagkatuto mula sa pinagsamang audio at video, at mas may kakayahang mga autonomous agent. Tumutugma ang mga layuning ito sa mga bahaging unang tututukan ng mga kostumer habang inililipat nila sa aktuwal na paggamit ang mga paunang pagsubok.

Mahahalagang Punto

• Iisang modelo ang Qwen3 Omni na tumatanggap ng teksto, larawan, audio, at video at naglalabas ng teksto at pananalita nang tuluy-tuloy.
• Inilalabas ng Alibaba ang mga weight sa ilalim ng Apache 2.0, na nagpapahintulot sa komersyal na paggamit, pagbabago, at muling pamamahagi, kasama ang patent grant.
• May tatlong bersyong inilalabas ngayon: Instruct para sa buong interaksyon, Thinking para sa mahabang pangangatwiran na teksto ang output, at Captioner para sa paglalarawan ng audio na kaunti ang hallucination.
• Magkahiwalay ang pangangatwiran ng Thinker at paglikha ng pananalita ng Talker, at gumagamit ang mga ito ng Mixture of Experts upang mapanatiling mababa ang latency kahit maraming sabay-sabay na gawain.
• Iniulat na humigit-kumulang 234 milliseconds ang latency bago dumating ang unang packet para sa audio at mga 547 milliseconds para sa video, sa loob ng isang real-time factor.
• Sinusuportahan ng modelo ang 119 na wika sa teksto, nakauunawa ng pananalita sa 19, at nakapagsasalita sa 10, kabilang ang mga diyalekto gaya ng Cantonese.
• Ang AuT, isang audio encoder na may 600 milyong parameter na sinanay sa humigit-kumulang 20 milyong oras ng audio, ang pundasyon ng pag-unawa nito sa pananalita.
• Ipinapakita ng mga benchmark na nangunguna ito sa 22 sa 36 na pagsusulit at sa mga open model sa 32, na may mahusay na resulta sa pananalita, musika, paningin, at video.
• Nagsisimula sa 0.00025 dolyar kada isang libong text input token at 0.00096 dolyar kada isang libong text output token ang presyo ng API, at may libreng isang milyong token para sa pagsubok sa loob ng 90 araw.
• Mabilis ang pagdami ng gumagamit nito sa Hugging Face, at iniulat ng Alibaba na daan-daang milyong beses nang na-download ang Qwen habang sinusuri ng mga negosyo ang paggamit ng mga open model sa aktuwal na produksyon.