Inilabas ng Baidu ang open-source na multimodal AI na umano'y mas mahusay kaysa GPT-5 at Gemini sa mga benchmark sa bisyon

Bagong open-source na kakumpitensya sa multimodal AI

Ginawang open source ng Baidu ang bagong multimodal model na ERNIE 4.5 VL 28B A3B Thinking, isang sistemang may 28 bilyong parameter na nagpoproseso ng mga larawan, video, dokumento at teksto. Ayon sa kumpanya, nahihigitan nito ang mga nangungunang saradong modelo sa mga benchmark na mabigat sa bisyon habang mas kaunti ang ginagamit na resources. Lisensyado ito sa ilalim ng Apache 2.0 para sa walang limitasyong komersyal na paggamit. Kung mapatutunayan sa mga independiyenteng pagsusuri ang pahayag na ito, maituturing ang Baidu na mahalagang tagapagtustos ng mga visual reasoning model para sa mga negosyo na tumatakbo sa madaling makuhang hardware.

Ina-activate ng ERNIE 4.5 VL 28B A3B Thinking ang humigit-kumulang 3 bilyong parameter kada token, maliit na bahagi lamang ng kabuuan nito. Ginagamit nito ang disenyong Mixture of Experts, na nagruruta sa bawat input papunta sa mga expert network na pinakanauugnay dito. Binabawasan ng piling pag-activate na ito ang pangangailangan sa compute at memory habang napapanatili ang kapasidad ng mas malaking modelo. Ayon sa Baidu, kayang magpatakbo ng inference ng modelo sa iisang 80 GB GPU at maghatid pa rin ng matitibay na resulta sa pag-unawa ng dokumento, pagbibigay-kahulugan sa mga chart at masalimuot na visual reasoning.

Ang pangunahing tampok nito ay ang tinatawag ng Baidu na Thinking with Images. Maaari itong mag-zoom in at mag-zoom out sa isang larawan habang nangangatuwiran, magsuri ng maliliit na bahagi para maghanap ng mga palatandaan, at pagsamahin ang mga lokal na natuklasan sa kabuuang eksena. Kawangis ng ganitong asal ang paraan ng paglutas ng mga tao sa mga problemang biswal. Pinahuhusay nito ang mga gawaing gaya ng pagbasa sa siksik na teknikal na diagram, pagtukoy ng mga depekto sa linya ng produksyon, o pagtukoy sa mga reperensiya gaya ng asul na connector sa ilalim ng ikalawang bolt.

Itinatampok din ng Baidu ang mas mahusay na visual grounding, mas mahigpit na pagsunod sa mga tagubilin para sa mga gawaing may larawan, paggamit ng mga tool kabilang ang paghahanap ng larawan, at matatag na pag-unawa sa video na may kamalayan sa pagkakasunod-sunod ng oras. May kasama itong mga integration kit na gumagana sa Transformers, vLLM at FastDeploy, at toolkit para sa pagsasanay at fine-tuning na tinatawag na ERNIEKit. Sa larangang siksikan at karamihan sa mga nangungunang vision-language system ay sarado pa rin, nagbibigay ang release na ito sa mga developer at kumpanya ng bagong open option na may lisensyang angkop sa negosyo.

Ano ang sinasabi ng modelo na kaya nitong gawin

Hinahati ng Baidu sa anim na larangan ang mga kakayahan ng modelo: visual reasoning, paglutas ng mga problemang STEM, visual grounding, integrasyon ng mga tool, pag-unawa sa video, at dinamikong pagsusuri ng larawan. Sa praktika, nangangahulugan ito na kaya ng sistema na magbasa at magbuod ng mga invoice o financial statement, magsuri ng mga chart at talahanayan, mangatwiran tungkol sa mga circuit diagram at problemang pangheometriya, tumuro sa mga partikular na bagay o bahagi ng larawan kapag inutusan, tumawag sa mga panlabas na tool para kumuha ng mga reperensiyang larawan, at sumubaybay sa mga pangyayari sa magkakasunod na bahagi ng video.

Sa mga leaderboard na ipinakita sa dokumentasyon ng Baidu, sinasabing kapantay o nahihigitan ng modelo ang mga bersyon ng OpenAI GPT-5 High at Google Gemini 2.5 Pro sa isang pangkat ng mga pagsusulit na nakatuon sa bisyon. Kabilang dito ang pagsagot sa mga tanong tungkol sa chart, pag-unawa sa dokumento, at mga benchmark para sa multi-step visual reasoning. Itinatampok din ng kumpanya ang bilis nito, at sinasabing dalawa hanggang tatlong beses na mas mabilis ang inference kaysa sa mga maihahambing na modelong may katulad na katumpakan.

Hindi pa nabeberipika ng mga independiyenteng laboratoryo ang mga chart na ito. Madalas na mas pinapaboran ng mga benchmark suite ang pag-alala ng mga padron, pag-format ng prompt o makikitid na diskarte kaysa sa pagiging maaasahan sa magugulong aktuwal na deployment. Dapat magsagawa ang mga kumpanyang nagsusuri sa ERNIE 4.5 VL 28B A3B Thinking ng mga pilot na nakatuon sa sarili nilang mga dokumento, kondisyon ng ilaw, anggulo ng kamera at mga patakaran sa seguridad bago magpasiyang gamitin ito sa produksyon.

Sa kabila ng pag-iingat na ito, malawak ang saklaw ng mga gawaing kaya nitong tugunan. Dahil pinagsasama nito ang reasoning, grounding at paggamit ng mga tool, maaari itong gamitin sa mga agent-style workflow gaya ng pagbasa sa mga papasok na claim sa mga pila ng insurance, pagtukoy ng mga anomalya sa operasyon ng bodega, o pagtulong sa mga teknisyan na mag-troubleshoot ng kagamitan gamit ang mga larawang may anotasyon at maiikling video.

Paano tumatakbo sa iisang 80 GB GPU ang modelong 28B

Ang susi rito ay ang Mixture of Experts, isang disenyo kung saan maraming espesyalisadong subnetwork ang nasa likod ng isang router. Para sa bawat token o bahagi ng larawan, pumipili ang router ng maliit na pangkat ng mga expert na ia-activate. Ang mga expert na iyon lamang ang nagkukuwenta, kaya kumikilos ang sistema na parang maliit na modelo sa bawat hakbang, habang nagbibigay naman ng mas malaking kapasidad ang kabuuang hanay ng mga expert sa maraming hakbang at gawain. Pinahuhusay ng estrukturang ito ang throughput dahil karamihan sa mga parameter ay hindi aktibo sa bawat operasyon.

Binabawasan ng piling pag-activate ang pangangailangan sa memory at gastos sa compute. Mangangailangan ng mas makapangyarihang hardware ang isang dense model na may 28 bilyong parameter para tumakbo sa kapaki-pakinabang na bilis. Sa pag-activate ng humigit-kumulang 3 bilyong parameter kada token, sinasabi ng Baidu na kayang magpatakbo ng inference ng vision-language model sa iisang GPU, kaya mas maraming laboratoryo ang makapagsusuri rito. May kapalit itong dagdag na komplikasyon. Kailangan ng mga inhinyero ng mabilis at balanseng router, maingat na pagbabalanse ng load, at matatag na mga pamamaraan sa pagsasanay para maiwasang iilang expert lamang ang gumawa ng lahat ng trabaho.

Pag-iisip gamit ang mga larawan at tumpak na grounding

Tumatanggap ang mga tradisyonal na vision-language model ng larawang may nakapirming resolusyon at bumubuo ng sagot na teksto. Nagdaragdag ang Thinking with Images ng paulit-ulit na proseso ng pagpaplano. Hinahati ng modelo ang tanong sa mga hakbang, nagmumungkahi kung saan susuri sa susunod, kumukuha ng crop na bahagi sa mataas na resolusyon, nagbabasa ng teksto o sumusukat ng heometriya sa bahaging iyon, at saka ina-update ang plano nito. Nauulit ang prosesong ito hanggang makakalap ng sapat na ebidensiya para sumagot. Gumagana rin ang kakayahang ito nang pabaligtad kapag hinihingi ng gawain na tumuro sa isang bagay: iniuugnay nito ang mga salita sa mga lokasyon ng pixel at gumuguhit ng kahon o maskara.

Mahalaga ang mas mahusay na grounding kapag magulo o teknikal ang mga larawan. Sa pagmamanupaktura, maaaring magmukhang halos magkapareho ang dalawang piyesa hanggang mag-zoom in. Sa mga drawing pang-inhinyeriya, maaaring magbago ang kahulugan ng isang simbolo dahil sa ilang pixel ng notasyon. Sa medical imaging, maaaring makaimpluwensiya sa diyagnosis ang maliliit na artifact. Kung kayang magpalipat-lipat ng sistema sa konteksto ng buong eksena at sa maliliit na detalye habang ipinapaliwanag ang mga hakbang nito, nagkakaroon ang mga operator ng mas malinaw na talaan para sa pag-audit at paraan para itama ang mga pagkakamali.

Mga benchmark kumpara sa aktuwal na gawain

Madalas pagsama-samahin sa mga score ng vendor chart ang resulta mula sa maraming pagsusuri. Malilinis na larawan na may perpektong crop ang ginagamit sa ilang benchmark. Samantala, may mga tanong naman sa iba na saklaw na ng training set. Sa aktuwal na deployment, may silaw, motion blur, kakaibang font, natatakpang bahagi at mga label sa maraming wika. Maaaring magbago nang malaki ang performance kapag hindi saklaw ng distribusyon ng training ang mga input. Kaya dapat ituring na panimulang punto, hindi pangwakas na konklusyon, ang pahayag na nahihigitan nito ang GPT-5 o Gemini sa mga piling pagsusulit.

Mas maaasahan ang pagsusuring partikular sa gawain. Para sa mga dokumento, maaaring magtipon ang mga team ng ilang daang kinatawang file at sukatin ang katumpakan sa eksaktong pagkuha ng mga field gamit ang answer key na sinuri ng tao. Para sa mga gawaing biswal, maaari nilang gayahin ang mga kondisyon sa produksyon at subaybayan ang precision at recall ng mga kahon o maskara. Para sa mga chart, maaari silang gumawa ng mga sintetikong plot na may mga edge case gaya ng log scale o magkakapatong na serye. Nagbibigay ito ng mas malinaw na larawan ng asal ng modelo at ng mga paraan ng pagkabigo nito.

Paraan ng pagsasanay at stack para sa mga developer

Pinagsasama sa proseso ng pagsasanay ng mga modelong ERNIE 4.5 ang tradisyonal na supervised learning at reinforcement learning para sa mga multimodal na gawain. Binabanggit sa dokumentasyon ang mga estratehiyang GSPO at IcePop para patatagin ang router at pahusayin ang paghubog ng reward habang nagsasanay ng MoE, kasama ang pabagu-bagong sampling ng antas ng hirap upang makakita ang modelo ng mas mahihirap na halimbawa habang umuunlad ito. Nagbubunga ito ng sistemang kayang magplano ng multi-step reasoning sa mga larawan, chart at video sa halip na manghula sa iisang pagdaan lamang.

Saklaw ng pamilya ng mga modelo ang mga bersyong text-only at vision-language, mula sa napakaliit na dense model hanggang sa malalaking MoE system na may daan-daang bilyong kabuuang parameter. Ayon sa Baidu, nagbibigay-daan ang arkitektura sa pagbabahagi ng parameter sa iba't ibang modalidad, kaya napakikinabangan ng mga bahagi para sa teksto at bisyon ang isa't isa nang hindi napapababa ang kalidad ng wika. Tumatakbo ang pagsasanay at inference sa platform ng kumpanya na PaddlePaddle, na ayon sa team ay mahusay gumamit ng hardware sa malakihang operasyon.

May inilalabas na hanay ng mga tool ang Baidu para sa mga developer. Sinusuportahan ng ERNIEKit ang fine-tuning, pag-optimize ng preference at quantization para sa deployment na matipid sa resources. Maaaring patakbuhin ang vision-language model sa mga karaniwang stack gaya ng Transformers at vLLM, habang magagamit ang FastDeploy para sa inference sa produksyon. Inaalis ng lisensyang Apache 2.0 ang maraming limitasyon sa komersyal na paggamit. Makikita ang opisyal na pahina ng modelo sa Hugging Face at naroon naman sa repository ng Baidu sa GitHub ang code at mga recipe.

Ano ang kahulugan nito para sa mga negosyo

Dahil sa open license at kakayahang mag-inference sa iisang GPU, kaakit-akit ang modelo para sa mga team na nagnanais ng pribadong visual AI na nasa sariling lugar at hindi nagpapadala ng datos sa isang cloud provider. Maaaring subukan ng mga industriyang maraming dokumento ang matalinong pagtanggap ng mga kontrata, invoice at claim. Maaaring bumuo ang mga tagagawa ng mga istasyon para sa inspeksiyon ng kalidad na pinagsasama ang bisyon at gabay sa wika para sa mga manggagawa sa linya. Magagamit naman ng mga team sa retail at logistics ang grounding para hanapin ang mga produkto at beripikahin ang mga label sa mga bodega. Maaari ring pahusayin ng mga grupo sa customer service ang mga sagot sa chat sa pamamagitan ng pagbasa sa mga nakapaloob na chart o screenshot.

Mahalaga ang gastos. Maraming organisasyon ang hindi kayang maglaan ng mga kumpol ng H100-class GPU para sa iisang aplikasyon. Binabawasan ng sistemang tumatakbo sa iisang 80 GB card ang mga hadlang sa pagsisimula ng mga pilot at maagang deployment. Ang pagsasama rin ng grounding, paggamit ng mga tool at pag-unawa sa video ay angkop sa mga agent-style workflow, kung saan nagbabasa, naghahanap, nagki-click at nangangatuwiran ang modelo sa maraming hakbang para matapos ang isang gawain. Tugma ito sa pag-usad tungo sa mga agent na gumagamit ng computer at nagpapatakbo ng mga karaniwang interface sa halip na mga custom API.

Mas malawak na karera: mga open model laban sa mga saradong serbisyo

Inilabas ang modelo sa isang taong abala para sa mga open model. Nagpakilala ang DeepSeek ng napakalaking MoE language model na may daan-daang bilyong kabuuang parameter at ilang dosenang bilyon lamang na aktibo kada token. Iniulat nitong nakakuha ito ng matataas na score sa mga pangkalahatang benchmark sa maliit na bahagi ng gastos sa pagsasanay ng mga saradong sistema. Itinulak naman ng Alibaba Marco o1 ang reasoning gamit ang mga paraang gaya ng fine-tuning sa chain of thought at pagpaplanong ginagabayan ng paghahanap para pangasiwaan ang mga bukas na gawaing walang malinaw na gantimpalang numerikal.

Palaki nang palaki ang bilang ng mga kakayahang modelong inilalabas ng mga laboratoryo sa China, kabilang ang Baidu, Alibaba at iba pa, sa ilalim ng mga lisensyang maluwag ang mga tuntunin. Nagbibigay ang open access sa mga developer sa rehiyon ng paraan para bumuo nang hindi gaanong umaasa sa mga pagmamay-aring serbisyo. Pinipilit din nito ang mga pandaigdigang provider na bigyang-katwiran ang premium na presyo sa pamamagitan ng malinaw na bentahe sa pagiging maaasahan, mga tool o integrasyon. Lumiit na ang agwat sa performance ng mga open at closed model sa maraming larangan, lalo na sa mga espesyalisadong gawain gaya ng pagsusuri ng chart at pagkuha ng impormasyon mula sa dokumento.

Mga limitasyon at tanong na hindi pa nasasagot

May mga kapalit din ito. Kailangan pa rin ng vision-language model ng 80 GB GPU para makuha ang pinakamahusay na resulta, kaya hindi ito magagamit sa maraming pangkaraniwang device. Nakatala sa 128K token ang context window, na kapaki-pakinabang para sa mahahabang PDF ngunit may hangganan pa rin kapag pinagsama-sama ang maraming larawan, teksto ng OCR at mga tagubilin. Maaari ring magpalubha sa malakihang deployment ang pagruruta ng MoE, dahil kailangang subaybayan ng mga inhinyero ang balanse ng mga expert at magbantay laban sa biglaang pagtaas ng latency na dulot ng pagsisikip sa ilang ruta.

Nananatiling mahalagang usapin ang kaligtasan. Maaaring malinlang ang mga sistema ng larawan ng mga adversarial pattern o maling korelasyon. Kailangang iwasan ng modelong aktibong kumukuha ng crop at nagzo-zoom ang confirmation bias, kung saan patuloy na maling bahagi ang sinusuri ng plano. Aasahan ng mga negosyo ang malinaw na talaan para sa pag-audit ng bawat hakbang sa chain of thought kapag nasa thinking mode ang modelo, o kahit man lang mga nakaayos na trace ng mga tool call at bounding box. Ayon sa Baidu, sumailalim ang modelo sa multimodal reinforcement learning at alignment para sa grounding, ngunit kakailanganin pa rin ng malawakang pagsusuri ng mga third party para makabuo ng tiwala.

Mahahalagang punto

• Inilabas ng Baidu ang ERNIE 4.5 VL 28B A3B Thinking, isang open-source na multimodal model sa ilalim ng Apache 2.0 para sa komersyal na paggamit.
• Ayon sa pahayag, nakahihigit ang modelo sa GPT-5 High at Gemini 2.5 Pro sa mga benchmark na mabigat sa bisyon, ngunit hinihintay pa ang independiyenteng pagpapatunay.
• Gumagamit ito ng disenyong Mixture of Experts, na nag-a-activate ng humigit-kumulang 3 bilyon sa 28 bilyong parameter kada token para bawasan ang pangangailangan sa compute at memory.
• Maaaring patakbuhin ang inference sa iisang 80 GB GPU, kaya mas madaling magsagawa ng mga pilot at pagsusuri sa sariling lugar.
• Kabilang sa mga pangunahing tampok ang Thinking with Images para sa mga prosesong nagzo-zoom at nagsusuri, mas mahusay na visual grounding, at pag-unawa sa video.
• Nilalayon ng anim na pangunahing kakayahan nito ang visual reasoning, mga gawaing STEM, grounding, paggamit ng mga tool, pagsusuri ng video at dinamikong pagpaplano sa larawan.
• Kabilang sa pagsasanay ang multimodal reinforcement learning gamit ang GSPO at IcePop at pabagu-bagong sampling ng antas ng hirap para patatagin ang MoE.
• Kabilang sa mga tool para sa developer ang ERNIEKit, pagiging tugma sa Transformers, vLLM at FastDeploy, at pampublikong pahina ng modelo at repository ng code.
• Kabilang sa mga posibleng gamit ang pagproseso ng dokumento, pagkontrol sa kalidad sa pagmamanupaktura, operasyon sa bodega at suporta sa customer.
• Kabilang sa mga limitasyon ang pangangailangan sa 80 GB GPU, 128K na context window, komplikasyon sa pagruruta ng MoE, at mga tanong tungkol sa katatagan at kaligtasan.