Inilabas ng KAIST ang KORMo-Web, isang AI agent na gumagamit ng mga website sa pamamagitan ng pagtingin sa screen

11 min. na pagbasa
KAIST unveils KORMo-Web, an AI agent that uses websites by watching the screen

Sinusubukan ng maliit na AI model ang mga tunay na gawain sa website

Inilabas ng mga mananaliksik ng KAIST ang KORMo-Web, isang artificial intelligence agent na nagpapatakbo ng mga website sa pamamagitan ng pag-click ng mouse at pag-input sa keyboard. Nakumpleto ng pinakamaliit nitong modelo ang 42.3% ng mga iniatas na gawain sa Korean at English sa pagsusuri sa mga tunay na website.

Mga Nilalaman
  1. Sinusubukan ng maliit na AI model ang mga tunay na gawain sa website
  2. Paano gumagamit ng website ang AI gaya ng isang tao?
  3. Ano ang itinuro rito ng pangkat bago ito pinakilos
  4. Ano ang ibig sabihin ng 42.3% na antas ng tagumpay?
  5. Bakit mahalaga ang datos ng pagsusuri sa Korean
  6. Tatlong modelo at mga kagamitang kailangan para patakbuhin ang mga ito
  7. Mula sa mga demonstrasyon tungo sa kapaki-pakinabang na pagpapaubaya ng gawain
  8. Mahahalagang Punto

Inanunsyo ng pangkat, sa pamumuno ni Professor Lim Kyung-taek ng Graduate School of Culture Technology ng KAIST, ang paglulunsad nito noong Nobyembre 17, 2026. Gumamit ang kanilang pagsasanay ng mahigit 10 milyong sample ng mga screen sa web at mahigit 100,000 tala ng mga interaksiyon sa website upang ituro sa sistema ang nakikita nito at kung paano kumilos.

Kayang gumamit ng KORMo-Web ng mga serbisyong gaya ng ChatGPT at Claude, maghanap ng mga produkto sa Naver Shopping at Coupang, gumawa ng mga draft ng email at magsagawa ng mga aktibidad sa mga online community. Nagpakita rin ang mga mananaliksik ng demonstration video na nagtipon sa apat na minuto ng 40 gawain sa mga aktuwal na website.

Payak ang pangunahing ideya: sa halip na gumawa ng hiwalay na koneksiyon ng software para sa bawat serbisyo, bigyan ang AI ng kakayahang unawain ang screen na nakikita ng isang tao at patakbuhin ang mga kontrol dito.

Naglabas ang KAIST ng tatlong laki ng modelo, kabilang ang bersiyong may 4 bilyong parameter na maaaring direktang patakbuhin sa personal computer. Kasama rin sa inilabas ang mga timbang ng modelo, datos ng pagsasanay, datos ng pagsusuri sa Korean at code para sa Chrome extension, upang magkaroon ang mga developer ng mga sangkap na kailangan nila para patakbuhin at pag-aralan ang sistema.

Paano gumagamit ng website ang AI gaya ng isang tao?

Ang KORMo-Web ay isang AI agent, na nangangahulugang nagsasagawa ito ng mga hakbang upang tuparin ang isang kahilingan sa halip na magbigay lamang ng nakasulat na sagot. Nagbibigay ng tagubilin ang user, at binibigyang-kahulugan ng sistema ang screen ng web, pumipili ng mga kontrol at naglalagay ng teksto upang makamit ang hiniling na resulta.

Halimbawa, kailangang alamin sa isang gawaing pamimili kung nasaan ang search box, ilagay ang pangalan ng produkto at mag-navigate sa mga resulta. Para maghanda ng materyal gamit ang isa pang serbisyo ng AI, kailangang hanapin ang input area nito, magsumite ng kahilingan at asikasuhin ang tugon.

Patalastas

Nagbibigay ang maraming serbisyo ng software ng application programming interface, o API, na magagamit ng ibang programa para humiling ng impormasyon o magsagawa ng isang aksiyon. Sa halip, layunin ng KORMo-Web na gumana sa pamamagitan ng nakikitang website, upang mabawasan ang pangangailangang gumawa ng nakalaang koneksiyon para sa bawat serbisyo.

Inilarawan ni Lim ang layuning ito habang ipinapaliwanag ang proyekto:

Hindi layunin naming ikonekta nang paisa-isa ang mga panlabas na application programming interface (API) para sa bawat serbisyo. Sa halip, nais naming maunawaan ng AI ang screen gaya ng isang tao at direktang gamitin ang computer,

Naiiba rin ang pamamaraang ito sa automation na pangunahing nakabatay sa pinagbabatayang HTML ng isang pahina o sa Document Object Model, na kilala bilang DOM. Inilalarawan ng mga istrukturang ito kung paano inayos ang isang web page. Nakatuon naman ang pagsasanay sa KORMo-Web sa ipinapakitang screen at sa mga tala kung paano gumagamit ng mga website ang mga tao.

Ano ang itinuro rito ng pangkat bago ito pinakilos

Bumuo ang mga mananaliksik ng mahigit 10 milyong sample ng pagsasanay mula sa mga screen ng web sa Korean at English, kabilang ang mga website na karaniwang ginagamit sa South Korea. Layunin nilang ituro sa modelo ang higit pa sa kinaroroonan ng isang button o text field.

Tinatawag ng pangkat na atomic level web pretraining ang yugtong ito. Sa madaling salita, natututuhan muna rito ang maliliit na bahagi ng isang website bago subukang kumpletuhin ang mas malaking gawain: kung nasaan ang menu, ano ang ginagawa ng isang button, anong input ang tinatanggap ng isang field at ano ang kasalukuyang estado ng isang kontrol.

Magkaugnay ngunit magkaibang impormasyon ang hitsura at tungkulin ng isang button. Kailangang matukoy ng isang agent ang tamang kontrol at maunawaan kung paano makatutulong ang paggamit nito sa pagkumpleto ng gawain ng user. Nagbibigay rito ng pundasyon sa pagpili ng aksiyon ang pagsasanay sa mga detalyeng iyon.

Pagkatapos, nagdagdag ang mga mananaliksik ng mahigit 100,000 tala ng mga interaksiyon sa web sa Korean at English. Ipinapakita ng mga pagkakasunod-sunod na ito ng mga aksiyon, na tinatawag ding mga trajectory, kung paano nagaganap ang paggamit ng website sa maraming hakbang sa halip na sa isang pag-click lamang.

Magkaibang pangangailangan ang tinutugunan ng dalawang yugto ng pagsasanay. Itinuturo ng mga sample ng screen sa agent na kilalanin at bigyang-kahulugan ang nasa harapan nito. Itinuturo naman ng mga tala ng interaksiyon kung paano makapagdadala ang sunod-sunod na aksiyon mula sa isang tagubilin hanggang sa pagkumpleto ng gawain.

Patalastas

Ano ang ibig sabihin ng 42.3% na antas ng tagumpay?

Nakakuha ang KORMo-Web-4B, ang bersiyong may 4 bilyong parameter, ng 42.3% na antas ng tagumpay sa gawain sa English at 42.3% sa Korean sa Online-Mind2Web, isang pagsusuring nagpapagawa sa mga agent ng mga gawain sa mga tunay na website.

Inilalahad ng opisyal na pahina ng inilabas na KORMo-Web-4B ang protokol ng pagsusuri at kumpletong mga resulta. Iisang 612 gawain sa mga aktibong website ang pinatakbo sa lahat ng modelo: 300 sa English at 312 sa Korean. Gumamit ang bawat modelo ng sarili nitong mga prompt at format ng aksiyon, samantalang iisang tagahatol na language model, na tinukoy bilang GPT-6, ang nagbigay ng marka sa lahat ng pagsubok. Ginagamit ng mga antas ng tagumpay ang kabuuang bilang ng mga gawain bilang denominator, kaya itinuturing na kabiguan ang mga pagsubok na nag-crash o walang laman. Itinuturo rin ng pahina ang buong detalye ng harness, system prompt at tool schema.

Ang kumpletong mga resulta, na nakasaad bilang antas ng tagumpay sa English at Korean ayon sa pagkakasunod, ay: Qwen3.5-4B, 20.0% at 13.5%; Fara-1.5-4B, 20.7% at 7.7%; UI-TARS-1.5-7B, 22.3% at 20.2%; OpenWebRL-4B, 32.7% at 15.4%; KORMo-Web-4B, 42.3% at 42.3%; at KORMo-Web-9B, 51.0% at 48.1%.

Ayon sa mga mananaliksik, ito ang pinakamataas na resulta sa mga agent na may pampublikong model weights na isinama sa kanilang paghahambing. Nahigitan ng modelo ang dating pinakamagandang resulta sa paghahambing nang 9.6 na percentage point sa English at 22.1 percentage point sa Korean.

Dahil sa mga agwat na ito, 32.7% ang dating pinakamagandang resulta sa English at 20.2% naman sa Korean. Samakatuwid, higit na malaki ang pagbuti sa Korean, kung saan mahigit doble ng dating marka sa paghahambing ang nakuha ng KORMo-Web.

Sinusukat ng percentage point ang agwat sa pagitan ng dalawang porsiyento. Halimbawa, ang pag-angat mula 20.2% tungong 42.3% ay pagtaas na 22.1 percentage point. Nakakatulong ito upang maipaliwanag kung bakit malaking pagbabago ang resulta sa Korean sa partikular na pagsusuring ito.

Nagbibigay rin ang antas ng tagumpay ng praktikal na panukat sa pagiging maaasahan nito: sa 42.3%, wala pang kalahati ng mga iniatas na gawain ang matagumpay na nakumpleto. Hindi napabilang sa matagumpay na kategorya ang natitirang 57.7%, kaya marami pang kailangang pagbutihin bago regular na maipagkatiwala ng mga user ang trabaho rito nang hindi sinusuri ang resulta.

Bakit mahalaga ang datos ng pagsusuri sa Korean

Naglabas din ang KAIST ng datos ng pagsusuri sa Korean na hinango sa apat na pangunahing benchmark para sa mga graphical user interface agent. Ang graphical user interface ay koleksiyon ng mga biswal na kontrol, gaya ng mga button, menu at text box, na ginagamit ng mga tao sa pagpapatakbo ng software.

Manu-manong binuo ng mga tao ang datos ng pagsusuri sa Korean upang umangkop sa mga kapaligiran ng web sa Korea. Nagbibigay ito sa mga mananaliksik ng paraan para subukan ang mga agent sa mga lokal na website at paggamit ng wika, kasabay ng mga setting sa English na nangibabaw sa pagbuo ng teknolohiyang ito.

Mahalaga ang magkapantay na 42.3% na marka sa Online-Mind2Web dahil magkatabi nitong ipinapakita ang performance sa Korean at English sa ilalim ng iniulat na pagsusuri. Dahil mas malaki rin ang lamang nito sa dating resulta ng paghahambing sa Korean, mahalagang bahagi ng inilabas na sistema ang lokal na wika.

Patalastas

Sa paglalathala ng datos ng pagsusuri, nabibigyan ang ibang developer ng pagkakataong subukan ang kanilang mga sistema sa kaparehong uri ng mga gawain. Kapag isinama sa datos ng pagsasanay at mga tala ng interaksiyon, naglalaan ito ng mas malinaw na batayan sa pagsisiyasat kung aling mga bahagi ng proseso ng pagsasanay ang nagpapahusay ng performance.

Tatlong modelo at mga kagamitang kailangan para patakbuhin ang mga ito

Kabilang sa inilabas ang mga modelong may 4 bilyon, 9 bilyon at 11 bilyong parameter. Ang mga parameter ay mga panloob na numerikal na halagang natututuhan ng isang modelo habang sinasanay; karaniwang inilalarawan ang laki ng modelo batay sa dami ng mga ito.

Nakabatay sa Qwen3.5 ang mga bersiyong 4B at 9B. Ang bersiyong 11B, na tinatawag na KORMo-Web-11B, ay gumagamit bilang panimula ng sariling pamilya ng KORMo foundation model ng KAIST. Ang foundation model ay AI system na sinanay sa malawak na datos at maaari pang sanayin para sa mas tiyak na tungkulin, sa kasong ito, ang pagpapatakbo ng mga website.

Inilaan ang KORMo-Web-4B upang direktang patakbuhin sa personal computer. Mahalaga ang mas maliit nitong sukat sa layunin ng pangkat na magamit ang web assistant sa sariling makina ng user, sa halip na umasa lamang sa mas malaking sistemang nasa malayong server.

Higit pa sa mga modelo mismo ang inilabas. Ginawang makukuha ng KAIST ang mga natutuhang timbang ng modelo, malalaking koleksiyon ng datos ng pagsasanay sa web, mga pagkakasunod-sunod ng aksiyon ng user, datos ng pagsusuri sa Korean, code ng Chrome extension, mga gabay sa pag-install, video at halimbawa.

Hindi tinukoy ng mga mananaliksik ang minimum na pangangailangan sa hardware ng computer. Hindi nakasaad sa opisyal na pahina ng inilabas na sistema kung kailangan ang kumpirmasyon ng user bago bumili, magpadala ng mga email o maglabas ng pampublikong komunikasyon, gaya ng mga komento. Mahalaga ang mga detalyeng ito sa sinumang nag-iisip gumamit ng agent para sa mga gawaing gumagastos ng pera o nakikipag-ugnayan sa ibang tao.

Mula sa mga demonstrasyon tungo sa kapaki-pakinabang na pagpapaubaya ng gawain

Saklaw ng mga demonstrasyon ang ilang pamilyar na uri ng trabaho: paghahanda ng materyal para sa presentasyon gamit ang ChatGPT, paggamit sa Claude para magsaliksik ng mga kamakailang pag-aaral, pag-aayos ng mga resulta sa Notion at paghahanap sa mga shopping website. Dinadala naman ng paggawa ng draft ng email at mga aktibidad sa online community ang sistema sa mga gawaing maaaring makita ng ibang tao ang resulta.

Inilalahad ng apat na minutong video sa pinaikling anyo ang 40 gawain sa website. Para sa mga posibleng user, higit na kapaki-pakinabang na panukat ng pagiging maaasahan ang hiwalay na iniulat na antas ng tagumpay sa gawain, kasama ang praktikal na tanong kung gaano karaming pagsusuri ang kailangan sa isang partikular na trabaho.

Patalastas

Maaaring suriin ang draft ng email bago ipadala. Maaaring tiyakin kung tugma sa badyet at mga kailangan ng user ang mga resulta ng paghahanap ng produkto. Sa paglalathala ng komento o pagkumpleto ng pagbili, kailangang malinaw na pagpasiyahan kung kailan dapat aprubahan ng user ang aksiyon. Dahil sa mga pagkakaibang ito, kasinghalaga ng kakayahang mag-click sa tamang mga kontrol ang pagpili ng gawain.

Ayon kay Lim, nais niyang dalhin ang ganitong uri ng tulong sa mga personal computer:

Umaasa kaming makabuo sa hinaharap ng kapaligiran kung saan kayang magsagawa ng maliit na AI na naka-install sa personal computer ng iba’t ibang gawain sa web para sa user.

Isinasakatuparan ng KORMo-Web ang layuning iyon sa anyong maaaring suriin at patakbuhin ng iba: tatlong inilabas na modelo, malawak na sanggunian sa pagsasanay at mga kagamitang pansubok sa Korean. Ipinakikita ng kasalukuyang mga resulta ang pag-unlad sa pagkumpleto ng mga gawain sa tunay na website, bagaman hindi pa umaabot sa kalahati ng mga gawain sa iniulat na pagsusuri ang matagumpay na nagagawa nito.

Mahahalagang Punto

  • Inanunsyo ng KAIST ang KORMo-Web noong Nobyembre 17, 2026 bilang AI agent na nagpapatakbo ng mga website gamit ang mga nakikitang kontrol.
  • Gumamit ang pagsasanay ng mahigit 10 milyong sample ng screen sa web sa Korean at English at mahigit 100,000 tala ng interaksiyon.
  • Nakakuha ang 4B model ng 42.3% na tagumpay sa gawain sa dalawang wika sa Online-Mind2Web.
  • Lamang ito sa dating pinakamagandang resulta ng modelo sa paghahambing nang 9.6 percentage point sa English at 22.1 sa Korean.
  • Kabilang sa inilabas ang tatlong laki ng modelo, datos ng pagsusuri sa Korean, mga sanggunian sa pagsasanay at code ng Chrome extension.
  • Maaaring patakbuhin sa personal computer ang pinakamaliit na modelo, ngunit dahil sa iniulat na antas ng tagumpay nito, marami pa ring kailangang suriin ang mga user.
Ibahagi ang artikulong ito

Baka magustuhan mo rin