Ipinakilala ng HoYoverse ang Gamer AI na naglalaro ng Honkai: Star Rail sa pamamagitan ng panonood sa screen

12 min. na pagbasa
HoYoverse unveils Gamer AI that plays Honkai: Star Rail by watching the screen

AI player na ginawa para sa mga developer

Ipinakilala ng pangkat ng pananaliksik sa Honkai AI ng HoYoverse ang Gamer, isang sistemang artificial intelligence na naglalaro sa pamamagitan ng pagtingin sa screen at pagpapadala ng mga utos sa keyboard at mouse. Sa isang iniulat na pagsubok na tumagal nang 50 oras, kusang kinontrol nito ang Honkai: Star Rail sa loob ng 95% ng oras, at hinarap ang hamong higit pa sa pagpili ng tamang galaw: ang pag-alala sa dapat gawin sa isang mahabang pakikipagsapalaran.

Mga Nilalaman
  1. AI player na ginawa para sa mga developer
  2. Paano ginagawang mga aksyon ng Gamer ang mga screenshot?
  3. Pagtuturo sa system na alalahanin ang isang quest
  4. Ano talaga ang sinusukat ng mga resulta sa quest
  5. Ipinakikita ng mga palaisipan ang hindi pantay na performance
  6. Bakit nangangailangan ng makapangyarihang hardware ang mas mabilis na mga pagpapasya
  7. Ano na ang inilabas, at ano pa ang hinihintay?
  8. Paano makatutulong ang virtual na manlalaro sa pagsubok ng laro
  9. Bakit lumalampas sa Honkai: Star Rail ang pananaliksik
  10. Mga Pangunahing Punto

Inilathala ng pangkat ng miHoYo ang pahina ng proyekto at research paper noong Nobyembre 13, 2026. Ipinakikita sa mga demonstrasyon ang Gamer na sumusunod sa mga quest, nakikipag-usap sa mga karakter, lumalaban sa mga kalaban at boss, lumulutas ng mga palaisipan, at tumatapos ng limang uri ng minigame. Mga screenshot ang pinagmumulan ng input nito, sa halip na nakatagong impormasyon sa loob ng laro.

Mga developer at researcher ang nilalayong gagamit nito. Inilalarawan ng HoYoverse ang Gamer bilang kasangkapang maaaring makatulong sa pagsubok ng mga laro, paghahanap ng mga problema at pagbabawas ng paulit-ulit na gawain sa development; sa mas pangmatagalang pananaliksik, maaari rin itong makatulong sa pagbuo ng artificial intelligence para sa mga robot. Gumamit ang iniulat na mga pagsubok sa performance ng makapangyarihang hardware sa mga data center, kabilang ang mga graphics processor na Nvidia H200.

Para sa mga manlalaro, samakatuwid, ang kasalukuyang hakbang ay isang proyektong pananaliksik, hindi bagong feature para sa awtomatikong paglalaro. Para sa mga developer, mas kongkreto ang pakinabang: isang virtual tester na susubok dumaan sa isang quest gamit ang nakikitang interface na ginagamit din ng tao, at magpapatuloy sa mga pag-uusap, paglalakbay, labanan at palaisipan.

Paano ginagawang mga aksyon ng Gamer ang mga screenshot?

Ang Gamer ay isang vision-language-action model. Sa payak na pananalita, pinag-uugnay nito ang tatlong kakayahan: pagtingin sa laman ng screen, pag-unawa sa mga tagubilin, at pagsasagawa ng mga aksyon. Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent ang pamagat ng papel. Inilalarawan ng mahabang pangalang ito ang pangunahing layunin: kontrolin ang mga laro sa mahabang panahon sa halip na magsagawa lamang ng isang hiwalay na aksyon.

Kinukunan ng system ng sample ang screen ng laro nang limang beses bawat segundo at gumagawa ng mga utos sa keyboard at mouse na katumbas ng 30 update bawat segundo. Tumatagal nang humigit-kumulang 200 millisecond ang bawat pagpapasya sa aksyon, na hinahati sa anim na hakbang na tig-33 millisecond. Dahil dito, nakapagpaplano ito ng maikling serye ng mga input bago muling makakita ng bagong visual na impormasyon.

Maaaring sulyapan ng isang manlalarong tao ang palatandaan ng pupuntahan, pindutin nang matagal ang isang movement key at ayusin ang anggulo ng kamera. Natututuhan ng Gamer ang katulad na ugnayan sa pagitan ng mga larawan sa screen at mga utos sa input. Kaya nitong igalaw ang mga karakter, paikutin ang kamera, mag-navigate sa mga menu at makipag-ugnayan sa mga bagay nang hindi umaasa sa espesyal na interface na nagbibigay ng internal na estado ng laro.

Patalastas

May 74 na key token ang inilathalang format ng aksyon, na may partikular na mga tuntunin sa paggamit ng malaking titik. Itinuturing na walang aksyon ang di-wastong output. Mahalaga ang ganitong mga tuntunin dahil kailangang magpadala ang isang AI system ng mga utos na mapagkakatiwalaang mabibigyang-kahulugan ng software, kahit hindi perpekto ang mas malawak nitong pangangatwiran.

Pagtuturo sa system na alalahanin ang isang quest

Nagsisimula ang pagsasanay sa mahigit 10,000 oras ng naitalang aktibidad sa keyboard at mouse sa iba't ibang laro. Iniuugnay ng mga rekord na ito ang nakikita sa screen sa mga ginawang aksyon, upang matutuhan ng Gamer ang mga pangunahing kasanayan sa pagkontrol bago ito atasan na tapusin ang mas mahahabang layunin.

Pagkatapos, nagdagdag ang mga researcher ng pagsasanay sa mga tagubilin, kasama ang mga paliwanag sa mga desisyon at buod ng naunang aktibidad. Kabilang sa iniulat na materyal sa pagsasanay ang humigit-kumulang 1.2 milyong anotasyon sa pangangatwiran at 223,000 anotasyon sa memorya. Nagbibigay ang mga ito sa modelo ng mga halimbawa kung paano pumili ng susunod na hakbang at magtago ng kapaki-pakinabang na impormasyon.

Mahalaga ang memorya sa isang quest na nagpapapunta sa manlalaro sa ilang lugar. Maaaring kailanganin ng system na tandaan kung aling karakter na ang nakausap nito, kung aling ruta ang nabigo at kung aling layunin ang hindi pa natatapos. Gumagawa ang Gamer ng maiikling buod para makapagpatuloy ito kapag napuno na ang aktibong konteksto nito sa pagtatrabaho.

Gumagamit din ang pangkat ng tinatawag nilang sparse reasoning. Sa halip na gumawa ng mahabang paliwanag bago ang bawat galaw, maaari nang magpatuloy sa pagkilos ang modelo habang kapaki-pakinabang pa ang plano, at mas pag-ukulan ng pangangatwiran kapag nagbago ang sitwasyon. Nakatutulong ito na pag-ugnayin ang maingat na pagpaplano at ang mabilis na input na kailangan sa laro.

Ano talaga ang sinusukat ng mga resulta sa quest

Sinubukan ng mga researcher ang Gamer sa dalawang side quest ng Honkai: Star Rail: Opportunity Makes the Thief (Part I) at Bestial Ferocity. May ilang uri ng aktibidad sa dalawang quest, kabilang ang paglalakbay, pakikipag-usap sa mga karakter at pakikipaglaban sa mga kalaban; may kasama ring simpleng palaisipan sa pagsubok ng mga quest.

Pagkatapos ng unang yugto ng patuloy na pagsasanay, iniulat na 34.4% at 47.9%, ayon sa pagkakasunod, ang mga iskor sa pagkumpleto ng mga layunin sa quest. Pagkatapos ng reinforcement learning, umabot ang mga ito sa 80.0% at 83.6%. Tumaas ang unang quest nang 45.6 percentage point at ang ikalawa nang 35.7 percentage point.

Ang reinforcement learning ay pagpapahusay sa pamamagitan ng mga pagsubok na binibigyan ng iskor batay sa kinalabasan. Gumamit dito ang pangkat ng paraang tinatawag na Temporal-Aware GRPO upang iugnay ang mga gantimpala sa mga aksyon sa magkakaugnay na yugto ng paglalarong sinusuportahan ng memorya. Katulad ito ng pag-alam kung aling naunang desisyon ang nakatulong makatapos ng isang gawain pagkaraan ng ilang minuto.

Patalastas

Sinusukat ng 50 oras na pagsubok, kung saan 95% ng oras ay awtonomong nagkontrol ang Gamer, kung gaano katagal nitong pinangasiwaan ang sarili habang tumatakbo ang laro. Sinusukat naman ng mga iskor sa layunin ng quest ang pag-usad tungo sa mga partikular na layunin. Inangkin din ng pangkat na nakapagtala ito ng mahigit 95% tagumpay sa mga hamon sa pangunahing kuwento sa mga awtomatikong pagsubok—isa pang sukatan na may ibang saklaw. Galing sa mga developer ang mga inilathalang resultang ito; wala pang iniulat na malayang pagpapatunay ng mga ito.

Ipinakikita ng mga palaisipan ang hindi pantay na performance

Ipinakikita ng mga resulta ng Gamer sa mga minigame kung bakit maaaring magpakita ito ng kahanga-hangang kakayahan ngunit mayroon pa ring malalaking kahinaan. Sa 40 gawaing hindi pa nito nakita, na sumasaklaw sa pitong uri ng minigame, nagtala ng 49.7% na average na tagumpay ang bersiyong sinanay gamit ang reinforcement learning. 15.0% naman ang iskor sa naunang yugto ng pagsasanay, kaya 34.7 percentage point ang itinaas.

Malaki ang agwat ng pinakamataas at pinakamababang resulta. Nagtala ang Gamer ng 95.8% sa mga Navigation Compass puzzle at 22.2% sa Abacus Circuitry. Umabot sa 73.6 percentage point ang pagitan, na nagpapakitang malaki ang pagdepende ng performance sa partikular na palaisipan.

Ipinakikita sa mga demo video ang matagumpay na paglalaro sa limang uri ng minigame, samantalang pitong uri ang saklaw ng pagsusuri. Nagbibigay sa mga developer ng mas detalyadong larawan ng kakayahan ng system ang mas malawak na pagsubok, kabilang ang mga gawaing nahihirapan pa rin itong gawin.

Mahalaga ang mga pagkakaibang ito sa praktika para sa pangkat na sumusubok ng laro. Maaaring kailanganin ng masusing pagbabantay sa isang hamon ang isang ahenteng maaasahang nagna-navigate sa ibang hamon. Nagbibigay ang mga resulta ng batayan upang pagpasiyahan ng mga developer kung saan makatitipid sa trabaho ang awtomatikong pagsusuri at kung saan kailangan pa rin ng mga tao na maingat na tingnan ang mga kinalabasan.

Bakit nangangailangan ng makapangyarihang hardware ang mas mabilis na mga pagpapasya

Bumuo ang pangkat ng pananaliksik ng inference engine na tinatawag na Streaming-vLLM upang mabawasan ang pagkaantala sa pagitan ng paghiling ng desisyon at pagtanggap nito. Ang inference ang yugto kung kailan pinoproseso ng sinanay na AI model ang bagong impormasyon at gumagawa ng sagot o aksyon.

Sa iniulat na setup na Nvidia H200, binawasan ng engine ang latency ng kahilingan mula simula hanggang dulo mula 1,306 millisecond tungo sa 65.12 millisecond—humigit-kumulang 20 ulit na pagbilis. Sa payak na pananalita, bumaba ang pagkaantala mula mga 1.3 segundo tungo sa mga 0.065 segundo. Mahalaga ito kapag patuloy na gumagalaw ang laro habang nagpapasya ang AI.

Gumamit ang iniulat na configuration ng Qwen3.5-35B-A3B mixture of experts model, na hinati ang computation sa apat na device. Inaaktiba ng mixture of experts model ang mga piling bahagi ng network nito para sa isang gawain. Mahalaga ang configuration ng hardware at software sa pag-unawa sa bilang ng bilis, dahil inilalarawan nito ang setup para sa pananaliksik, hindi ang performance sa karaniwang computer sa bahay.

Patalastas

Binabawasan ng Streaming-vLLM ang paulit-ulit na computation, muling ginagamit ang nakaimbak na impormasyon at naipapadala ang unang wastong aksyon habang ginagawa pa ang susunod na output. Nakatutulong din sa pagsasanay ang mas mabilis na mga desisyon: mas maraming interaksiyon ang masusubukan ng system sa loob ng parehong panahon kung mas kaunti ang oras na ginugugol nito sa paghihintay.

Ano na ang inilabas, at ano pa ang hinihintay?

Kabilang sa inilabas sa publiko ang pahina ng proyekto, ang papel at isang GitHub repository na may code sa ilalim ng lisensiyang Apache-2.0. Inilalarawan sa repository ang mga prompt, format ng aksyon at resulta ng pagsusuri. Hindi kasama sa inilabas na code ang mga timbang ng modelo—ang mga natutuhang numerikal na parameter na kailangan para patakbuhin ang sinanay na modelo.

Hindi inilabas ng pangkat ang datos ng pagsasanay mula sa Honkai: Star Rail at ang mga timbang ng modelong sinanay o inayos gamit ang datos ng larong iyon, dahil sa mga konsiderasyon sa seguridad ng datos. May kaugnayan ang mga pampublikong file sa naunang pananaliksik ng proyekto sa pangkalahatang pagsasanay.

Nakatala na malapit nang ilabas ang implementasyon ng Streaming-vLLM. Walang ibinigay na petsa ng paglalabas para sa engine. Kasama ng hindi inilabas na mga sinanay na timbang at ng pangangailangan sa makapangyarihang hardware, nag-iiwan ito ng malaking agwat sa pagitan ng pagbabasa tungkol sa pananaliksik at muling pagsasagawa ng ipinakitang system.

Maikli ang pagkakasunod-sunod ng mga publikasyon:

  • Nobyembre 13, 2026: Inilathala ng pangkat ng pananaliksik sa Honkai AI ang pahina ng proyekto at papel tungkol sa Gamer.
  • Nobyembre 16 at 17, 2026: Nagdetalye ang mga pampublikong ulat tungkol sa paraan ng pagsasanay, mga demonstrasyon at resulta ng performance nito.
  • Sa panahong inilathala ang mga ulat na iyon: Nakatala pa rin na malapit nang ilabas ang inference engine, ngunit wala itong nakatakdang petsa ng paglalabas.

Paano makatutulong ang virtual na manlalaro sa pagsubok ng laro

Tinutukoy ng HoYoverse ang pagsubok ng laro bilang isa sa mga pangunahing posibleng gamit nito. Maaaring maglaman ang isang quest ng maraming magkakaugnay na hakbang: lumapit sa isang karakter, magsimula ng pag-uusap, maglakbay sa ibang lugar, manalo sa labanan at kumuha ng isang bagay. Maaaring maputol ang pag-usad ng manlalaro dahil sa problema sa alinman sa mga hakbang na ito.

Maaaring gamitin ng mga developer ang pamamaraan ng Gamer upang paulit-ulit na ipadaan ang isang ahente sa mga interaksiyong nakikita sa screen. Makakatulong ang kakayahan nitong mag-navigate, magbasa ng screen at gumamit ng karaniwang mga kontrol sa pagsusuri kung gumagana ayon sa nilalayon ang mga layunin at menu. Makakatulong din sa mga developer ang pag-uulit ng isang serye ng aksyon upang maulit ang isang problema bago ito ayusin.

Kabilang sa iba pang posibleng gamit na inilista ng pangkat ng pananaliksik ang tulong sa accessibility at pananaliksik sa interaksiyon ng tao at computer. Tinututulan din nito ang paggamit sa Gamer para mandaya, magkaroon ng hindi awtorisadong pag-access, pagsamantalahan ang mga kahinaan sa seguridad o manakit ng mga user at makasira sa patas na paglalaro.

Patalastas

Mahalaga ang mga paghihigpit na iyon dahil magagamit sa magkakaibang layunin ang parehong kakayahang awtomatikong kumontrol ng laro. Ayon sa pahayag, awtorisadong pananaliksik at pagsusuri ang layunin ng pagbuo nito, habang gagabay ang pangangasiwa ng tao at mga tuntunin ng laro sa anumang praktikal na paggamit.

Bakit lumalampas sa Honkai: Star Rail ang pananaliksik

Itinuturing din ng HoYoverse na kapaki-pakinabang na kapaligiran para sa pananaliksik ang mga three-dimensional na mundo ng laro, na maaaring makatulong sa robotika sa hinaharap. Nagbibigay ang mga laro ng magkakasunod na obserbasyon, pagpili at resulta: nakakakita ang isang ahente ng sagabal, pumipili ng ruta, kumikilos at tinitingnan kung ano ang nagbago.

Pinagsasama ng Gamer sa iisang system ang ilang bahagi ng problemang ito. Nagbibigay ng kakayahang kumilala ang mga obserbasyon nito sa screen, tumutulong sa pagpaplano ang mga tagubilin at buod nito, at nagbibigay ng kontrol ang mga output nito sa keyboard at mouse. Layunin ng pagsasanay sa iba't ibang laro na magamit ang mga kasanayang ito sa labas ng iisang quest o laro.

May iba pang kailangang harapin ang isang pisikal na robot, kabilang ang mga tunay na sensor, limitasyon sa pagkilos at mga kinakailangan sa kaligtasan. Ang agarang ambag ng Gamer ay ang pagbibigay ng paraan upang pag-aralan ang matagalang pagkilos at memorya sa mga virtual na kapaligiran, kung saan maaaring ulitin ng mga researcher ang mga gawain at sukatin ang mga resulta.

Pinakamalinaw na nauunawaan ang proyekto kapag pinagsama-sama ang mga resulta nito: higit na bumuti ang performance sa mga quest matapos ang reinforcement learning, hindi pantay ang tagumpay sa mga palaisipan, at malaki ang ibinaba ng latency ng pagpapasya sa mamahaling hardware. Ipinakikita ng mga detalyeng ito kung bakit gugustuhin ng isang developer ang ganitong tester, at kung bakit kailangan pa ng karagdagang trabaho bago ito maging karaniwang kasangkapan.

Mga Pangunahing Punto

  • Kumokontrol ang Gamer ng HoYoverse sa mga laro gamit ang mga screenshot at utos sa keyboard at mouse.
  • Sa iniulat na 50 oras na pagsubok, nagawa nito ang awtonomong pagkontrol sa loob ng 95% ng oras ng paglalaro.
  • Umabot sa 80.0% at 83.6% ang mga iskor sa layunin ng dalawang side quest matapos ang reinforcement learning.
  • 49.7% ang karaniwang tagumpay sa 40 gawain sa minigame, ngunit malaki ang pagkakaiba depende sa uri ng palaisipan.
  • Bumaba ang latency ng pagpapasya mula 1,306 tungo sa 65.12 millisecond sa iniulat na configuration na H200.
  • Pananaliksik at pagsubok ng laro ang layunin ng proyekto. Hindi kasama ang mga timbang ng sinanay na modelo, at nakatala na malapit nang ilabas ang inference engine.
Ibahagi ang artikulong ito

Baka magustuhan mo rin