Sinubukan ng Apple ang HALO sa Unitree G1, iniulat ang 91% tagumpay sa mga silid na hindi pa namamapa

Humanoid robot na sinanay sa mga virtual na tahanan, sumubok sa mga totoong silid

Sinabi ng mga mananaliksik ng Apple na nakapagtala ang kanilang HALO humanoid control system ng average na 91% tagumpay sa mga indibiduwal na pisikal na gawain sa 360 pagsubok sa anim na totoong kapaligiran na hindi pa nito na-scan o namamapa. Gamit ang Unitree Robotics G1, ginamit ng sistema ang mga natutuhan nito sa simulation upang maglakbay sa mga di-pamilyar na lugar, umupo sa mga muwebles, dumaan sa makikitid na siwang at magtulak ng mga kahon.

Lumabas ang mga resulta sa Perceptive Humanoid Motion from Simulation, na isinumite sa arXiv noong Nobyembre 4, 2026. Inilalarawan ng papel ng pangkat ng Apple ang pagsasanay gamit ang humigit-kumulang 300 oras ng sintetikong halimbawa mula sa 1,000 tahanang binuo ng computer, bago direktang ilipat ang sistema sa isang pisikal na robot.

Mas mahirap ang mas mahahabang gawain. Sa hiwalay na totoong kapaligiran, nakapagtala ang HALO ng average na 70% tagumpay sa tatlong kombinasyon ng mga kilos, na bawat isa ay sinubukan nang 10 beses. Nagtagumpay sa lima sa 10 pagsubok ang pagkakasunod-sunod na nangangailangan dito na yumuko upang makaiwas sa sagabal, lumapit sa target at magtulak ng kahon.

Ang praktikal na pagsulong ay ang pag-uugnay ng pag-unawa sa kahilingan at paggalaw ng buong katawan sa gitna ng mga di-pamilyar na muwebles. Para sa utos na umupo sa upuan, kailangang tukuyin ng robot ang upuan, humanap ng dadaanan, ipuwesto ang katawan at panatilihin ang balanse habang umuupo. Hinahati ng HALO ang mga responsibilidad na ito sa tatlong magkatuwang na control layer.

Sina Siyuan Hu, Abulikemu Abuduweili, Yue Meng, Shipeng Liu, Quentin Leboutet, Chen Chen, Matthias Müller at Vladlen Koltun ang mga may-akda; lahat sila ay nakatalang kaanib ng Apple. Naglabas din sila ng code para sa pagbuo ng datos, pagsasanay at pag-deploy, kabilang ang pagpaplano ng gawain, pagbuo ng galaw at pagsubaybay sa galaw sa simulation at sa mga pisikal na robot.

Saklaw ng 91% na resulta

Magkakaiba ang antas ng tagumpay sa anim na indibiduwal na kasanayan. Pinakamahusay ang pagyuko, samantalang pinakamababa ang tagumpay sa mga sinubok na kilos kapag umuupo:

• Pagpunta sa tinukoy na bagay: 92%.
• Pag-upo sa muwebles: 85%.
• Pagdaan sa bahagyang nakabukas na pinto: 93%.
• Pagyuko upang makadaan sa ilalim ng sagabal: 100%.
• Paggapang sa ilalim ng sagabal: 90%.
• Pagtulak ng kahon: 88%.

15 puntos-porsiyento ang agwat ng pagyuko at pag-upo. Higit pa sa pagpunta sa tamang lugar ang kailangan sa pag-upo: dapat pumantay ang robot sa muwebles at ilipat ang bigat nito sa upuan. Nangangailangan ito kapwa ng mahusay na pag-unawa sa nakikita at ng pisikal na controller.

Hindi pamilyar sa HALO ang lahat ng anim na kapaligirang ginamit sa pagsusuri. Hindi muna ini-scan ng mga mananaliksik ang mga ito at hindi rin ginamit ang mga ito sa pagsasanay. Tinatawag ng papel na zero-shot transfer ang paraang ito: mula sa pagsasanay sa simulation, direktang ginamit ang sistema sa mga pisikal na lugar nang walang karagdagang pagsasanay para sa bawat destinasyon.

Ipinakikita rin sa mga demonstrasyon ang pagsunod ng G1 sa isang tao, pag-upo sa sofa, patagilid na pagdaan sa bahagyang nakabukas na pinto at pagyuko o paggapang sa ilalim ng mesa. Ipinakikita ng mga kilos na ito kung paano inaangkop ng sistema ang tindig nito sa nakapaligid na espasyo sa halip na basta maglakad patungo sa destinasyon.

Bakit mas mahirap ang mahahabang tagubilin

Mas malawak ang pagkakaiba-iba ng resulta sa tatlong kombinasyon ng gawain ng HALO. Nagtagumpay ito sa lahat ng 10 pagsubok sa pagdaan sa pinto at pagkatapos ay pagpunta sa target. Nagtagumpay sa anim ang pagyuko at pagkatapos ay pag-upo. Nagtagumpay naman sa lima ang pagyuko, paglapit sa target at pagtulak ng kahon.

Sa kabuuan, 21 sa 30 pagsubok ang matagumpay na pagkakasunod-sunod, o 70%. Mas mababa ito nang 21 puntos-porsiyento sa average para sa mga indibiduwal na gawain, bagaman magkaiba ang lugar at mas kaunti ang pagsubok sa pagsusuri ng mga pagkakasunod-sunod.

Mas maraming pagkakataong magkaproblema sa isang pagkakasunod-sunod dahil nagiging panimulang posisyon ng susunod na kilos ang kinalabasan ng nauna. Halimbawa, kailangang makalabas ang robot mula sa ilalim ng sagabal nang nasa posisyon pa rin ito para lumapit sa target at isagawa ang susunod na kilos.

Gumagamit ang HALO ng mga biswal na pagsusuri upang tugunan ito. Sinusubaybayan ng planner ang video mula sa pananaw ng robot, tinataya kung nagtagumpay ang kasalukuyang kilos at nagpapasya kung magpapatuloy o uulit. Ipinakikita ng mga resulta na mas mahirap pagsamahin ang mga kapaki-pakinabang na kasanayan kaysa isagawa ang mga ito nang magkakahiwalay.

Tatlong layer ang naglilipat ng kahilingan tungo sa pagkilos

Pagpaplano ng gawain ang tungkulin ng pinakamataas na control layer. Gumagamit ito ng vision-language model, isang uri ng AI na nagpoproseso kapwa ng mga larawan at salita, upang bigyang-kahulugan ang kahilingan kasabay ng nakikita ng kamera. Ang default na modelo ay Qwen3.6-35B-A3B, na lokal na pinatatakbo sa Mac mini na dala ng robot.

Tuwing dalawang segundo tinatawag ang planner. Kung hihilingin ng isang tao sa robot na umupo nang hindi tinutukoy ang upuan, kailangan nitong pumili ng angkop na bagay na nakikita nito. Kung nakaharang ang mesa sa daan patungo sa upuan, maaari nitong hatiin ang kahilingan sa mas maliliit na kilos: yumuko upang makadaan sa sagabal, lumapit sa upuan at umupo.

Ginagawang plano ng gitnang layer ang bawat subtask. Pinagsasama nito ang Qwen3.5-2B, na nananatiling hindi nagbabago ang mga parameter ng encoder habang sinasanay, at isang diffusion transformer decoder na bumubuo ng galaw ng buong katawan. Ginagawang representasyon ng encoder ang larawan at tagubilin na magagamit ng modelo sa paggalaw; ginagawa naman ng decoder ang mga nakaplanong tindig.

Tumingin ang layer na ito nang humigit-kumulang limang segundo sa hinaharap at muling nagpaplano nang mga tatlong beses bawat segundo. Kaya patuloy nitong ina-update ang nilalayong kilos batay sa mga bagong obserbasyon ng kamera sa halip na magtakda ng buong limang segundong kilos nang hindi tinitingnan ang paligid.

Ginagawang mga utos sa mga kasukasuan ng pinakamababang layer, na tinatawag na motion tracker, ang mga planong ito nang 50 beses bawat segundo. Pinagsasama nito ang mga depth image at impormasyon tungkol sa sariling posisyon at galaw ng robot upang matulungan itong sundin ang plano habang isinasaalang-alang ang balanse, pagdikit at mga limitasyon ng motor.

Nakasakay ang Mac mini sa G1

May Mac mini na may M4 Pro chip at 64 GB ng unified memory sa proteksiyon na lalagyan sa likod ng G1. Pinatatakbo ng computer na ito ang mas masinsinang mga modelo para sa pagpaplano ng gawain at pagbuo ng galaw. Ang sariling onboard processor ng G1 naman ang nagpapatakbo sa motion tracker.

May OAK-1W camera sa pasadyang kabitan sa ulo. May resolusyon na 1280 by 800 pixel ang color video stream nito, tumatakbo sa 30 frame kada segundo at sumasaklaw sa 120-degree na field of view. Tinutulungan ng malawak na tanaw ang sistema na makita ang mga kalapit na muwebles at siwang habang gumagalaw ang katawan.

Gumagana ang robot nang walang nakakabit na kable, at ZeroMQ, isang sistema ng pagmemensahe, ang ginagamit ng mga bahagi ng software nito upang mag-usap. Gumagana ang default na lokal na configuration nito nang walang koneksiyon sa internet. Maaari ring tumawag ang HALO sa cloud model sa pamamagitan ng application programming interface kapag itinakda ito sa ganoong paraan.

Kaayon ng hirarkiya ng kontrol ang paghahati ng gawain sa pagko-compute. Hindi kailangang madalas unawain ang isang kahilingan, samantalang nangangailangan ng mas mabilis na mga update ang pagpapanatili ng katatagan ng gumagalaw na robot. Kinukuwenta ng motion generator ang bagong plano habang patuloy namang isinasagawa ng tracker ang kasalukuyang plano, kaya hindi ito kailangang huminto sa tuwing may kukuwentahin ang modelo.

Paano nagbibigay ng mga halimbawa sa pagsasanay ang 1,000 virtual na tahanan

Tinutugunan ng proseso ng pagsasanay ng HALO ang isang partikular na kakulangan: mga halimbawang nag-uugnay sa nakikita ng humanoid, ipinagagawa rito at sa dapat na galaw ng buong katawan nito. May mga larawan ng mga kilos sa karaniwang video, ngunit kailangang itambal ang mga larawang ito sa mga tagubilin at detalyadong galaw ng robot upang sanayin ang sistemang ito.

Inilalarawan ng mga may-akda ang oras na kailangan ng ilang paraang nangangalap ng demonstrasyon sa pamamagitan ng pagpapatakbo ng tao o mga naisusuot na kagamitan sa pagrekord:

Dahil kailangang manu-manong isagawa ng isang tao ang bawat episode, nangangailangan ng hindi bababa sa isang oras ng oras ng tao ang bawat oras ng datos.

Sa halip, bumubuo ang HALO ng magkakatugmang halimbawa sa simulation. Nagsisimula ang proseso sa paghahati ng gawain sa mga bahagi ng galaw. Halimbawa, maaaring kabilang sa pag-upo sa armchair ang paglakad pasulong, paglingon at pagbaba sa upuan. Ginagabayan ng mga text prompt, waypoint ng ruta at pangunahing tindig ang isang modelo ng pagbuo ng galaw na tinatawag na Kimodo.

Pagkatapos, sinusuri ng mga awtomatikong heometrikong pagsusuri ang mga posibleng galaw upang matukoy ang mga problemang gaya ng pagdulas ng paa, paglusot ng katawan sa sahig, biglaang pagtalon at paggalaw ng mga kasukasuan nang lampas sa limitasyon. Pinipili ng proseso ang pinakamahusay na posibleng galaw bago ito ilagay sa isang virtual na silid.

Nagbibigay ang Infinigen, isang generator ng mga procedural na eksena, ng 1,000 kapaligiran na may iba-ibang ayos at muwebles, kabilang ang mga sala, opisina at silid-tulugan. Naghahanap ang sistema ng mga puwestong kasya ang nakaplanong galaw ng robot at ang target na bagay nang hindi bumabangga sa mga muwebles sa paligid.

Pagkatapos, nililikha ng simulator ang tanaw ng robot habang isinasagawa nito ang kilos, gamit ang ginayang fisheye camera na itinugma sa pisikal na setup. Pinag-iiba-iba ng mga pagbabago sa ilaw, exposure, kulay, contrast, blur at ingay ng sensor ang mga larawan. Iniuugnay ng bawat halimbawang nabubuo ang isang tagubilin, tanaw ng kamera at katumbas na galaw ng katawan.

Gastos sa pagko-compute at trabaho ng tao

Tumagal nang humigit-kumulang 48 oras ang pagbuo ng pangunahing training corpus gamit ang 250 Nvidia H100 graphics processor. Kayang magsagawa nang sabay-sabay ng maraming pagkukuwenta ng mga processor na ito, na karaniwang tinatawag na GPU, kaya mabilis na nakakabuo ng malalaking dami ng sintetikong datos.

Sinanay ang action generator sa pamamagitan ng imitation learning gamit ang 64 Nvidia B200 GPU. Sa imitation learning, natututo ang isang modelo na ulitin ang halimbawang kilos. Gumamit naman ang motion tracker ng apat na H100 GPU sa pagsasanay na pinagsama ang reinforcement learning at policy distillation.

Sinasanay ng reinforcement learning ang isang controller sa pamamagitan ng mga pagsubok at puna tungkol sa husay ng paggana nito. Inililipat naman ng policy distillation ang natutuhang kilos sa ibang modelo. Sa HALO, tinutulungan ng mga paraang ito ang tracker na gawing mga kilos na kayang isagawa ng pisikal na robot ang mga nakaplanong tindig.

May mga bahagi pa rin ng proseso na itinatakda ng tao. Kailangang sumulat ng mga prompt at magdisenyo ng mga pangunahing tindig upang magdagdag ng bagong pisikal na gawain, at gumagamit ang ilang galaw ng mga video ng tao o materyal mula sa motion capture. Kapag naitakda na ang mga paglalarawan at limitasyong iyon, magagamit muli ng proseso ang mga ito sa maraming nabuong silid.

Samakatuwid, nagbabago ang paraan ng pagpaparami ng mga demonstrasyon. Sa halip na mangailangan ng taong magsagawa ng bawat episode, gumagamit ang HALO ng mga mapagkukunan sa pagko-compute upang bumuo at magsuri ng maraming baryasyon ng isang gawain.

May limitasyon ang paningin pagdating sa pagdikit

Pangunahing umaasa ang HALO sa paningin sa kasalukuyan at hindi direktang nakararamdam ng pagdikit, ayon sa mga mananaliksik. Maaaring bumaba ang husay nito sa mga gawaing may malaking pisikal na pagdikit kapag nawawala sa tanaw ng kamera ang isang bagay o natatakpan ito ng iba.

Ipinakikita ng pagtulak ng kahon kung bakit mahalaga ito. Kailangang mapanatili ng robot ang tamang posisyon ng katawan nito kaugnay ng kahon habang gumagalaw silang dalawa. Nagbibigay ang kamera ng impormasyon tungkol sa nakikitang posisyon, samantalang maaaring magbigay ang pandama sa paghipo ng impormasyong tungkol sa pagdikit na nananatiling kapaki-pakinabang kahit natatakpan ang tanaw.

Tinutukoy ng mga mananaliksik ang pandama sa paghipo bilang isang posibleng direksiyon ng karagdagang pananaliksik. Wala silang ibinigay na takdang panahon para idagdag ito. Nagbibigay ng malinaw na hangganan sa hamon ang kasalukuyang mga resulta: kaya ng HALO ang ilang kasanayang ginagabayan ng paningin sa mga di-pamilyar na silid, ngunit hindi pa gaanong maaasahan ang mahahabang pagkakasunod-sunod at mga ugnayang nangangailangan ng pagdikit.

Ano ang nababago ng pananaliksik

Pinagsasama ng pag-aaral ng Apple sa iisang sistema ang pagbuo ng training data, pagpaplanong batay sa wika at pisikal na kontrol. Tumatakbo ito sa isang humanoid sa mga silid na hindi pa nito napupuntahan. Pinakamahalagang resulta nito ang paglipat mula sa 1,000 kapaligirang ginaya sa simulation tungo sa 360 pisikal na pagsubok nang hindi muna minamapa ang anim na lokasyong ginamit sa pagsusuri.

Ginagawang magagamit ang proseso para sa karagdagang pananaliksik sa simulation at hardware sa pamamagitan ng inilabas na code. Kabilang sa saklaw nito ang mga kagamitang bumubuo ng mga halimbawa sa pagsasanay, gayundin ang mga modelo at software na kailangan upang bumuo, sumubaybay at mag-ugnay ng mga galaw.

Para sa taong humihiling sa robot na umupo o maglipat ng kahon, nakasalalay ang pagiging maaasahan sa maayos na pagtutulungan ng buong proseso: pagtukoy sa tamang bagay, pagpunta rito, pagdikit dito at pagkumpleto ng kilos. Ipinakikita ng mga resulta ng HALO sa mga indibiduwal na gawain ang pagsulong sa prosesong iyon. Tinutukoy naman ng mga resulta sa magkakasunod na gawain kung saan kailangan pa ng dagdag na trabaho bago mapag-ugnay ang ilang kilos nang may parehong pagkakapare-pareho.

Mahahalagang Punto

• Isinumite ng mga mananaliksik ng Apple sa arXiv noong Nobyembre 4, 2026 ang Perceptive Humanoid Motion from Simulation.
• Nagtala ang HALO ng average na 91% tagumpay sa 360 pagsubok ng mga indibiduwal na gawain sa anim na di-pamilyar at hindi namapang totoong kapaligiran.
• Nagtala ng average na 70% tagumpay ang tatlong kombinasyon ng mga gawain sa 30 pagsubok sa isa pang totoong kapaligiran.
• Pinagsasama ng sistema ang pagpaplano ng gawain, pagbuo ng galaw at isang tracker na nagbibigay ng mga utos sa mga kasukasuan nang 50 beses bawat segundo.
• Gumamit ang pagsasanay ng humigit-kumulang 300 oras ng sintetikong halimbawa mula sa 1,000 nabuong kapaligiran.
• Tumutulong ang Mac mini na dala ng Unitree G1 upang gumana ito nang lokal at walang koneksiyon sa internet.
• Bahagi pa rin ng pagsasanay ang pagdidisenyo ng mga gawain ng tao, at kahinaan pa rin ang limitadong pandama sa pagdikit.