Sinasabi ng mga mananaliksik ng MIT na itinaas ng GPT-6 Astra ang marka ng Qwen sa matematika sa pamamagitan ng direktang pag-edit sa mga weight nito

Nagdulot ng malaking pagtaas sa marka ang maliit na pagbabago sa mga numero

Ayon sa mga mananaliksik sa Computer Science and Artificial Intelligence Laboratory ng MIT, itinaas ng GPT-6 Astra ng OpenAI ang marka ng isang maliit na Qwen model sa matematika mula 7.9% tungong 48.1% sa pamamagitan ng pagbabago sa 131,072 lamang sa humigit-kumulang 800 milyong numerical parameter nito. Tinutukan ng interbensiyon ang isang partikular na problema: paulit-ulit na bumubuo ng teksto ang modelo hanggang sa maubusan ito ng puwang para sumagot.

Inilarawan nina Rikiya Takehi, Jayden Teoh, Alex Zhang at Omar Khattab ang mga eksperimento sa isang post sa pananaliksik noong Nobyembre 2 na pinamagatang Sparks of Weight-Space Programming, na sinundan ng coverage na may petsang Nobyembre 3, 2026. Sa paraang ito, sinusuri, binibigyang-kahulugan at direktang isinusulat muli ng isang language model ang mga weight ng isa pang neural network—ang mga numerong nagtatakda kung paano nito pinoproseso ang impormasyon.

Qwen3.5-0.8B ang nagpakita ng pinakamalakas na resulta. Tumaas nang 40.2 percentage point ang katumpakan nito sa MATH-500, o humigit-kumulang anim na beses ng orihinal nitong marka, matapos baguhin ng Astra ang tinatayang 0.016% ng mga weight nito. Umakyat mula 13.8% tungong 67.1% ang katumpakan sa mga tanong sa matematika ng GSM8K, habang tumaas naman mula 21.0% tungong 62.3% ang marka nito sa pagsunod sa mga tagubilin ng IFEval, na halos tatlong beses ng panimulang resulta.

Hindi lamang matematika ang sinaklaw ng mga eksperimento. Natukoy ng Astra ang mga layunin ng maliliit na network, inayos ang isang simulated driving controller at direktang sumulat ng mga network na naglalaro ng mga game batay sa mga tuntunin at source code. Nagpakita naman ng mga limitasyon ang ibang pagsusuri: nahirapan itong matukoy sa mga weight lamang ang labis na pagsang-ayon sa mga user, at kaunti lang ang naidulot ng mga pag-edit nito sa matematika ng isa pang language model.

Para sa mga developer, ang agarang posibilidad ay isang bagong paraan ng pagkukumpuni ng mga modelo. Sa halip na turuan ang isang network sa panibagong karaniwang round ng training, maaaring siyasatin ng isang AI assistant ang problema at baguhin ang mga numerong nagdudulot nito. Ipinakikita rin ng resulta sa Qwen kung bakit kasinghalaga ng laki ng pagtaas sa marka ang uri ng problemang inaayos.

Ano ba talaga ang ibig sabihin ng pagprograma sa mga weight?

Binabago ng neural network ang mga input tungo sa mga output sa pamamagitan ng mga layer ng pagkukuwenta. Tinutukoy ng mga weight kung gaano kalakas ang pagdaan ng mga signal sa pagitan ng mga bahagi nito. Karaniwang paulit-ulit na inaayos ng training ang mga numerong ito, gamit ang mga halimbawa at panukat na matematikal ng error upang malaman kung aling mga pagbabago ang makatutulong.

Karaniwang ginagamit ang gradient descent para kuwentahin ang mga pagbabagong iyon. Tinataya nito kung saang direksiyon dapat ilipat ang mga weight upang mabawasan ang mga error. Sa mga eksperimentong ito, sa halip ay nangatwiran ang Astra tungkol sa target na network at ito mismo ang gumawa ng mga pagbabago, nang walang training loop na nagkakalkula ng mga edit.

Inilarawan ni Takehi, isang PhD student sa MIT CSAIL, ang iminungkahing proseso sa isang pahayag sa social media:

Sa halip na mag-training, maaaring ituring ng mga modelo ang mga orihinal na weight bilang nababasang code na puwedeng i-edit: matukoy ang mga problema at direktang ayusin ang mga ito.

Makabuluhan ang paghahambing nito sa pagkukumpuni ng software. Maaaring hanapin ng programmer na nagsisiyasat sa sirang application ang pumapalya nitong function at isulat itong muli. Dito, naghanap ang Astra sa mga numerical structure ng pattern na kaugnay ng hindi kanais-nais na asal. Mas mahirap bigyang-kahulugan ang mga weight ng neural network kaysa sa karaniwang software dahil kadalasan ay wala itong mga pangalang madaling maunawaan na nagpapaliwanag sa gamit ng mga ito.

Iba-iba ang antas ng tulong na ibinigay sa mga eksperimento. Sa ilan, mga weight at paglalarawan ng arkitektura lang ang ibinigay sa Astra. Sa iba naman, binigyan ito ng Python environment, mga halimbawa o pahintulot na patakbuhin ang target na modelo. Sa kaso ng Qwen, kahit walang karaniwang training ay gumamit pa rin ito ng malaking computational resources, mga tanong para sa pagsasanay at pagsusuri.

Paano pinatigil ng Astra ang pag-uulit ng Qwen

Nagbigay ang paunang asal ng Qwen ng di-pangkaraniwang malinaw na problemang masisiyasat ng Astra. Sa unang batch ng 96 na tanong, umabot sa pinakamataas na haba ng output na 32,768 token ang 85 sagot. Ang mga token ang mga piraso ng tekstong binabasa at inilalabas ng isang language model, kadalasan ay mga salita o bahagi ng mga salita. Nagtapos sa pag-uulit ang humigit-kumulang 95% ng mga sagot na naputol.

Ipinakita rin ng mas malawak na pagsusuri sa MATH-500 ang parehong problema: umabot sa limitasyon ng token ang 93.0% ng mga paunang sagot. Iniugnay ng Astra ang paulit-ulit na asal sa isang numerical direction na konektado sa mga output ng feedforward component sa layer 15 at 19. Binabago ng mga component na ito, na madalas tawaging multilayer perceptron o MLP, ang impormasyon sa loob ng bawat layer.

Ang numerical direction ay isang pattern na nakakalat sa maraming value, hindi isang switch lang. Ibinawas ng Astra ang direction na kaugnay ng pag-uulit mula sa 64 output column sa bawat isa sa dalawang layer. Binago nito ang 131,072 weight at ibinaba sa 33.1% ang bahagi ng mga sagot sa MATH-500 na umabot sa limitasyon ng token.

Nakakatulong ang pagkakaayos ng mga naitama at hindi naitama na sagot upang maunawaan ang pagbuti. Sa 1,152 na nakalaang tanong, 579 na sagot ang nagbago mula mali tungong tama, habang lima naman ang nagbago mula tama tungong mali. Sa 579 na napahusay, 576 ang orihinal na naputol dahil umabot sa limitasyon ng output. Kaya karamihan sa mga pagbuti ay nagmula sa pagkumpleto ng mga sagot na napigil noon ng pag-uulit ng modelong na-edit.

Umabot pa rin sa hangganan ng output ang humigit-kumulang sangkatlo ng mga sagot sa MATH-500 matapos ang pagbabago. Higit na kapaki-pakinabang ang na-edit na network sa mga kondisyon ng pagsusuri, ngunit malaking problema pa rin ang paulit-ulit na output.

Inabot ng ilang oras ng pagsisiyasat ang paghahanap sa solusyon

Gumamit ang pinakamalakas na pagsubok ng Astra sa Qwen ng badyet na 50 kahilingan para sa pagsusuri, kung saan maaaring sumaklaw ang bawat kahilingan sa daan-daang halimbawa. Binubuo ang pagsisiyasat ng 158 palitan sa pag-uusap, 80 pagpapatakbo ng Python at 20.3 oras, kabilang ang 4.7 oras na paghihintay dahil sa pagkaantala ng serbisyo.

May mahigit 14,000 tanong para sa pagsasanay mula sa training set ng GSM8K at MATH ang working environment, kasama ang access sa mga weight ng Qwen at isang Python sandbox na tumatakbo sa mga CPU. Pinahintulutan ng sandbox ang hanggang 300 pagpapatakbo ng code. Gumamit naman ang ibang pagsubok ng badyet na 10 o 25 kahilingan para sa pagsusuri.

Nakadepende rin sa partikular na paraan ng pagbuo ng sagot ang iniulat na mga bilang ng katumpakan. Gumamit ang mga pagsusuri ng thinking mode, limitasyon ng output na 32,768 token at temperature na 0.6. Tinutukoy ng temperature kung gaano karaming randomness ang isinasama sa pagpili ng susunod na token; inirerekomenda ng model card ang temperature na 1.0 para sa mga gawaing teksto sa thinking mode. Mahalaga ang pagkakaibang ito kapag inuulit ang panimulang asal at inihahambing ang mga resulta.

Ganito ang praktikal na pagkakasunod-sunod:

• Ibinigay ng mga mananaliksik sa Astra ang target na modelo, mga suliranin para sa pagsasanay at mga tool upang siyasatin ang mga weight at subukan ang asal nito.
• Sinuri ng Astra ang paulit-ulit na output at bumuo ng nakatuong pagbabago sa layer 15 at 19.
• Sinukat sa pagsusuri ang pagbuti sa matematika at pagsunod sa mga tagubilin, kasama ang pagbaba ng mga sagot na umaabot sa limitasyon ng output.
• Inilarawan ng pangkat ang gawain noong Nobyembre 2 at sinabing gumagawa ito ng benchmark at framework para sa pagsusuri.

Maliit ang huling pagbabagong ginawa, ngunit mas malawak na proseso ang kinailangan upang matuklasan ito. Hindi pa malinaw sa praktika kung makatitipid ng oras o computational resources ang paraang ito kumpara sa karaniwang fine-tuning.

Pagbasa ng mga laro, hugis at wika mula sa mga numero

Nagsimula ang mga pagsusuri ng Astra sa apat na network na naglalaro ng mga game at sinanay gamit ang proximal policy optimization o PPO, isang pamamaraan ng reinforcement learning na nagpapahusay ng asal sa pamamagitan ng rewards. Magkakapareho ang istruktura, input at posibleng kilos ng mga network. Natukoy ng Astra ang mga ito bilang Breakout, Pong, Pac-Man at Freeway kahit walang listahan ng mga posibleng game.

Ayon sa mga mananaliksik, sinuri ng Astra ang mga pattern sa unang layer at ang pagkakaiba sa paraan ng pagpili ng mga kilos ng output layer. Sa halimbawa ng pagtukoy sa Breakout, nagbigay ito ng 99% kumpiyansa sa sagot. Sariling pagtataya ng Astra ang kumpiyansang iyon sa pagkakakilanlan.

Isa pang pagsubok ang tatlong maliit na diffusion model. Natutong bumuo ng bilog, tatsulok o parisukat ang bawat isa. Natukoy ng Astra ang mga hugis nang hindi pinapatakbo ang mga modelo, sa pamamagitan ng paghahanap ng mga outline sa mga weight ng output layer. Guwang ang mga iginuhit nito kahit solidong hugis ang binubuo ng mga modelo. Isa itong di-pangkaraniwang detalye na nag-ugnay sa interpretasyon nito at sa numerical structure na sinuri nito.

Sinubok ang pagtukoy sa wika gamit ang tatlong modelong may tig-7.2 milyong parameter, na sinanay upang hulaan ang susunod na character sa Python code, Romanized Japanese o English. Mga gitnang layer lamang ang ibinigay sa Astra at tama nitong natukoy ang wikang ginamit sa training sa parehong pagsubok.

Nahanap din ng Astra ang mga copy head ng mga modelo, mga bahagi ng attention na tumutulong sa pag-uulit ng tekstong nakita na. Mas maraming ganitong head ang Python model, na tugma sa madalas na paggamit sa code ng parehong pangalan ng variable at function. Mas kaunti naman ang direction na isinulat ng huling module ng Romanized Japanese model, na tugma sa mas maliit nitong hanay ng mga karaniwang ginagamit na character.

Pagkukumpuni ng kotse at pagbuo ng mga game player

Nagkaroon ng di-kapaki-pakinabang na nakagawian ang isang simulated car sa Kinetix environment: umaakyat ito sa dalisdis at naiipit. Kung uurong muna ito, magkakaroon ng sapat na espasyo upang matagumpay na makaakyat. Ibinigay ang mga weight ng controller, paglalarawan ng eksena at isang naitalang pagkabigo, at nakagawa ang Astra ng solusyon sa iisang sagot nang walang mga tool.

Binago ng patch ang 3.5% ng mga weight at nagtagumpay sa lahat ng 1,024 na pagsubok. Nagdagdag ang Astra ng maliit na daanan sa network upang subaybayan ang posisyon at bilis, saka ibinalik ang kontrol sa orihinal na network matapos makalampas ang kotse sa isang palatandaan.

Para sa mga larong Breakout, Seaquest at Asterix ng MinAtar, ibang gawain ang hinarap ng Astra: sumulat ng mga policy network mula sa simula. Ginagawang kilos ng policy network ang kalagayan ng laro. Ibinigay sa Astra ang mga tuntunin, source code at kinakailangang arkitektura, ngunit walang mga halimbawa para sa training, kalkulasyon ng gradient, mga tool o pagkakataong maglaro bago ang pagsusuri.

Daig ng mga network nito ang mga PPO baseline na sinanay sa loob ng 100 milyong hakbang sa tatlong laro. Pinakamalaki ang numerikal na agwat sa Breakout: nakakuha ang Astra ng 517.4, kumpara sa 15.8 ng baseline na sinanay sa loob ng 100 milyong hakbang at 25.3 ng sinanay sa loob ng 500 milyong hakbang. Humigit-kumulang dalawampung ulit ang lamang nito sa huling paghahambing.

Nag-iba ang lamang depende sa laro. Halos kapantay ng mga PPO model na sinanay sa loob ng 500 milyong hakbang ang Astra sa Asterix, at umabot ito sa humigit-kumulang 60% ng marka sa Seaquest. Isinalin ng disenyo nito sa Breakout ang isang tahasang estratehiya tungo sa mga weight: tantiyahin kung saan lalapag ang bola, saka igalaw ang paddle papunta sa puwestong iyon.

Nangailangan ng ibang proseso ang mas malaking Go network

Gumamit ang eksperimento sa Go ng network na may humigit-kumulang 1.5 milyong parameter, na masyadong malaki upang direktang ilagay sa context window ng Astra, o sa dami ng impormasyong kaya nitong hawakan nang sabay-sabay. Sa halip, nagbigay ang mga mananaliksik ng Python sandbox upang siyasatin at i-edit ang mga weight.

May 243 input, anim na hidden layer na may tig-512 unit at 82 output ang arkitektura. Inayos ito ng Astra na parang compact na Go program: kinakatawan ng mga unang layer ang mga bato at liberty, ang mga bakanteng katabing puwesto na nagpapanatiling buhay sa isang grupo. Ipinasa ng mga gitnang layer ang impormasyon sa magkakaugnay na grupo upang matukoy ang panganib.

Nagbigay ng marka ang huling layer sa mga galaw para makakuha ng mga bato ng kalaban, iligtas ang mga grupong nanganganib, protektahan ang mga eye at maiwasan ang atari, ang kalagayang iisa na lang ang natitirang liberty ng isang grupo. Binuo ang estratehiyang ito sa pamamagitan ng mga numerical weight sa halip na matutuhan sa paulit-ulit na paglalaro.

Walang isinagawang pagsusuri sa performance, ngunit nanalo ang network ng Astra sa mahigit kalahati ng mga laro nito laban sa dalawang mas maliit na PPO network. Sa badyet na 50 pagsusuri, dinaig nito ang isang kapareho ng laki nitong network na sinanay sa 20 milyong laro. Dahil sa feedback, nasuri ng Astra ang mga pagkatalo at napanatili ang mga pagbabagong nagpahusay sa laro.

Dalawang mahirap na pagsubok ang nagpakita ng mga limitasyon

Nagbigay ang Gemma 3 270M ng kapaki-pakinabang na paghahambing sa Qwen. Bihira itong maipit sa paulit-ulit na loop. Sa halip, nakahanap ang Astra ng karaniwang mga pagkakamali sa pangangatwiran, kabilang ang mga mali sa aritmetika at mga di-wastong hakbang sa algebra. Hindi hihigit sa humigit-kumulang isang percentage point ang naitulong ng maliliit na pagbabago, kabilang ang pagdodoble sa lakas ng isang neuron na tumutugon sa mga numero, sa katumpakan sa MATH-500.

Ipinakikita ng paghahambing ang isang praktikal na pagkakaiba. Kapag inalis ang paulit-ulit na asal, nagagamit ng modelo ang mga kakayahan na taglay na nito. Nangangailangan naman ng mas malawak na solusyon ang pagwawasto sa sari-saring pagkakamali sa matematika kaysa sa pag-aalis ng iisang numerical pattern.

Napatunayang mahirap direktang siyasatin ang sycophancy, o ang tendensiyang sumang-ayon sa user kahit mali ito. Nag-fine-tune ang mga mananaliksik ng magkaparis na Gemma 3 270M model sa parehong datos ng tanong at sagot. Sinanay ang isang modelo na sumagot nang tama; sinanay naman ang isa na sumang-ayon sa mga mungkahi ng user.

Hindi maaasahang naihiwalay ng Astra ang mga ito batay lamang sa mga weight. Nang pahintulutan itong suriin ang mga pattern ng attention sa tekstong isinulat nito, nang hindi nakikita ang mga sagot ng mga modelo, tama nitong natukoy ang sycophantic na modelo sa lahat ng tatlong pares. Mas itinuon ng mga modelong iyon ang attention ng mga gitnang layer sa nilalamang iminungkahi ng user.

Ipinakikita ng mga sukat ng attention kung saan itinuturo ng modelo ang bahagi ng pagpoproseso nito habang humahawak ng teksto. Dahil naging kapaki-pakinabang ang mga ito rito, mahalagang bahagi ng matagumpay na pagtukoy sa problema ang pagsusuring nagpapatakbo sa modelo. Pagtukoy sa labis na pagsang-ayon ang gawain; hiwalay na iminungkahing aplikasyon naman ang pagbabago sa asal na iyon.

Ano ang nais subukan ng mga mananaliksik sa susunod

Nakikita ng pangkat ng MIT ang mga posibleng gamit sa pagsisiyasat ng modelo, nakatuong pagkukumpuni, pagbabago ng mga kakayahan nang walang karaniwang training data at paglilipat ng mga kapaki-pakinabang na component sa pagitan ng magkakaibang arkitektura. May kasaysayan na sa pananaliksik ang direktang pag-edit ng modelo, kabilang ang ROME na iniharap sa NeurIPS noong 2022 at MEMIT na iniharap sa ICLR noong 2023. Sinusuri ng gawaing ito kung paano mapapangatuwiranan ng isang general-purpose language model ang mismong mga pag-edit.

Isa pang iminungkahing direksiyon ang recursive self-improvement: maaaring tumulong ang isang AI system na paghusayin ang isang modelo, na magiging mas mahusay naman sa paggawa ng mga susunod pang pagpapahusay. Gumamit ang mga eksperimentong ito ng mga gawaing, tool at badyet para sa pagsusuri na itinakda ng mga tao, habang gumagawa ang Astra sa iba pang mga network. Mangangailangan pa ng mga eksperimento upang makabuo ng maaasahang paulit-ulit na proseso.

Inilabas ng pangkat ang mga log ng eksperimento at mga artifact sa pag-edit. Ayon sa paglalarawan, naglalaman ang pampublikong repository ng mga tala ng 1,125 tawag sa modelo. Ang susunod na hakbang na binanggit nila ay paggawa ng benchmark at framework ng eksperimento para sa pare-parehong pagsusuri. Walang ibinigay na petsa ng paglalabas.

Para sa mga gumagawa ng AI application, ito ang pinakamalinaw at pinakakonkretong natuklasan: maaaring magdulot ng malaking pagbuti ang maliit na numerical repair kapag pinipigilan ng paulit-ulit na problema ang isang modelo na tapusin ang kapaki-pakinabang na gawain. Ipinakikita ng magkakaibang resulta sa Gemma at sycophancy kung bakit kailangan ng bawat iminungkahing pagkukumpuni ang sarili nitong pagsusuri at pagsubok.

Mahahalagang Punto

• Binago ng Astra ang 131,072 weight ng Qwen, o humigit-kumulang 0.016% ng modelo, at itinaas ang katumpakan sa MATH-500 mula 7.9% tungong 48.1%.
• Tumaas ang katumpakan sa GSM8K mula 13.8% tungong 67.1%, at sa IFEval mula 21.0% tungong 62.3%.
• Pangunahing binawasan ng pagkukumpuni ang paulit-ulit na output; bumaba mula 93.0% tungong 33.1% ang mga sagot sa MATH-500 na umabot sa limitasyon ng token.
• Gumamit ang pinakamalakas na pagsubok sa Qwen ng 50 kahilingan para sa pagsusuri at inabot ng 20.3 oras, kabilang ang pagkaantala ng serbisyo.
• Inayos din ng Astra ang isang simulated car controller at sumulat ng mga network para sa mga pinasimpleng game at Go.
• Kaunti lang ang naging pagbuti sa matematika ng Gemma, habang kinailangan naman ng mga sukat ng attention upang matukoy ang sycophancy.
• Gumagawa ang mga mananaliksik ng benchmark at framework para sa pagsusuri ng pagprograma sa weight space.