Radikal na Pagbabago sa Arkitektura ng Computing
Ipinakilala ng mga mananaliksik na Tsino ang isang rebolusyonaryong analog computing chip na nagpoproseso ng mga workload ng artificial intelligence gamit ang maliit na bahagi lamang ng enerhiyang kailangan ng mga karaniwang digital processor. Isa itong mahalagang hakbang sa pagsisikap na makabuo ng mas napapanatiling AI hardware. Sa isang pag-aaral na inilathala ngayong linggo sa journal na Nature Communications, ipinakita ng mga siyentipiko mula sa Peking University na kayang sanayin ng kanilang resistive random-access memory chip ang mga sistema ng rekomendasyon gamit ang mga dataset na maihahambing ang laki sa mga ginagamit ng Netflix at Yahoo. Labindalawang beses itong mas mabilis kaysa sa mga makabagong digital processor habang 1/200 lamang ng enerhiya ang kinokonsumo.
Mga Nilalaman
Pinagtitibay ng tagumpay na ito ang mga naunang teoretikal na pahayag at pinalalawak ang kakayahan ng teknolohiya mula sa mga simpleng benchmark sa matematika tungo sa praktikal na mga aplikasyon. Inilarawan ng pangunahing awtor na si Sun Zhong ang nagawa bilang panibagong hakbang sa pagpapalawak ng hangganan ng analog computing. Aniya, nagawa ng bagong chip ang mga komplikadong gawain habang napapanatili ang likas na bilis at tipid-enerhiya ng analog computation. Dumarating ang pag-unlad na ito habang nahihirapan ang mga data center sa buong mundo sa mabilis na paglaki ng pangangailangan sa kuryente dahil sa AI training. May ilang pasilidad na kumokonsumo ng enerhiyang katumbas ng ginagamit ng maliliit na lungsod.
Nakabatay ang pananaliksik sa gawaing unang iniulat noong Oktubre, nang ipahayag ng pangkat na nalutas nila ang problemang tinatawag ng mga eksperto na isang siglong suliranin sa katumpakan ng analog computing. Noong panahong iyon, iminungkahi ng mga mananaliksik na posibleng umabot ang chip sa bilis ng pagproseso na 1,000 beses na mas mataas kaysa sa pinakamahuhusay na digital unit, gaya ng Nvidia H100 graphics processing unit, habang 100 beses naman ang mas matipid sa enerhiya. Pinatutunayan ng pinakabagong publikasyon ang mga pakinabang nito sa aktuwal na paggamit, bagaman mas katamtaman ang mga ito kaysa sa mga unang teoretikal na pagtataya. Ipinakita rin nito ang kakayahan ng chip sa mga aplikasyon ng personalized na rekomendasyon at pagproseso ng larawan.
Hindi tulad ng mga tradisyonal na computer na nagpoproseso ng impormasyon bilang binary digit, mga sero at uno, minamanipula ng mga analog system ang tuluy-tuloy na pisikal na signal gaya ng kuryente. Gumagana ang digital computing na parang karaniwang switch ng ilaw na may dalawang posisyon lamang, bukas o sarado, samantalang mas kahawig ng dimmer switch ang analog computing na nag-aayos ng mga halaga sa tuluy-tuloy na saklaw. Dahil sa pundamental na pagkakaibang ito, nakakakuwenta ang mga analog chip gamit ang pisikal na katangian sa halip na binary code. Naiiwasan nito ang masinsinang pagkonsumo ng enerhiya sa paglilipat ng datos sa pagitan ng memory at mga processing unit, na siyang naglilimita sa mga karaniwang processor.
Mahalaga ang panahon ng pag-unlad na ito habang nahaharap sa krisis sa enerhiya ang industriya ng artificial intelligence. Maaaring kumonsumo ng megawatt-hour na kuryente ang pagsasanay sa iisang malaking language model, at mas maraming enerhiya ang ginagamit ng mga data center sa buong mundo kaysa sa ilang mauunlad na bansa. Nahaharap sa pundamental na pisikal na limitasyon ang mga tradisyonal na digital processor habang papalapit sa sukat ng atomo ang mga semiconductor component. Dahil dito, lalo nang kailangan ang mga pagbabago sa arkitektura, sa halip na mga pagsulong sa paggawa ng chip, upang maipagpatuloy ang pag-unlad.
Gayunman, matagal nang nahihirapan ang mga analog system sa katumpakan. Nakakakuha ng eksaktong resulta ang mga digital computer sa pamamagitan ng sunud-sunod na algorithm, samantalang madaling maapektuhan ng interference at ingay ang mga analog device, kaya hindi angkop ang mga ito sa komplikadong makabagong aplikasyon. Dahil sa limitasyong ito, itinuring na lamang na makasaysayang kuryosidad ang analog technology sa loob ng maraming dekada, sa kabila ng sinaunang pinagmulan nito. Kabilang dito ang mekanismong Antikythera, isang Griyegong kagamitang pang-astronomiya na 2,000 taong gulang at gumamit ng magkakabit na gear upang hulaan ang posisyon ng mga bagay sa kalangitan.
Paglampas sa Hadlang sa Katumpakan
Tinutugunan ng pangkat ng Peking University ang limitasyong ito sa pamamagitan ng makabagong arkitektura na may dalawang circuit. Pinagsasama nito ang bilis ng analog computation at ang katumpakan ng mga digital system. Gumagamit ang kanilang chip ng mga resistive random-access memory cell, na nag-iimbak ng datos sa pamamagitan ng pagsasaayos sa electrical resistance sa pagitan ng mga electrode. Sa pag-aayos ng mga cell na ito sa dalawang magkaibang circuit, nakabuo ang mga mananaliksik ng sistemang mabilis na gumagawa ng mga tinatayang solusyon, saka pinipino ang mga ito sa pamamagitan ng paulit-ulit na pagproseso upang makamit ang katumpakang maihahambing sa 32-bit floating-point digital calculation.
Ayon kay Sun Zhong, assistant professor sa unibersidad, napahusay ng paraang ito nang limang antas ng magnitude, o humigit-kumulang 100,000 beses, ang katumpakan ng tradisyonal na analog computing. Naglalabas ng mga resulta ang unang circuit na may error rate na humigit-kumulang isang porsiyento. Ngunit pagkaraan ng tatlong siklo ng pagpino sa ikalawang circuit, bumababa ang error hanggang sa tumugma sa mga karaniwang digital processor. Ipinakita ng pangkat ang kakayahang ito sa paglutas ng mga problemang matrix inversion na gumagamit ng 16-by-16 na real-valued matrix na may 24-bit fixed-point precision.
Malaking paglihis sa tradisyonal na computing na nakabatay sa transistor ang resistive random-access memory technology na nasa puso ng inobasyong ito. Gumagana ang mga RRAM cell bilang memristor, mga bahaging elektrikal na natatandaan kung gaano karaming kuryente ang dumaan sa mga ito dati sa pamamagitan ng pagbabago sa panloob na resistance. Dahil sa katangiang ito, sabay na nakapag-iimbak at nakapagpoproseso ng impormasyon ang chip sa iisang pisikal na lokasyon. Nawawala tuloy ang paghihiwalay ng memory at processor na nagtutulak sa mga karaniwang computer na gumamit ng enerhiya sa paglilipat ng datos pabalik-balik sa mga bus line.
Pundasyong matematikal ng makabagong artificial intelligence, machine learning at wireless communication ang mga operasyon ng matrix. Kapag nagsasanay ng mga neural network o nagpoproseso ng signal para sa mga 6G network, kailangang lutasin ng mga computer ang mga equation na ito na may napakaraming hanay ng mga numero. Sunud-sunod na hinaharap ng mga digital processor ang mga gawaing ito, at hinahati ang mga kalkulasyon sa mahahabang serye ng binary operation. Samantala, sabay-sabay na pinoproseso ng analog chip ang mga matrix at direktang nagkukuwenta sa loob ng mga memory array nang hindi ginagawang binary code ang mga signal.
Hindi matatawaran ang kahalagahan sa kasaysayan ng paglutas sa problema sa katumpakan. Nauna pa ang analog computing sa digital technology. Kabilang sa mga unang halimbawa nito ang isang Soviet water integrator noong 1936 na gumamit ng tubig na dumadaloy sa mga tubo upang lutasin ang mga equation sa matematika. Sa kabila ng mga ganitong inobasyon, itinulak ng mga problema sa ingay at kakayahang palawakin ang mga analog system sa pagkaluma habang umuunlad ang digital technology. Muling binubuhay ng bagong chip ang mga konseptong ito gamit ang makabagong resistive memory technology, na posibleng magbukas muli sa mga arkitekturang tinalikuran ilang dekada na ang nakalipas.
Mula Teoryang Matematikal Tungo sa Praktikal na mga Aplikasyon
Nakatuon ang unang anunsyo sa mga teoretikal na kakayahan, ngunit pinatutunayan ng pinakabagong publikasyon ang performance nito sa mga praktikal na workload ng AI na sumasalamin sa mga pangangailangan ng industriya. Matagumpay na nagamit ng chip ang mga personalized na sistema ng rekomendasyon gamit ang mga dataset na maihahambing ang laki sa mga ginagamit ng Netflix at Yahoo. Ipinakita nito ang mga kakayahang higit pa sa mga simpleng benchmark sa matematika. Sa mga pagsubok sa image compression, nakalikha muli ang sistema ng biswal na datos na halos kapareho ng kalidad ng full-precision digital computing habang hinahati sa dalawa ang pangangailangan sa imbakan.
Kabilang sa mga aplikasyong ito ang mga workload na masinsinan sa datos at kasalukuyang nagpapahirap sa mga resource ng data center sa buong mundo. Pinapagana ng mga algorithm ng rekomendasyon ang mga streaming service, social media platform at e-commerce site. Pinoproseso ng mga ito ang bilyun-bilyong interaksiyon ng mga user upang makabuo ng mga personalisadong mungkahi. Nasa likod naman ng lahat, mula video streaming hanggang medical imaging, ang image compression. Ang pagpapaliit ng mga file nang hindi isinasakripisyo ang kalidad ay nakatitipid sa bandwidth at gastos sa imbakan. Ipinahihiwatig ng kakayahan ng chip na gawin ang mga gawaing ito sa napakaliit na konsumo ng enerhiya na posibleng mabago nito ang pagpapatakbo sa mga ganitong serbisyo.
Isa itong panibagong hakbang sa pagpapalawak ng hangganan ng analog computing.
Maliban sa mga aplikasyon para sa mamimili, ipinakita rin ng chip ang kakayahan nito sa mga pagsubok sa wireless communication, kung saan nakakakita ito ng mga signal sa malalaking multiple-input multiple-output system. Mahalaga ang teknolohiyang ito para sa mga 6G network sa hinaharap, kung saan kailangang magproseso ng napakaraming antenna array nang real time ang mga base station. Kapantay ng mga digital processor ang performance ng device sa mga gawaing ito sa komunikasyon habang humigit-kumulang 100 beses na mas kaunting enerhiya ang ginagamit nito. Ipinahihiwatig nito ang mga posibleng aplikasyon sa mga lugar na limitado ang suplay ng kuryente, kung saan nililimitahan ng tagal ng baterya o kapasidad sa pagpapalamig ang tradisyonal na hardware.
Kakailanganin ng mga 6G wireless network sa hinaharap na sabay-sabay na pamahalaan ng mga base station ang daan-daang antenna element. Kakailanganin din nilang magproseso ng napakaraming signal data nang real time upang mapanatili ang koneksiyon sa mga mobile device. Lampas sa kakayahan ng kasalukuyang digital signal processor ang mga pangangailangan sa computation ng mga sistemang ito, lalo na pagdating sa mga limitasyon sa latency at paggamit ng kuryente sa malalayong cellular tower. Dahil kayang makakita ng chip ng mga wireless communication signal na may kapantay na performance ng mga digital processor habang napakakaunting enerhiya ang ginagamit, angkop na angkop ito sa mga aplikasyon sa telekomunikasyon.
Lalong nagiging makabuluhan ang natitipid na enerhiya kapag isinasaalang-alang ang laki ng makabagong imprastraktura ng AI. Nangangailangan ng ilang linggong pagproseso sa libu-libong high-end graphics card ang pagsasanay sa malalaking language model, na kumokonsumo ng megawatt-hour na kuryente. Kung mababawasan nang dalawang antas ng magnitude ang konsumo sa enerhiya habang napapanatili o napabibilis ang pagproseso, maaaring malaki ang ibaba ng gastos sa operasyon at epekto sa kapaligiran. Makakatulong ito sa pagtugon sa lumalaking pangamba tungkol sa carbon footprint ng pagpapaunlad ng artificial intelligence.
Konteksto ng Pandaigdigang Industriya ng Semiconductor
Dumarating ang tagumpay na ito sa kritikal na panahon para sa pandaigdigang larangan ng teknolohiya, habang nililimitahan ng mga restriksiyon sa pag-export ang pagkuha ng China ng mga makabagong Nvidia GPU at iba pang high-performance digital processor. Hindi man agad mapapalitan ng chip ang mga graphics card na pangkalahatang gamit, nag-aalok ito ng espesyalisadong alternatibo para sa mga partikular na gawain sa computing na nangingibabaw sa mga workload ng AI training at inference. Ayon sa mga analyst ng industriya, maaari nitong baguhin ang AI hardware sa pamamagitan ng pagbibigay ng opsiyong matipid sa enerhiya para sa mga kalkulasyong nakabatay sa matrix, na siyang ubod ng operasyon ng neural network.
Itinatampok ng paghahambing sa Nvidia H100, ang graphics card na ginamit sa pagsasanay ng malalaking language model gaya ng ChatGPT, ang potensiyal na maging mapanghamon ng chip na ito. Ipinahihiwatig ng mga teoretikal na pagtataya na maaaring maging 1,000 beses na mas mataas ang throughput nito kaysa sa mga digital processor para sa mga partikular na operasyon ng matrix, habang 100 beses naman ang pagbuti sa kahusayan sa enerhiya. Malaki na ring pag-angat sa kasalukuyang teknolohiyang ginagamit ng mga data center sa buong mundo ang mga napatunayang resulta sa aktuwal na paggamit: 12 beses na mas mabilis at 200 beses na mas matipid sa enerhiya.
Gumamit ang proseso ng paggawa ng mga komersiyal na kakayahan ng mga foundry. Nangangahulugan ito na posibleng palakihin ang produksyon nang hindi nangangailangan ng kakaibang materyales o ganap na bagong mga pasilidad sa paggawa. Naiiba ang praktikal na paraang ito sa mga kuryosidad mula sa laboratoryo na hindi kayang gumana sa labas ng kontroladong kapaligiran. Ginawa ang mga chip gamit ang karaniwang mga pamamaraan sa paggawa ng semiconductor. Ipinahihiwatig nito na kung magkakaroon ng pangangailangan, maaaring palakihin ang produksyon gamit ang mga kasalukuyang supply chain sa halip na mangailangan ng bilyun-bilyong puhunan sa imprastraktura.
Nagbigay si James Millen, isang mananaliksik sa King's College London, ng konteksto tungkol sa kahalagahan ng mga kalkulasyon ng matrix sa AI training. Aniya, mga makinang panlahat ang mga digital computer na kayang magkalkula ng kahit ano, ngunit hindi nangangahulugang mahusay o mabilis nilang magagawa ang lahat ng ito. Makakamit ng mga analog computer na iniangkop sa mga partikular na gawain ang pambihirang bilis at kahusayan sa mga aplikasyong iyon, na posibleng magpababa sa napakalaking pangangailangan sa enerhiya habang lumalawak ang paggamit ng AI.
Mga Limitasyong Teknikal at Pagpapaunlad sa Hinaharap
Sa kabila ng kahanga-hangang resulta sa mga benchmark, kinikilala ng mga mananaliksik ang mahahalagang limitasyon. Nagbabala si Sun Zhong na maaaring mas maliit ang pakinabang sa aktuwal na aplikasyon kaysa sa ipinahihiwatig ng pinakamataas na teoretikal na pagtataya. Dalubhasa ang chip sa mga kalkulasyon ng matrix lamang, kaya pinabibilis lang nito ang mga bahaging gumagamit ng mga partikular na operasyong matematikal na ito sa AI training. Kung nangingibabaw ang mga kalkulasyon ng matrix sa isang workload, malaki ang pagbilis. Ngunit limitado ang pakinabang para sa mga pangkalahatang gawain sa computing na nangangailangan ng iba-ibang operasyon.
Ipinahihiwatig ng realidad na ito na malamang na gagamit ng hybrid na arkitektura sa hinaharap sa halip na ganap na palitan ng analog system ang mga digital processor. Maaaring magkaroon ang mga graphics processing unit sa hinaharap ng mga analog circuit para sa mga partikular na bahagi ng AI training algorithm, lalo na sa mga second-order optimization method at operasyon ng linear algebra, habang pinananatili ang mga digital core para sa pangkalahatang computing. Ilang taon pa bago maisama ang ganitong sistema sa mga komersiyal na produkto, ngunit nagbibigay ang pananaliksik ng pundasyong teknolohiya para sa mga pag-unlad na ito.
Isa pang promising na larangan ng aplikasyon ang edge computing. Nangangailangan ng malaking lakas sa pagproseso ang mga autonomous vehicle, industrial robot at augmented reality headset, ngunit mahigpit ang mga limitasyon ng mga ito sa baterya at init. Umaasa ang mga kasalukuyang solusyon sa pagpapadala ng datos sa mga cloud server para iproseso, na nagdudulot ng pagkaantala at pagdepende sa koneksiyon. Kung kayang patakbuhin ng mga analog chip ang komplikadong AI inference nang lokal, nang walang parusang konsumo sa enerhiya ng mga digital processor, maaaring mas makakilos nang nagsasarili ang mga device na ito at mas tatagal ang baterya.
Isa pang hamon ang kakayahang palawakin ang sistema. Kayang humawak ng mga digital processor ng mga problemang walang takdang laki sa pamamagitan ng paghahati sa mga ito sa maliliit na bahagi at sunud-sunod na pagproseso. Ngunit nangangailangan ang mga analog system ng pisikal na mas malalaking circuit upang lutasin ang mas malalaking matrix. Mangangailangan ng malalaking pagsulong sa inhinyeriya ang paggawa ng mga chip na kayang humawak sa mga problemang may isang milyong hanay at isang milyong kolum ng mga variable na matatagpuan sa makabagong malalaking language model. Gayunman, para sa mga aplikasyon ng edge computing kung saan pangunahing limitasyon ang konsumo sa kuryente, maaari pa ring magpatakbo ng komplikadong AI nang direkta sa mga device ang mas maliliit na analog chip sa halip na umasa sa koneksiyon sa cloud.
Sinabi ng pangkat ng pananaliksik na kabilang sa mga susunod nilang layunin ang paggawa ng mas malalaki at ganap na integrated na chip na kayang humawak ng mas komplikadong problema sa mas mabilis na bilis. Kung magtatagumpay ang mga pagsisikap na ito, maaari nitong pabilisin ang pagpapaunlad ng 6G communication, gawing mas mahusay ang pagsasanay sa mga AI model, at bawasan ang epekto sa kapaligiran ng mga data center na kasalukuyang kumokonsumo ng lumalaking bahagi ng pandaigdigang produksyon ng kuryente. Habang papalapit ang digital computing sa mga pisikal na limitasyong dulot ng paghihiwalay ng memory at pagproseso, nag-aalok ang mga analog na alternatibo ng paraan upang maipagpatuloy ang pagtaas ng performance nang hindi proporsiyonal na itinataas ang konsumo sa kuryente.
Mga Pangunahing Punto
- Nakabuo ang mga mananaliksik ng Peking University ng analog AI chip na gumagamit ng resistive random-access memory. Sa mga aktuwal na gawain sa rekomendasyon at pagproseso ng larawan, 12 beses itong mas mabilis at 200 beses na mas matipid sa enerhiya kaysa sa mga makabagong digital processor.
- Nilulutas ng device ang siglong problema sa katumpakan na dating pumipigil sa analog computing na tumugma sa katumpakan ng digital system. Gumagamit ito ng arkitekturang may dalawang circuit upang pinuhin ang tinatayang mga kalkulasyon at makamit ang error rate na maihahambing sa 32-bit floating-point system.
- Hindi tulad ng mga digital processor na gumagamit ng binary na mga uno at sero, minamanipula ng chip ang tuluy-tuloy na electrical signal upang direktang magkalkula ng matrix sa memory. Inaalis nito ang bottleneck sa paglilipat ng datos na kumokonsumo ng malaking bahagi ng enerhiya sa karaniwang computing.
- Ginawa ang teknolohiya gamit ang mga komersiyal na proseso sa paggawa ng semiconductor, kaya posibleng gawin ito nang maramihan. Gayunman, mas maliliit na matrix pa lamang ang kayang hawakan ng kasalukuyang bersiyon kaysa sa mga kailangan sa pagsasanay ng pinakamalalaking AI model.
- Kabilang sa mga aplikasyon nito ang mga personalized na sistema ng rekomendasyon, image compression, pagproseso ng wireless signal para sa 6G at mga hybrid computing architecture na pinagsasama ang kahusayan ng analog at kakayahang umangkop ng digital system.
- Dumarating ang tagumpay na ito habang nahaharap ang China sa mga restriksiyon sa pag-aangkat ng mga makabagong Nvidia GPU. Nag-aalok ito ng alternatibong binuo sa loob ng bansa para sa mga partikular na workload ng AI at posibleng makabawas sa konsumo ng enerhiya ng mga data center sa buong mundo.
