Binawasan ng Alibaba Cloud ang Paggamit ng Nvidia GPU sa Pamamagitan ng Aegaeon Pooling System

Sa likod ng Aegaeon: paano binawasan ng Alibaba Cloud ang pangangailangan sa GPU para sa AI

Ayon sa Alibaba Cloud, malaki ang ibinaba ng bilang ng Nvidia graphics processor na kailangan para maghatid ng malalaking language model sa malawakang saklaw, salamat sa bagong sistemang tinatawag na Aegaeon. Sa production beta nito sa marketplace ng mga modelo, iniulat ng kumpanya na ibinaba ng Aegaeon mula 1,192 tungong 213 ang bilang ng Nvidia H20 GPU na kailangan para magpatakbo ng dose-dosenang modelo, kabilang ang mga may hanggang 72 bilyong parameter. Katumbas ito ng 82 porsiyentong bawas sa mga accelerator na ginagamit habang pinananatili ang parehong antas ng serbisyo. Inilahad ang mga resulta sa Symposium on Operating Systems Principles sa Seoul, isang pangunahing kumperensiya para sa pananaliksik sa mga computer system. Para sa mga bumibili ng cloud service, maaaring mangahulugan ang pahayag na ito ng pagtitipid sa gastos at kuryente, mas mahusay na pagkakaroon ng mga chip na limitado ang suplay, at mas pare-parehong karanasan sa paggamit ng iba’t ibang modelo sa iisang platform.

Tinutugunan ng tagumpay na ito ang lumalalang suliranin sa panahon ng mga marketplace ng modelo. Libo-libong modelo na ang sabay-sabay na inihahatid ng mga cloud provider sa mga developer. Iilang modelo lamang, gaya ng pamilya Qwen ng Alibaba at ng open model na DeepSeek, ang tumatanggap ng karamihan sa trapiko. Marami pang iba ang matagal na hindi ginagamit, saka nakatatanggap ng bugso ng mga kahilingan sa maikling panahon. Karaniwang naglalaan ang mga tradisyonal na serving stack ng buong GPU o malalaking bahagi nito para sa bawat instance ng modelo. Kapag hindi gaanong ginagamit ang isang modelo, nakatiwangwang ang nakalaang GPU nito. Kapag may dumating na mga tawag ngunit kulang ang mga handang replica, nagpapagana ng karagdagang kapasidad ang platform at napapasan ang gastos sa oras ng pag-load at pagbaba ng throughput. Sinisikap baguhin ng Aegaeon ang kalkulasyong ito sa pamamagitan ng pagsasama-sama ng mga GPU resource para sa maraming modelo at pag-iskedyul ng gawain sa mas maiikling pagitan, upang manatiling abala ang bawat accelerator.

Inilalarawan ng Alibaba Cloud ang Aegaeon bilang paraan para maghatid ng magkakasabay na LLM workload nang walang pagsasayang. Pinagsasama ng sistema ang masinsing pag-iskedyul ng maraming modelo at mga mekanismong nagpapanatiling handa sa memorya ang mga datos at nagpapalipat-lipat ng gawain sa iba’t ibang modelo nang halos walang pagkaantala. Ayon sa pangkat ng pananaliksik mula sa Peking University at Alibaba Cloud, nagbubunga ito ng mas mataas na throughput, mas kaunting paghihintay sa pila, at mas kaunting chip na nakatalaga sa mga serbisyong hindi gaanong ginagamit.

Anong problema ang nilulutas ng Aegaeon?

Mahaba ang buntot ng pangangailangan sa mga makabagong AI platform: iilang sikat na modelo ang tumatanggap ng karamihan sa inference traffic. Mahalaga pa rin sa mga developer ang mga modelong hindi gaanong popular, ngunit paisa-isa at hindi regular ang mga tawag sa mga ito. Sinukat ng Alibaba Cloud na 17.7 porsiyento ng mga GPU sa marketplace nito ang nakalaan sa paghahatid ng 1.35 porsiyento lamang ng mga kahilingan. Kapag itinatakda ang mga modelo sa mga nakalaang accelerator, nagbabayad ang cloud para sa panahong hindi ginagamit ang mga ito at para sa madalas na cold start, lalo na kapag pabugso-bugso o hindi mahulaan ang daloy ng trapiko.

Sa panlabas, mukhang simple ang paghahatid ng inference, ngunit masalimuot ang mga prosesong nasa likod nito. Nasa GPU memory ang mga weight at runtime state ng isang malaking language model. Habang bumubuo ito ng sagot, pinananatili ng sistema ang key value cache na nag-iimbak ng mga intermediate activation para sa mga token na nalikha na. Mabagal ang pag-load ng mga weight ng modelo mula sa disk o sa network. Matagal ding painitin ang key value cache. Karaniwang nangangailangan ng magastos na pag-unload at pag-reload ang pagpapalit ng modelong pinatatakbo ng GPU. Dahil sa overhead na ito, hindi gaanong naibabahagi ang mga GPU at kadalasan ay nakalaan ang bawat isa sa isa o dalawang modelo lamang. Dinisenyo ang Aegaeon para mas episyenteng pamahalaan ang mga paglilipat na ito, upang maibahagi ang oras ng GPU sa maraming modelo nang walang malaking parusa sa performance.

Paano gumagana ang sistema

Ang Aegaeon ay isang multi model serving stack na itinuturing ang GPU bilang pinagsasaluhang pool at nagpapasiya kung ano ang patatakbuhin sa napakaliit na pagitan. Sa halip na magpalawak batay sa antas ng kahilingan o replica ng modelo, nagpapasiya ito sa bawat token. Maaaring salit-salitang buuin ng scheduler ang mga token para sa iba’t ibang user at modelo sa iisang GPU, habang pinananatiling handa sa memorya ang mahahalagang istruktura ng datos. Layunin nitong maparami ang kapaki-pakinabang na gawa kada segundo nang hindi lalampas sa mahigpit na limitasyon sa oras ng pagtugon.

Awtomatikong pagpapalawak sa antas ng token

Ang pangunahing ideya ay palawakin ang kapasidad sa antas ng token. Ibig sabihin, maaaring magsimulang maghatid ang Aegaeon ng kahilingan para sa isang modelo, saka mag-iskedyul ng mga token para sa ibang modelo kapag may natitirang kapasidad, habang ginagamit ang parehong batching at kernel launch. Iniulat sa papel na napangasiwaan ng Aegaeon ang dalawa hanggang 2.5 beses na mas mataas na rate ng pagdating ng mga kahilingan, o nakapaghatid ito ng 1.5 hanggang 9 na beses na mas mataas na goodput, kumpara sa mga alternatibong pool na dalawa o tatlong modelo lamang ang pinagsasaluhan sa bawat GPU. Dahil gumagana ito sa antas ng token, naiiwasan ng sistema ang mahahabang paghintay na dulot ng pagpapagana ng mga bagong replica at mabilis itong nakatutugon sa biglaang pagdami ng kahilingan para sa anumang modelo.

Muling paggamit ng memorya at koordinasyon ng KV cache

Ibinababa ng Aegaeon ang overhead sa pamamagitan ng muling paggamit ng mga bahagi, tahasang pamamahala ng memorya, at koordinasyon ng key value cache sa pagitan ng mga modelo sa mas maliliit na pagitan. Ayon sa mga mananaliksik, nababawasan nito nang 97 porsiyento ang overhead ng awtomatikong pagpapalawak kumpara sa mga payak na pamamaraan. Dahil sa mas mahusay na pamamahala ng memorya at cache, maaaring panatilihing handa ng iisang GPU ang maraming modelo nang hindi palaging nagre-reload. Dahil dito, kayang suportahan ng isang accelerator ang hanggang pitong modelo nang sabay-sabay, kumpara sa karaniwang limitasyong dalawa o tatlo sa mga naunang multi model system.

Mga sinukat na resulta mula sa production beta

Ayon sa Alibaba Cloud, mahigit tatlong buwan nitong sinubukan ang Aegaeon bilang beta sa marketplace ng mga modelo nito. Dose-dosenang modelo ang inihatid ng deployment, kabilang ang mga modelong may hanggang 72 bilyong parameter. Sa panahong iyon, iniulat ng pangkat na bumaba mula 1,192 tungong 213 ang mga Nvidia H20 GPU na kailangan para matugunan ang parehong dami ng serbisyo, katumbas ng 82 porsiyentong pagtitipid sa resource. Binawasan din ng sistema nang 97 porsiyento ang parusa sa latency kapag nagpapalit ng modelo. Nakatutulong ito kapag salit-salitang ginagamit sa maghapon ang mga sikat at hindi gaanong ginagamit na modelo.

Mainam na lugar ng pagsubok ang marketplace dahil nakararanas ito ng aktuwal na sabayang paggamit, iba’t ibang laki ng kahilingan, at malawak na hanay ng mga modelo. Sa ganitong kalagayan, mas napagkakaabalahan ng Aegaeon ang mga accelerator, nababawasan ang panahong walang gamit ang mga serbisyong bihira tawagin, at napananatili ang mabilis na pagtugon sa mga modelong mataas ang pangangailangan sa pamamagitan ng mas pinong pag-iskedyul. Mukhang kombinasyon ng pag-iskedyul sa bawat token at maingat na muling paggamit ng memorya ang susi para makalikha ng mas maraming kapaki-pakinabang na gawain sa bawat oras ng paggamit ng GPU.

Iginiit ng pangkat ng pananaliksik mula sa Peking University at Alibaba Cloud na nag-iiwan sa mesa ng potensyal na kita ang nakagawiang pagtatalaga ng mga GPU sa mga modelong pabugso-bugso ang pangangailangan. Direkta nilang inilahad ang konklusyon sa papel.

Ang Aegaeon ang unang pag-aaral na naglantad sa labis na gastos na kaugnay ng paghahatid ng magkakasabay na LLM workload sa marketplace.

Kaayon ito ng mga nakikitang kalakaran sa mga marketplace ng modelo. Matagal nang batid ng mga provider na kumakain ng kapasidad at nagpapataas ng gastos para sa lahat ang mahabang buntot ng mga modelong bihira gamitin. Ipinakikita ng pamamaraan ng Aegaeon na kayang tugunan ng pag-iskedyul at disenyo ng memoryang iniangkop sa paghahatid ng maraming modelo ang pagsasayang ito.

Ano ang kahulugan nito para sa mga cloud customer at developer

Para sa mga customer, maaaring mangahulugan ang mas kaunting GPU sa bawat yunit ng throughput ng mas mababang presyo, mas maluwag na quota, at mas mahuhulaang performance. Kung maihahatid ng cloud ang parehong trapiko gamit ang halos ikalimang bahagi lamang ng mga accelerator, maaari itong maglaan ng kapasidad para sa mga oras ng dagsa at magpapaikli sa pila para sa mga bagong deployment. Maaari ring hindi gaanong makaranas ng bottleneck ang mga developer na pinagsasama ang ilang modelo sa iisang application dahil sa cold start at madalas na pagbabago ng replica kapag lumilipat ang trapiko sa iba’t ibang endpoint.

May mga praktikal na usaping mahalaga sa mga mamimili. Dapat mapanatili ng pagbabahagi ng maraming modelo ang isolation, upang hindi mapababa ng workload ng isang tenant ang kalidad ng serbisyo o makapaglantad ng datos ng ibang tenant. Dapat ding sundin ng scheduler ang mga tuntunin sa prayoridad at pagiging patas, para manatiling mabilis tumugon ang mga sikat na modelo habang nakasusulong pa rin ang mas mababagal. Ipinahihiwatig ng papel na isinasaalang-alang sa mga pasya ng Aegaeon sa antas ng token ang mga target sa kalidad ng serbisyo. Gayunman, kakailanganin ng mga cloud provider ang mahusay na observability at throttling upang makontrol ang tail latency habang pinalalawak nila ang pooling sa mas malalaking fleet.

Nvidia, China at ang kalagayan ng AI chip

Dumating ang Aegaeon sa panahong limitado ang pandaigdigang suplay ng mga high-end accelerator at umiiral ang mga kontrol sa pag-export ng makabagong AI chip papuntang China. Dinisenyo ng Nvidia ang H20 para sa merkado ng China alinsunod sa mga patakarang iyon, at umaasa sa aparatong ito ang maraming provider sa bansa para sa inference. Kasabay nito, namumuhunan ang mga kumpanyang Tsino gaya ng Huawei at Cambricon sa mga lokal na alternatibo. Mahalaga sa anumang merkado ang episyensiya ng software na nagpapahintulot sa bawat GPU na maghatid ng mas maraming gawain, ngunit higit itong kapaki-pakinabang kapag limitado ang pagkuha ng pinakamakabagong chip.

Ipinabatid ng pamunuan ng Nvidia na ipinapalagay sa malapitang pagtataya nito sa pananalapi na kaunti o walang kita ang magmumula sa segment ng makabagong chip sa China dahil sa mga limitasyon ng patakaran. Dahil dito, higit na nagiging mahalaga ang mga resulta ng Alibaba Cloud. Kung mapalalawak ng malalaking provider ang kakayahan ng mga naka-install na chip sa tulong ng software, maaari nilang patuloy na palakihin ang mga serbisyo kahit limitado ang suplay ng pinakamataas na uri ng accelerator.

Paghahambing ng Aegaeon sa ibang mga pamamaraan

Hanggang kamakailan, dalawa o tatlong modelo lamang ang ligtas na naibabahagi ng karamihan sa mga multi model serving system sa iisang GPU bago lumamang ang mga overhead sa mga benepisyo. Bawat karagdagang modelo ay nagdaragdag ng paglipat-lipat ng konteksto, cache miss, at panganib ng pabagu-bagong performance na maaaring magpabagsak sa mga target ng latency. Nakatuon ang disenyo ng Aegaeon sa pagpapaliit ng gastos sa paglipat at pagpapanatili sa mahahalagang istruktura ng datos sa memorya para sa iba’t ibang modelo. Ito ang dahilan kung bakit kaya nang magpatakbo ng isang accelerator ng hanggang pitong modelo sa mga iniulat na kundisyon.

Angkop pa rin ang mga nakalaang instance para sa mga endpoint na nangangailangan ng pinakamataas na throughput o mga workload na may mahigpit na rekisito sa isolation. Sa kabilang dulo, maaaring maging matipid para sa mga modelong kakaunti ang trapiko ang serverless inference na nagpapagana ng buong replica kapag kinakailangan, ngunit mas matagal itong magsimula. Nasa gitnang landas ang Aegaeon. Pinagsasama nito ang kapasidad at pinananatiling handa ang mga modelo, saka iniiskedyul ang gawain sa maiikling pagitan upang mapataas ang kabuuang paggamit nang hindi kapalit nito ang malaking dagdag sa latency.

Mga tanong teknikal na bukas pa at mga susunod na hakbang

Isinagawa ang beta sa marketplace ng mga modelo ng Alibaba Cloud, isang malawak na kapaligiran ngunit hindi sumasaklaw sa lahat ng serbisyo nito. Masusubok ang disenyo sa ilalim ng ibang mga limitasyon kung ilulunsad ang Aegaeon sa mas marami pang rehiyon at sa iba’t ibang linya ng produkto, gaya ng mga nakalaang enterprise cluster o on-premises stack. Isa pang tanong kung paano gagana ang scheduler habang humahaba ang konteksto ng mga modelo at kapag pinagsasama ng mga multimodal model ang wika, larawan at tunog. Maglalagay ng bagong hamon sa pamamahala ng memorya at cache ang mga sitwasyong ito.

May pagkakataon ding magsaliksik tungkol sa pagbabahagi sa pagitan ng magkakaibang uri ng accelerator at ng magkakahiwalay na node. Kung mapagsasama ng scheduler hindi lamang ang isang GPU kundi isang pangkat ng GPU sa isang fabric, maaari itong magbukas ng karagdagang pakinabang, basta’t mababa ang overhead ng interconnect at mahuhulaan ang paglalagay ng memorya. Sa ngayon, ipinakikita ng nailathalang ebidensiya ang malalaking pakinabang ng pooling sa iisang device, na isa nang mahalagang praktikal na pag-unlad para sa mga kasalukuyang inference workload.

Mabilisang Datos

• Ibinaba ng Aegaeon mula 1,192 tungong 213 ang bilang ng GPU para sa serbisyo sa marketplace ng Alibaba Cloud gamit ang Nvidia H20, katumbas ng 82 porsiyentong bawas.
• Dose-dosenang modelo, kabilang ang mga may hanggang 72 bilyong parameter, ang inihatid ng sistema sa loob ng mahigit tatlong buwang beta.
• Suportado ng isang GPU ang hanggang pitong modelo sa mga iniulat na pagsubok, kumpara sa dalawa o tatlo sa mga naunang sistema.
• Binawasan nang 97 porsiyento ng pag-iskedyul sa bawat token, muling paggamit ng memorya, at pagsasabay ng key value cache ang overhead ng awtomatikong pagpapalawak.
• Ipinakita ng mga eksperimento ang dalawa hanggang 2.5 beses na mas mataas na napapanatiling rate ng pagdating ng mga kahilingan, o 1.5 hanggang 9 na beses na mas mataas na goodput, kumpara sa mga alternatibo.
• Tinutugunan ng pamamaraan ang problema ng mahabang buntot sa mga marketplace ng modelo, kung saan malaking bahagi ng GPU ang nauubos para sa maliit na bahagi ng mga kahilingan.
• Dumating ang mga resulta habang nililimitahan ng mga kontrol sa pag-export ang pagkuha ng makabagong AI chip sa China at bumibilis ang mga pagsisikap na bumuo ng lokal na GPU.