Nilalayon ng Samsung na pababain ang gastos sa AI token sa mas mahusay na paggamit ng memorya ng server

Mas maraming AI request nang hindi nagdaragdag ng GPU

Gumawa ang Samsung Electronics ng paraan para makahawak ng mas maraming sabayang request ang mga server para sa artificial intelligence sa pamamagitan ng pagbabago kung paano inilalaan ng mga ito ang memorya at inililipat ang data sa pagitan ng mga processor. Inilalarawan sa isang nailathalang aplikasyon ng patent ang software na tumitimbang sa tagal ng paghihintay, gastos sa paglilipat at mga pangangailangan sa memorya sa hinaharap upang magpasya kung aling mga request ang unang dapat iproseso ng isang large language model.

Layunin nitong mabawasan ang mga pagkaantala kapag napupuno ang memorya ng graphics processing unit (GPU), upang mas maraming tao ang mapagsilbihan ng mga kasalukuyang server. Inilalarawan ng Samsung ang imbensiyon bilang teknolohiya para sa imprastraktura ng AI inference, ang proseso ng pagpapatakbo ng sinanay na modelo upang sumagot sa mga tanong, sa halip na tampok para sa isang partikular na produktong pangkonsumer.

Nagbibigay ng kongkretong larawan ng posibleng matipid mula sa mas mahusay na pamamahala ng memorya ang kaugnay na pananaliksik ng Samsung. Sa hiwalay na eksperimento sa storage na gumamit ng walong NVIDIA H100 NVL GPU at sampung Samsung solid state drive, napapanatili ng Samsung na wala pang isang segundo ang paghihintay para sa unang output token hanggang sa 240 sabayang user. Kung walang storage offloading, nagsimula nang humaba ang paghihintay kapag lumampas sa 140 user.

Tinutugunan ng patent, ng eksperimento sa storage at ng isa pang proyekto ng Samsung SDS ang magkakaibang bahagi ng iisang problema: maaaring masyadong matagal gugulin ng mga mamahaling AI processor ang paglilipat o muling pagbuo ng impormasyon. Para sa mga operator, ang pagbawas sa gawaing ito ay maaaring mangahulugan ng mas maraming sagot mula sa kasalukuyang kagamitan at mas mababang gastos sa bawat token, ang maliliit na bahagi ng tekstong pinoproseso at binubuo ng mga language model.

Bakit nakapagpapatagal sa sagot ang memorya

Maraming kalkulasyon ang kayang gawin ng GPU nang sabay-sabay, kaya kapaki-pakinabang ito sa pagbuo ng mga sagot ng AI. Gayunman, limitado ang kapasidad ng mabilis na lokal na memorya nito. Nag-aagawan sa espasyong ito ang maraming pag-uusap, lalo na kapag nagsusumite ang mga user ng mahahabang dokumento o nagtatanong ng mga nangangailangan ng mahahabang sagot.

Nagtatago ang mga language model ng pansamantalang rekord ng mga naunang kalkulasyon sa isang estrukturang tinatawag na key value cache, o KV cache sa pinaikling tawag. Para itong mga tala sa trabaho: kapag pinanatili ang mga ito, maipagpapatuloy ng modelo ang sagot nang hindi inuulit ang lahat ng kalkulasyong nagawa na nito.

Nangangailangan ang eksperimento ng Samsung sa storage ng humigit-kumulang 3 GB na KV cache para sa bawat session. Sa 240 session, katumbas ito ng humigit-kumulang 720 GB na cache data sa kabuuang workload. Ipinakikita ng bilang kung bakit maaaring maging problema sa memorya ang pagsisilbi sa maraming tao kahit may naka-install na malaking kapasidad sa pag-compute.

Kapag kinapos na ang mabilis na memorya ng GPU, maaaring ilipat ng server ang ilang data sa memoryang kaugnay ng central processing unit (CPU), saka ito ibalik kapag kailangan. Kumakain ng oras ang mga paglilipat na ito. Kumokonsumo rin ng mga resource ang muling pagbuo ng mga kalkulasyong itinapon na. Nakatuon ang patent ng Samsung sa mas maingat na pamamahala sa kompetisyong ito.

Paano gumagana ang naka-patent na paraan ng pag-iskedyul

Inilalarawan sa aplikasyon ng Samsung na pinamagatang Method and Server for Processing Multiple User Requests of a Large Language Model ang isang scheduler na isinasaalang-alang ang gastos sa pagsisilbi sa bawat request. Kabilang sa mga input nito ang tagal ng paghihintay ng user, oras na gugugulin sa paglilipat ng data at dami ng memoryang kakailanganin ng request.

Ginagamit ng server ang mga kalkulasyong ito upang pumili ng pagkakasunod-sunod ng pagproseso. Mahalaga ito dahil maaaring mangailangan muna ng malaking paglilipat ang isang request na mukhang handa nang patakbuhin, samantalang maaaring gumamit ang isa pang request ng data na malapit na. Makababawas sa oras na ginugugol sa paglilipat-lipat ng memorya ang pag-uugnay sa mga pasyang ito.

Sinusuri rin ng paraang ito kung naroon pa sa memorya ng CPU ang impormasyong dating inilipat doon. Kung may magagamit na kopya, ang mga bahaging kailangan lamang ang maililipat ng server sa halip na kopyahin muli ang lahat. Maaari rin itong maglipat ng data para sa isang user habang binubuo ng GPU ang sagot para sa isa pa, kaya nagkakasabay ang kapaki-pakinabang na gawain at paghahanda.

Inilalarawan din ng Samsung ang paggamit ng bahagyang bakanteng memorya. Kung nangangailangan ng limang yunit ng espasyo ang bagong request ngunit tatlo lamang ang bakante, maaaring simulan ng sistema ang bahaging kasya sa halip na hintaying magkaroon ng limang yunit. Layunin nitong mapanatiling nagagamit ang limitadong mga resource sa mga abalang panahon. Hindi pa inilalantad ang mga detalye ng komersiyal na paggamit at ang nasukat na mga pagbuti sa oras ng pagtugon at throughput para sa naka-patent na paraang ito.

Mga sinukat ng Samsung sa storage offloading

Sinusuri sa white paper ng Samsung Electronics tungkol sa KV cache ang ibang paraan: pagpapanatili ng magagamit-muling cache data sa mga NVMe solid state drive. Teknolohiya ang NVMe na nagbibigay-daan sa mabilis na pakikipag-ugnayan ng mga storage device sa computer sa pamamagitan ng mga koneksiyong PCIe.

Gumamit ang pagsubok ng walong NVIDIA H100 NVL GPU, walong magkakasabay na LLaMA-3.1 8B inference service, vLLM serving software at LMCache, isang open source na layer na namamahala sa magagamit-muling KV cache data. Pinagsama sa isang RAID-0 array ang sampung Samsung PM1753 drive. Ipinamamahagi ng array ang data sa mga drive upang pataasin ang bilis ng paglilipat.

Sinukat ng Samsung ang dami ng user nang tig-20, hanggang umabot sa 280 sabayang user. Nagsumite ng query ang bawat user kada 20 segundo, kaya nagkaroon ng workload na mula isa hanggang 14 na query kada segundo. Sinubok samakatuwid ng eksperimento ang isang takdang padron ng paulit-ulit na request at paglipat ng cache.

Nagiging kapaki-pakinabang ang paraan ng storage kapag lumilipat ang isang session sa pagitan ng mga GPU. Maaaring i-reload ng GPU na paglilipatan ang mga nakaimbak na kalkulasyon sa halip na ulitin ang unang pagproseso ng mahabang prompt. Sa loob ng iisang makina, maaaring itago ang panlabas na cache sa memorya o storage ng CPU. Sa pagitan ng mga makina, ipinaliwanag ng Samsung na kailangan ng cache ng pinagsasaluhang resource na maaabot ng mga kaugnay na server.

Mas mabilis na pagsisimula at mas maraming nalilikhang teksto

Dalawang aspeto ng performance ng serbisyo ang sinukat ng Samsung: oras bago lumabas ang unang token at bilang ng token kada segundo. Sinusukat ng una kung gaano katagal maghihintay ang isang tao bago magsimulang lumitaw ang sagot. Sinusukat naman ng ikalawa kung gaano karaming teksto ang nalilikha ng sistema sa paglipas ng panahon.

Kapag naka-on ang storage offloading, napanatili ng pagsubok na wala pang isang segundo ang oras bago lumabas ang unang token hanggang sa 240 sabayang user, kumpara sa pagtaas ng latency lampas 140 user nang walang offloading. Inilalarawan ito ng Samsung bilang kakayahang magsilbi sa 1.7 beses na mas maraming user sa maihahambing na latency. Sa saklaw na 20 hanggang 140 user, nanatili sa humigit-kumulang kalahating segundo ang paunang paghihintay sa configuration na gumagamit ng offloading.

Sa 240 user, humigit-kumulang 1.5 beses na mas maraming output token ang nalikha ng sistemang may offloading. Nagsimulang mapuno ang kapasidad ng configuration na walang offloading sa bandang 160 user, samantalang patuloy na dumami ang output ng sistemang muling gumamit ng nakaimbak na cache kasabay ng paglaki ng demand.

Iniuugnay ng Samsung ang pagtaas sa pagbawas ng paulit-ulit na pagproseso ng prompt. Pinoproseso muna ng language model ang input sa yugtong tinatawag na prefill, saka nito binubuo ang sagot nang paisa-isang token sa yugtong tinatawag na decode. Kapag muling ginamit ang mga nakaimbak na kalkulasyon, mas malaking kapasidad ng GPU ang naiiwan para sa pagbuo ng mga sagot.

Kailan sulit ang dagdag na storage

Ipinakikita sa pagsusuri ng gastos ng Samsung na may kapalit ang dagdag na hardware kahit pinahuhusay nito ang kahusayan kapag malaki ang demand. Sa saklaw na zero hanggang 160 sabayang user, magkahawig ang throughput ng token ng dalawang configuration, habang humigit-kumulang 4% na mas mataas ang gastos ng configuration na gumagamit ng offloading dahil sa dagdag na mga bahagi ng NVMe.

Kapag lumampas sa 180 user, nabawi ng mas mataas na output ang dagdag na gastos sa storage. Sa 240 user, kinalkula ng Samsung na humigit-kumulang 1.5 beses na mas mahusay ang kahusayan sa gastos, batay sa bilang ng token kada segundo bawat dolyar sa loob ng tatlong taong operasyon.

Sa ibang pananalita, katumbas ng humigit-kumulang sangkatlong bawas sa gastos kada yunit ng output ang 1.5 beses na pagbuti sa output kada dolyar, ayon sa kalkulasyong iyon. Tumutukoy ang paghahambing sa kagamitang at workload na sinubok ng Samsung. Nakasalalay rin ang aktuwal na ekonomiya ng isang serbisyo sa modelo, haba ng mga pag-uusap, daloy ng trapiko at gastos sa kagamitan.

Samakatuwid, nakadepende sa demand ang praktikal na pagpili para sa isang cloud operator. Maaari nitong taasan ang paunang singil ang dagdag na storage kapag kaya nang hawakan nang maayos ng kasalukuyang kapasidad ng GPU ang workload. Kapag matagal ang pagsisikip, maaaring makapagsilbi sa mas maraming aktibidad ang parehong instalasyon ng GPU sa pamamagitan ng muling paggamit ng cache bago mangailangan ng isa pang server.

Umaabot ang pagtitipid sa kuryente hanggang sa mga bentilador

Mas mababang konsumo rin ng kuryente ang sinukat ng Samsung sa eksperimento nito sa storage. Sa 240 user, humigit-kumulang 2.9 beses na bumuti ang performance kada watt. Bumaba sa humigit-kumulang 53% ng konsumo ng configuration na walang offloading ang kabuuang power ng sistema, o nang mga 47%.

Ayon sa white paper, humigit-kumulang 6% ang idinagdag sa konsumo ng kuryente ng mga karagdagang NVMe drive. Higit pa sa dagdag na ito ang natipid sa pangangailangan ng GPU at pagpapalamig. Nagtala ang Samsung ng paggamit ng GPU na humigit-kumulang 49% nang mabawasan ang paulit-ulit na mabibigat na kalkulasyon sa prefill dahil sa pagbabago ng workload.

Makikita rin ang pagbabagong ito sa mga bentilador na pampalamig. Kung walang offloading, umandar sa pinakamataas na inaasahang bilis na 15,000 ikot kada minuto ang lahat ng bentilador ng sistema. Kapag may offloading, umandar sa humigit-kumulang 7,800 ikot kada minuto ang mga bentilador para sa CPU, memorya at storage, habang umandar naman sa humigit-kumulang 9,800 ang mga bentilador sa panig ng GPU.

Ipinakikita ng resulta kung bakit maaaring magdagdag ng konsumo ng kuryente ang isang bahagi sa mismong kinalalagyan nito ngunit magpababa ng konsumo sa kabuuan ng server. Sa eksperimentong ito, nabawasan ng paggugol ng enerhiya sa pagkuha ng mga nakaimbak na kalkulasyon ang mas malaking konsumo mula sa pag-uulit ng mga kalkulasyon at pag-aalis ng init na nalilikha nito.

Dapat kayanin ng storage ang biglaang pagtaas ng demand

Ipinakikita rin ng mga sukat ng Samsung kung bakit hindi sapat ang pagkakaroon lamang ng bakanteng kapasidad sa drive para magamit ang paraang ito. Umabot sa 37 GB kada segundo ang pinagsama-samang throughput ng storage sa karaniwan, at halos doble ng karaniwan ang maaaring maging pinakamataas na demand kapag sabay-sabay na humiling ang mga GPU.

Karaniwang nasa 160 ang bilang ng mga storage operation na kasalukuyang isinasagawa, ngunit maaari itong biglang umakyat sa 800. Inirerekomenda ng Samsung ang bandwidth ng storage na hindi bababa sa doble ng karaniwang pangangailangan upang kayanin ang biglaang pagtaas habang napapanatili ang mabilis na pagtugon.

Nakasaad sa espesipikasyon ng PM1753 na umaabot ito sa 14.5 GB kada segundo sa sunod-sunod na paglilipat at 3.3 milyong random read operation kada segundo. Sa sinubok na workload, bumubuo ng humigit-kumulang 92% ng aktibidad sa storage ang mga read at 8% naman ang mga write. Naglipat ang LMCache ng malalaking bloke ng cache na humigit-kumulang 33 MB.

Maaaring lumikha ng salit-salitang daloy ng mga request kapag sabay-sabay na nagbabasa ng malalaking bloke ang ilang serbisyo. Kaya kailangang mapanatili ng storage subsystem ang bilis ng paglilipat kapag sabay-sabay na nagiging aktibo ang maraming user. Nakatutulong ang kapasidad ng cache, bilis ng paglilipat at pag-iskedyul upang matukoy kung sapat na mabilis na makararating sa GPU ang nakaimbak na impormasyon para mapakinabangan ito.

Inililipat ng Samsung SDS ang pag-compute sa memorya

Ibang paraan naman ang tinutuklas ng Samsung SDS para bawasan ang paggalaw ng data. Inilalarawan sa ulat ng pananaliksik nito tungkol sa PAISE ang PIM-Accelerated Inference Scheduling Engine, na ipinrisinta sa IEEE HPCA 2025. Gumagamit ang PAISE ng processing in memory (PIM), kung saan inilalagay ang mga yunit ng pag-compute sa loob ng mga memory chip upang maisagawa ang ilang kalkulasyon kung saan nakaimbak ang data.

Ipinatupad at sinubok ng Samsung SDS ang sistema sa Aquabolt-XL PIM hardware ng Samsung, gamit ang mga modelong GPT-2, OPT at Llama2. Iniulat nito ang pagbilis ng inference nang hanggang 48.3% at pagbaba ng konsumo ng kuryente nang humigit-kumulang 11.5%.

Pinagpapasyahan ng PAISE kung aling mga operasyon ang dapat gawin sa memorya at inaayos nito ang data ayon sa pangangailangan ng hardware. Pinagsasama rin nito ang maliliit na kalkulasyon sa attention upang mas mahusay na maisagawa ang mga ito nang sabay-sabay. Iniulat ng Samsung SDS ang mas mabilis na pag-update ng KV cache at mas malaking pagbuti sa mas malalaking batch size, o pangkat ng mga request na sabay-sabay na pinoproseso.

Magkakaibang bahagi ng server ang tinutugunan ng tatlong proyekto. Iniiskedyul ng patent ang mga request at paglilipat sa pagitan ng memorya ng GPU at CPU. Pinananatili naman ng eksperimento sa storage ang cache sa mga drive upang magamit muli sa hinaharap. Inililipat ng PAISE ang mga piling kalkulasyon sa hardware ng memorya. Sama-sama, ipinakikita ng mga ito ang paghahanap ng Samsung ng ilang paraan upang mabawasan ang oras at enerhiyang ginugugol sa paglilipat o muling pagbuo ng impormasyong nasa likod ng mga sagot ng AI.

Mahahalagang Punto

• Iniiskedyul ng nailathalang aplikasyon ng patent ng Samsung ang mga AI request batay sa tagal ng paghihintay, gastos sa paglilipat at inaasahang pangangailangan sa memorya.
• Layunin ng naka-patent na paraan na makapagsilbi sa mas maraming user gamit ang mga kasalukuyang GPU; hindi pa inilalantad ang mga bilang sa komersiyal na performance.
• Sa hiwalay na pagsubok ng Samsung sa storage, napagsilbihan ang 240 sabayang user na wala pang isang segundo ang paunang paghihintay sa sagot, kumpara sa pagtaas ng latency lampas 140 user kapag walang offloading.
• Sa 240 user, naghatid ang storage offloading ng humigit-kumulang 1.5 beses na mas maraming output ng token at mas mahusay na kahusayan sa gastos, kasabay ng 2.9 beses na mas mahusay na performance kada watt.
• Humigit-kumulang 4% ang idinagdag sa gastos ng dagdag na storage kapag mas magaan ang workload, kaya mahalagang salik sa pagkukuwenta ng ekonomiya ang demand.
• Iniulat ng Samsung SDS na pinahusay ng hiwalay nitong sistemang PAISE ang bilis ng inference nang hanggang 48.3% sa pamamagitan ng pag-compute sa loob mismo ng memorya.