Nagtatayo ang China ng $37 bilyong network ng Stargate AI data center para pagsamahin ang computing capacity

Sentral na hub sa Yangtze

Ginagawang malaking kumpol ng mga data center ng China ang isang islang may lawak na 760 acre sa lungsod ng Wuhu, bilang ubod ng pambansang planong pagsamahin ang computing capacity para sa artificial intelligence. Malawakang tinatawag na Stargate ng China ang proyekto, na nag-uugnay sa mga server ng Huawei, China Mobile, China Telecom, at China Unicom. Layunin nitong pagsama-samahin ang magkakahiwalay na pasilidad sa iisang network na maaaring planuhin at paghatian sa malawakang saklaw, bilang tugon sa mabilis na paglaki ng pangangailangan sa AI at limitadong akses sa pinakamahuhusay na processor. Ayon sa mga lokal na awtoridad, umabot na sa 270 bilyong yuan, o humigit-kumulang 37 bilyong dolyar, ang pamumuhunang kaugnay ng proyekto.

Ang lugar sa Wuhu, na kilala roon bilang Data Island, ay malapit sa Shanghai, Hangzhou, at Nanjing. Mahalaga ang kalapitan sa mga siksik na pamilihang urbano para sa inference ng AI, ang yugto kung kailan sumasagot sa mga tanong o gumagawa ng content para sa mga user ang mga sinanay na modelo. Nababawasan ng mas maiikling distansya ang latency, kaya mas mabilis tumugon ang mga voice assistant, search engine, pagsusuri ng panganib sa pananalapi, rekomendasyon sa retail, at serbisyo ng lungsod. Pinapalawak o ginagamit muli ng China ang mga pasilidad sa Ulanqab, Guizhou, at Qingyang para paglingkuran ang iba pang rehiyon. Inaasahang tutuon ang mga malalayong sentrong ito, na marami ay nasa mga lugar na mas mura ang lupa at sagana sa kuryente, sa pagsasanay ng modelo, ang yugtong pinakamatakaw sa computing capacity sa pagbuo ng AI.

Ano ang ilalagay sa Data Island na may lawak na 760 acre

Nagtatayo ang mga operator ng malalaking bulwagang puno ng mga accelerator, CPU, memory, storage, at high-speed switching equipment. Naglatag at namamahala na ng mga fiber route sa rehiyon ang mga telecom carrier, kaya makakakonekta ang lugar sa matataas na kapasidad sa mga kalapit na lungsod at iba pang kumpol sa loob ng bansa. Layunin na mailipat-lipat ang mga workload sa network batay sa pagkaapurahan, gastos, at kakayahang magamit, at italaga ang mga hindi ginagamit na resource sa isang lugar para tumulong sa mga gawain sa iba. Itinataguyod ng Huawei ang UB Mesh, teknolohiyang sinasabi nitong makapag-uugnay sa mga processor sa maraming bulwagan o maging sa iba’t ibang lungsod, sa tulong ng software na itinuturing ang mga ito bilang iisang pool para sa training at inference.

Bakit pagsamahin ngayon ang AI compute

Nais ng Beijing na mapataas ang pakinabang mula sa bawat chip sa bansa. Nitong mga nakaraang taon, hindi gaanong nagamit ang maraming accelerator sa malalayong lalawigan dahil kakaunti ang lokal na pangangailangan, samantalang hindi madaling ma-access ng mga kumpanyang nasa baybayin ang kinakailangan nilang computing capacity. Nangangako ang isang pambansang network ng solusyon. Inaasahan ng mga tagaplano na sa pamamagitan ng pag-uugnay sa mga kumpol ay mas magiging matatag ang sistema tuwing may aberya, mas magagamit ang kabuuang kapasidad, at maibebenta sa mga mamimili sa ibang lugar ang sobrang computing capacity ng isang rehiyon.

Hinuhubog din ng geopolitika ang hakbang na ito. Tinataya ng mga analyst na kontrolado ng mga laboratoryo sa US ang humigit-kumulang tatlong-kapat ng pandaigdigang kapasidad sa computing para sa AI, habang nasa 15 porsiyento naman ang bahagi ng China. Nililimitahan ng mga kontrol sa export ng US ang akses ng China sa pinakamahuhusay na Nvidia GPU at pinipigilan ang mga nangungunang contract chipmaker na gumawa ng mga chip na iyon para sa mga kliyenteng Tsino. Dahil dito, prayoridad ang mas mahusay na koordinasyon ng mga hardware sa bansa. Pagsasama-sama ng mga pasilidad ang kasalukuyang hakbang ng pamahalaan, habang nagsisikap ang mga lokal na proyekto sa chip na makahabol.

Paano gagana ang network

Malinaw na pinag-iiba ng plano ang dalawang uri ng gawain ng AI. Ang training ang mabigat na yugto kung kailan natututo ang mga modelo mula sa datos. Mas angkop dito ang malalayong lugar na may mas murang kuryente at lupa, kung saan maaaring gamitin ang libo-libong accelerator sa mga trabahong tumatagal nang ilang araw o linggo. Ang inference naman ang yugto ng pagtugon kung kailan pinaglilingkuran ng mga sinanay na modelo ang mga user. Inilalapit ito sa mga end user sa malalaking lungsod, kung saan mas mahalaga ang bilis at pagiging maaasahan kaysa sa pinakamababang posibleng gastos sa kuryente.

Training sa kanluran, inference malapit sa baybayin

Naglalaman na ang mga malalayong rehiyon gaya ng Inner Mongolia at Gansu ng malalaking sakahan ng server na itinayo para sa cloud o mga serbisyo sa internet. Sa ilalim ng bagong paraan, ginagamit muli ang mga bulwagang ito para sa training ng modelo, kabilang ang malalaking language model (LLM). Ikinokonekta ang mga ito sa mga lungsod sa baybayin sa pamamagitan ng fiber na may mataas na kapasidad, para mabilis na makopya ang mga modelong naka-checkpoint papunta sa mga inference cluster malapit sa Shanghai, Hangzhou, Guangzhou, at iba pang malalaking lungsod.

Huawei UB Mesh at pag-iskedyul sa antas ng cluster

Para maisakatuparan ito, kailangan ng mga operator ng mabilis na interconnect at software na makapag-uugnay sa libo-libong processor. Ipinoposisyon ang UB Mesh bilang isang fabric na nagpapababa sa overhead ng komunikasyon sa pagitan ng mga accelerator sa iba’t ibang silid o lugar. Sa praktika, nangangahulugan ito ng paggamit ng mga paraang katulad ng ginagamit sa high-performance computing, gaya ng remote direct memory access at mga collective communication library na nagpapanatili sa sabayang takbo ng maraming chip habang sinasanay ang napakalalaking neural network. Sa ibabaw ng fabric, maaaring italaga ng mga scheduler ang mga gawain sa mga lugar na may magagamit na kuryente, mga lugar na may bakanteng angkop na chip, o mga lokasyong pinakamababa ang latency para sa end customer.

Mga subsidy at kakulangan ng chip

Nag-aalok ang Wuhu ng mga subsidy na maaaring sumagot sa hanggang 30 porsiyento ng gastos sa pagbili ng AI chip. Binabawasan ng mga lokal na grant na tulad nito ang paunang gastos sa paglalagay ng mga server rack, pinabibilis ang deployment, at tinutulungan ang mga operator na mas maagang maabot ang target na kapasidad. Nakababawas din ang mga ito sa agwat sa pagitan ng mga lokal na accelerator at ng pinakabagong mga piyesa mula sa ibang bansa na saklaw ng mga kontrol sa export.

Nagsisikap ang mga lokal na vendor gaya ng Huawei at Cambricon na paliitin ang agwat sa pamamagitan ng mga accelerator at compiler software. Gayunman, nahaharap pa rin ang mga operator sa iba’t ibang henerasyon ng hardware na maaaring magpahirap sa training, lalo na habang lumalaki sa trilyon ang bilang ng mga parameter ng mga modelo. Nagpasigla ang presyur na ito sa isang lihim na pamilihan. Sinubukan ng mga reseller na kumuha ng mga sistemang Nvidia na saklaw ng mga paghihigpit at ipasok ang mga ito sa China sa kabila ng mga kontrol. Iniugnay ang isang tagapamagitan na nakabase sa Wuhu sa mga order para sa mga server ng henerasyong Blackwell. Itinanggi ng Nvidia na magagamit nang malawakan sa China ang gayong kagamitan sa ilalim ng kasalukuyang mga patakaran. Ayon sa kumpanya, hindi makatotohanan ang mga pahayag na iyon dahil sa mga kinakailangan sa supply chain, paglilisensiya, at suporta.

Sino ang makikinabang

Layunin sa malapit na panahon na mabigyan ang mga negosyo sa malalaking lungsod ng mas mabilis na akses sa AI inference. Makapagsasagawa ang mga bangko ng pagsusuri sa panganib at pagtukoy ng pandaraya nang may mas mababang latency. Makapagpapatakbo ang mga retailer ng mga modelong nagbibigay ng rekomendasyon na nag-a-update nang halos real time. Magagamit ng mga ahensiya ng lungsod ang computer vision para sa pagkontrol ng trapiko at pagsubaybay sa baha. Makagagawa ng mga larawan at video ang mga kompanya ng media at disenyo nang mas kaunti ang pagkaantala. Makapagrerenta ang mga startup ng computing capacity kada oras sa halip na bumili agad ng hardware. Sa pag-uugnay ng mga sentro ng training sa loob ng bansa sa mga inference cluster sa baybayin, sinisikap ng network na pagsilbihan kapwa ang pag-eeksperimento at pang-araw-araw na operasyon.

Nagkakaroon din ng papel ang mga telecom carrier na higit pa sa pagbibigay ng koneksiyon. Nagiging pangunahing nangungupahan sa panahon ng AI ang kanilang mga data center, na nagbebenta ng computing capacity at storage sa mga customer ng cloud habang nagbibigay ng bandwidth sa pagitan ng mga lungsod para manatiling sabay-sabay ang mga modelo. Para sa mga lokal na pamahalaan, nangangako ang pagpapaunlad ng mga trabaho sa konstruksiyon at pundasyon para sa mga digital na serbisyo na makahihikayat ng mga bagong negosyong teknolohikal sa rehiyon.

Paghahambing sa pagpapaunlad ng Stargate sa US

Habang pinagsasama-sama ng China sa mga yugtong network ang maraming dati nang bulwagan, sinusuportahan naman ng United States ang pagtatayo ng ilang napakalalaking bagong kampus sa ilalim ng proyektong Stargate. Plano ng mga mamumuhunan at operator na gumastos ng hanggang 500 bilyong dolyar sa buong bansa. Nakatakda sa roadmap ang halos 7 gigawatts na kapasidad ng data center, katumbas ng output ng humigit-kumulang pitong malalaking nuclear reactor. Idinisenyo ang isang pangunahing kampus sa Abilene, Texas, para maglaman ng mahigit 400,000 GPU. Ayon sa mga katuwang sa proyekto, lilikha ang pagpapaunlad ng humigit-kumulang 25,000 trabaho sa lugar sa kasagsagan ng konstruksiyon.

Sa payak na pananalita, binigyang-diin ni Sam Altman, punong ehekutibo ng OpenAI, ang kahalagahan ng ugnayan ng susunod na pagsulong ng AI at ng hardware na susuporta rito. Bago ihayag ang mga bagong lugar kasama ang mga katuwang, diretsahan niyang sinabi kung gaano kalaking kapasidad ang kakailanganin.

Matutupad lamang ng AI ang pangako nito kung itatayo ang kinakailangang computing power.

Magkaiba ang pamamaraan ng dalawang estratehiya. Nakasalalay ang US sa pagtatayo ng napakalalaking bagong kampus na nagtitipon ng daan-daang libong accelerator sa loob ng iisang lugar. Pinagdurugtong naman ng China ang maraming luma at bagong kumpol, saka gumagamit ng software sa pag-iskedyul at mga bagong interconnect para kumilos ang mga ito na parang mas malaking kabuuan. Sinusubok ng pamamaraan ng US ang hangganan ng suplay ng kuryente, lupa, at tubig sa iilang lugar. Ipinamamahagi ng plano ng China ang panganib at gastos, kapalit ng dagdag na hirap sa pagpapatakbo ng maraming lugar bilang iisang sistema.

Kuryente, pagpapalamig, at mga network

Malaki ang konsumo sa kuryente ng mga modernong AI cluster at naglalabas ang mga ito ng init na kailangang alisin tuluy-tuloy. Mangangailangan ang lugar ng isla sa Wuhu ng mga bagong substation, transmission line, at ekstrang kapasidad para manatiling gumagana ang mahahalagang sistema kapag may aberya. Umaasa ang karamihan sa mga bulwagan para sa training sa liquid cooling para direktang alisin ang init mula sa mga chip at memory, kapalit ng air cooling na karaniwan sa mas matatandang silid ng server. Maghahanap ang mga operator ng kalapit na pinagkukunan ng tubig o mga closed-loop system na nagbabawas sa pagkuha ng tubig, at hihilingin nila sa mga vendor na gawing mas episyente ang mga rack.

Kasinghalaga rin ng mga ito ang network. Para maiugnay ang malalayong sakahan ng training sa mga inference cluster sa baybayin, kailangan ng mga fiber route na may kapasidad na maraming terabit, mga optical transponder na kayang magpadala ng datos nang daan-daang kilometro, at mga switch na kayang humawak sa daloy ng datos sa pagitan ng mga bahagi ng data center nang walang sagabal. May bentahe ang mga carrier na may pambansang backbone. Maaari silang maglaan ng mga alternatibong ruta at mamahala sa pagdidirekta ng trapiko para makarating sa oras ang mga update ng modelo at checkpoint kahit may maintenance o masamang panahon.

Mga panganib, seguridad, at pamamahala

Pinahuhusay ng pagsasama-sama ng mga pasilidad ang kontrol at kakayahang makakita ng mga problema, pero pinagtutuunan din nito ng panganib ang sistema. Kung masyadong nakasalalay ang kapasidad sa iilang koridor ng network, maaaring kumalat sa iba’t ibang rehiyon ang epekto ng mga aberya o cyberattack. Ayon sa mga tagaplano, nakapaloob sa disenyo ang mga alternatibong kapasidad sa pamamagitan ng pag-uugnay sa maraming lugar at pagbuo ng mga rutang maaaring gamitin kapag pumalya ang pangunahing ruta. Kailangang protektahan ng mga cybersecurity team ang mga weight ng modelo, datos ng customer, at mismong antas ng pag-iskedyul, na magiging pangunahing target kapag nakontrol na nito ang malalaking pool ng computing capacity.

May mga praktikal ding limitasyon. Maaaring hindi kasinghusay sa training ang paggamit ng maraming mas maliliit o mas lumang bulwagan kumpara sa bagong kampus na idinisenyo para sa iisang henerasyon ng hardware. Kailangang makasabay ang mga kontrata sa kuryente at katatagan ng grid sa paglago. Maaaring masusing siyasatin ang mga pasiya sa paggamit ng lupa, kabilang ang pagpapalit-gamit sa sakahan, kung maramdaman ng mga lokal na komunidad na napapaalis sila o nababawasan ang produksiyon ng pagkain. Makaaapekto sa pagtanggap ng publiko ang pagiging bukas sa usapin ng kabayaran, epekto sa kapaligiran, at pagpaplano ng grid.

Ano ang susunod

Nakasentro ngayon ang gawain sa pagpapalawak ng mga unang bulwagan sa Wuhu, pag-uugnay sa mga ito sa mga sakahan ng training sa loob ng bansa, at pagpapatatag ng software na nag-iiskedyul ng mga trabaho sa iba’t ibang lugar. Inaayon ng mga lokal na pamahalaan ang mga iskedyul ng pagbili sa mga panahon ng pagbibigay ng subsidy para mahikayat ang mga unang uupa na maglaan ng kapasidad. Naglalatag ng mga bagong fiber route at nag-a-upgrade ng mga backbone ang mga telecom operator para mabilis na mailipat ang mga checkpoint ng modelo mula sa training papunta sa mga inference cluster malapit sa mga lungsod sa baybayin.

Masusing susubaybayan ng mga inhinyero ang tatlong bagay. Una, kung makakamit ng UB Mesh at mga katulad na fabric ang ipinangakong pagbuti kapag pinalawak sa maraming bulwagan. Ikalawa, kung kayang sanayin at patakbuhin ng mga lokal na accelerator, compiler, at framework ang pinakabagong mga modelo nang may katanggap-tanggap na episyensiya. Ikatlo, kung makasasabay ang suplay ng kuryente at pagpapalamig sa tumataas na densidad ng mga rack nang hindi nagdudulot ng brownout o kakulangan sa tubig. Ang pag-usad sa mga aspetong ito ang magtatakda kung gaano kabilis mapalawak ang pambansang network at kung gaano kalaki ang maiaambag nito sa paglago ng mga serbisyo ng AI sa buong bansa.

Mahahalagang Punto

• Nagtatayo ang China ng sentralisadong network ng AI compute na nakasentro sa Data Island na may lawak na 760 acre sa Wuhu, na may pamumuhunang humigit-kumulang 37 bilyong dolyar.
• Iniuugnay ng network ang mga pasilidad sa Wuhu sa mga kumpol sa loob ng bansa, gaya ng nasa Ulanqab, Guizhou, at Qingyang, upang paghiwalayin ang training at inference.
• Pangunahing operator ang Huawei, China Mobile, China Telecom, at China Unicom; itinataguyod naman ng Huawei ang UB Mesh para sa koneksiyon sa pagitan ng mga cluster.
• Nag-aalok ang Wuhu ng mga subsidy na sasagot sa hanggang 30 porsiyento ng mga pagbili ng AI chip upang mapabilis ang deployment sa kabila ng mga kontrol sa export ng mahuhusay na GPU mula sa ibang bansa.
• Nais ng China na mas mapakinabangan ang mga umiiral na accelerator at maibenta sa iba’t ibang rehiyon ang sobrang computing capacity sa pamamagitan ng iisang sistema ng pag-iskedyul.
• Tinataya ng mga analyst na hawak ng US ang humigit-kumulang 75 porsiyento ng pandaigdigang kapasidad sa AI compute, habang nasa 15 porsiyento naman ang bahagi ng China.
• Target ng programa ng Stargate ng US ang halos 7 gigawatts na kapasidad at hanggang 500 bilyong dolyar na paggasta, kabilang ang isang kampus sa Texas na idinisenyo para sa 400,000 GPU.
• Ayon kay Sam Altman, punong ehekutibo ng OpenAI, mahalagang makapagtayo ng sapat na computing capacity upang matugunan ng AI ang mga inaasahan.
• Nangangako ang pagsasama-sama ng mga pasilidad ng mas mababang latency para sa mga user sa malalaking lungsod sa baybayin at ng mga alternatibong kapasidad sa maraming magkakaugnay na lugar.
• Kabilang sa mga hamon ang suplay ng kuryente at pagpapalamig, cybersecurity, pagkakaiba-iba ng hardware sa iba’t ibang lugar, at masusing pagsusuri ng publiko sa paggamit ng lupa at tubig.