Bumibilis ang hamon ng China sa Nvidia sa larangan ng AI chips

Bakit mahalaga ngayon ang karera ng China sa AI chips

Nagsisikap ang China na mabawasan ang pagdepende nito sa mga inaangkat na processor para sa artificial intelligence. Malaki ang ipinupuhunan ng bansa sa mga research lab, pabrika ng chip at imprastraktura ng cloud upang gumamit ng lokal na silicon ang mga susunod na pambihirang tagumpay sa malalaking language model, robotics at automation. Malinaw ang estratehikong layunin: gumawa ng mga high-end na chip sa malakihang produksyon, bumuo ng software para magamit ang mga ito nang mahusay at panatilihin sa loob ng bansa ang mahahalagang kakayahan sa pag-compute.

Nasubok ang ambisyong ito noong 2024, nang ilunsad ng startup na DeepSeek ang isang conversational AI na nakipagsabayan sa mga nangungunang sistema ng Kanluran. Ayon sa kumpanya, sinanay nito ang modelo gamit ang mas kaunting premium accelerator kaysa sa mga katunggali, na nagpapakitang maaaring bahagyang mapunan ng mas mahusay na software at episyenteng paraan ng pagsasanay ang mga limitasyon sa hardware. Pansamantalang nagpababa ang paglulunsad sa market value ng Nvidia at nagbigay-pansin sa bilis ng pag-usad ng mga developer sa China. Mula noon, nag-anunsyo ang mga higanteng kompanya ng teknolohiya at taga-disenyo ng chip sa buong China ng mga planong hamunin ang Nvidia sa mga data center sa bansa.

Kinilala ni Jensen Huang, punong ehekutibo ng Nvidia, na maraming mahuhusay na inhinyero sa China at matindi ang kompetisyon sa loob ng bansa. Sa isang podcast tungkol sa teknolohiya at negosyo noong Setyembre, pinuri niya ang bilis ng pag-usad ng bansa at hinamon ang sarili niyang panig.

Masigla, entrepreneurial, high-tech at makabago ang industriyang ito," aniya. "Kailangan nating makipagkompetensiya para mabuhay.

Mga plano ng mga kumpanyang Tsino para makipagkompetensiya

Bumubuo ang ilang kumpanyang Tsino ng mga alternatibo sa mga accelerator at kumpletong sistema ng Nvidia. Naglabas ang Huawei ng mga bagong Ascend processor at planong suportahan ang mga developer sa loob ng tatlong taon. Ayon sa Alibaba, kayang tapatan ng pinakabago nitong accelerator ang performance ng H20 ng Nvidia, isang chip na iniangkop para sa China alinsunod sa mga patakaran ng US, habang mas kaunti ang konsumo nito sa enerhiya. Nakakakuha ng mga kontrata mula sa malalaking negosyo ang mga startup gaya ng MetaX at Cambricon. Samantala, nagdidisenyo ang malalaking platform, kabilang ang Tencent at Baidu, ng mga custom chip para sa sarili nilang cloud. Iisa ang mensahe sa mga lokal na kostumer: kung lilimitahan ng mga patakaran sa pag-export ang akses sa hardware ng Amerika, pupunan ng mga opsiyon mula sa China ang kakulangan.

Estratehiya ng Huawei sa antas ng sistema

Umaasa ang Huawei sa arkitektura ng sistema para paliitin ang agwat nito sa Nvidia. Sa World Artificial Intelligence Conference sa Shanghai, ipinakita ng kumpanya ang CloudMatrix 384, isang sistema ng AI computing na naglalaman ng 384 Ascend 910C processor sa iisang deployment. Gumagamit ang katunggali nitong GB200 NVL72 ng Nvidia ng 72 B200 chip, ngunit ibang landas ang tinatahak ng disenyo ng Huawei. Gumagamit ang CloudMatrix ng koneksiyong supernode para umandar bilang iisang pool ng computing power ang daan-daang processor, na napakabilis ng mga ugnayan sa pagitan ng mga chip. Sa pagpapalawak nang pahalang, layunin ng Huawei na tumbasan ng mas mahusay na koordinasyon sa antas ng sistema ang mas mahinang performance ng bawat chip.

Ayon sa mga analyst sa industriya, maaaring maghatid ng kompetitibong resulta ang paraang ito sa ilang partikular na workload. Ipinahihiwatig ng mga ulat na nahihigitan ng CloudMatrix ang GB200 NVL72 ng Nvidia sa ilang sukatan, kahit kailangan ng Huawei na umasa sa mas lumang proseso ng pagmamanupaktura. Gumagana na ang sistema sa cloud ng Huawei, kaya may lokal na alternatibo ang mga kostumer sa China para sa pagsasanay at pagpapatakbo ng mga modelo. Kaayon din ng pagpili sa arkitektura ang layunin ng patakaran ng China na bumuo ng mga sistema sa kabila ng mga limitasyon sa pag-export sa pamamagitan ng mga pagpapahusay sa antas ng sistema.

Alibaba at lumalawak na hanay ng mga katunggali

Nag-anunsyo ang Alibaba ng bagong AI accelerator na, ayon sa media ng estado, ay kasinghusay ng H20 habang mas kaunti ang konsumo sa kuryente. Nagsusuplay ang MetaX ng mga chip sa China Unicom. Mahigit doble na ang halaga ng Cambricon nitong mga nakaraang buwan habang tumataya ang mga mamumuhunan sa paglago ng lokal na pangangailangan para sa mga accelerator. Gumagawa ang Tencent ng mga chip para sa sarili nitong cloud at mga serbisyo ng AI. Bahagi ang mga proyektong ito ng mas malawak na pagbabago: inililipat ng mga kumpanyang Tsino ang mga workload sa lokal na gawang hardware kapag angkop ang performance, suplay at gastos.

Nakikibagay na ang mga developer. Inilarawan ni Chen Cheng, general manager para sa AI translation sa iFlytek, kung paano nakapagpatuloy ang kanyang team matapos lumipat sa mga processor na gawa sa China dahil sa mga kamakailang restriksiyon sa hardware ng US.

"Sinanay na ngayon ang modelo namin sa mga chip ng Huawei, na kasalukuyang pinakamahusay sa China," aniya.

Mga pagbabagong dulot ng kontrol sa pag-export at mga paghihigpit

Muling hinubog ng mga patakaran sa pag-export ang merkado. Mula 2022, sunod-sunod na naghigpit ang Washington sa pagbebenta ng mga advanced AI chip sa China. Ipinagbawal ng pinakabagong hakbang ang H20 ng Nvidia, isang processor na idinisenyo upang sumunod sa mga naunang limitasyon sa pag-export. Isinusulong ng mga mambabatas ang mga hakbang na mag-aatas sa mga gumagawa ng chip sa US na unahin ang mga lokal na kostumer kaysa sa mga dayuhang mamimili, kahit nagbabala ang mga kumpanya na maaaring magpabagal sa inobasyon at maglipat ng demand ang mahihigpit na patakaran. Itatakda rin ng isang kamakailang patakaran na mapupunta sa gobyerno ng US ang bahagi ng kita mula sa ilang benta ng AI chip sa China. Dahil sa mas mahihigpit na kontrol, lumiit ang potensiyal na merkado ng mga tagapagtustos na Amerikano sa bansang bumibili ng mas maraming chip kaysa sa alinmang iba pa.

Tumugon ang Beijing sa pamamagitan ng pagpapatupad ng mga patakaran sa hangganan at panggigipit sa loob ng bansa. Inatasan ng mga awtoridad ang malalaking kompanya ng teknolohiya na ihinto muna ang mga order ng Nvidia accelerator at pinaigting ang inspeksiyon sa mga daungan upang masabat ang mga kargamentong walang lisensiya o maling idineklara, kabilang ang mga modelong nakatuon sa China gaya ng H20 at RTX 6000D. Iniimbestigahan ng mga opisyal ang mga sindikato ng pagpupuslit na nagpasok ng mga high-end na processor sa mga data center sa bansa sa pamamagitan ng di-tuwirang mga ruta. Hiwalay dito, nagbukas ang mga regulator ng imbestigasyon laban sa Nvidia kaugnay ng monopolyo, na nagpapahiwatig ng mas masusing pagsusuri sa mga gawain nito sa negosyo sa China. Layunin ng mga hakbang na ito na itulak ang mga mamimili sa mga lokal na tagapagtustos at higpitan ang daloy sa gray market.

Nagbabala si Handel Jones, isang matagal nang consultant sa industriya ng semiconductor, na maaaring magkaroon ng malalim na epekto ang pinagsama-samang mga hakbang sa mga kumpanyang Amerikano na umasa sa demand mula sa China.

"Wala na ang China para sa industriya ng semiconductor ng US," aniya.

Mga pagkakaiba pa rin sa performance: benchmark at software

Dapat suriing mabuti ang mga pahayag na magkapantay ang performance. Limitado ang pampublikong datos tungkol sa mga accelerator ng China at kakaunti pa ang mga pamantayang pagsusuri. Nakadepende ang performance sa gawain, laki ng modelo, bandwidth ng koneksiyon sa pagitan ng mga chip, arkitektura ng memorya at kalidad ng software stack sa pagitan ng chip at ng aplikasyon. Ayon sa mga mananaliksik na nakagamit ng parehong sistema, lumiit na ang agwat ng mga chip ng China sa mga gawaing prediktibo, kung saan kinukumpleto ng modelo ang pangungusap o inuuri ang larawan, ngunit nahuhuli pa rin ang mga ito sa masalimuot na analytics at malakihang pagsasanay.

Nagbabala ang computer scientist na si Jawad Haj Yahya, na sumubok sa mga accelerator na Amerikano at Tsino, na nakadepende sa workload ang pagkakapantay ng performance.

"Malinaw ang agwat at tiyak na lumiliit ito. Hindi ko iniisip na maaabot nila ito sa maikling panahon," aniya.

Mahalaga ang pagkakaibang ito dahil pinakamabigat na bahagi ng makabagong AI ang pagsasanay. Nangangailangan ito ng napakalaking computing power, napakabilis na ugnayan sa pagitan ng mga processor at memoryang may mataas na bandwidth para makapagbigay ng datos sa mga processor nang walang bottleneck. Ipinahihiwatig ng mga pagsusuri na maaasahan ang 910B ng Huawei para sa inference, ang yugtong sumasagot sa mga tanong ang sinanay na modelo, ngunit may limitasyon ito sa koneksiyon sa pagitan ng mga chip at bilis ng memorya kaya hindi ito gaanong kaakit-akit para sa malalaking pagsasanay. Mas pinipili pa rin ng maraming gumagamit sa China ang H20 ng Nvidia, na saklaw din ng mga restriksiyon, kung makukuha nila ito. Ayon sa mga lokal na developer, maaaring umabot ng ilang linggo ang pagsasanay. Tumagal nang tatlo hanggang walong linggo ang malawakang napag-usapang pagsasanay sa huling yugto ng DeepSeek, isang magastos na pagsisikap sa anumang pamantayan kahit episyente ang code.

Isa pang balakid ang software. Ilang taon nang bumubuo ang Nvidia ng hanay ng mga tool, library at networking software na pinagkakatiwalaan ng mga developer sa malakihang paggamit. Itinutugma ng stack na iyon ang mga workload sa hardware ng Nvidia at pinaiikli ang panahong kailangan mula prototype hanggang produksyon. Gumagawa ang Huawei ng sariling framework bilang tugon at nangakong magbubukas pa ng mga disenyo at code sa mga lokal na developer. Lumalawak ang paggamit nito, ngunit nangangailangan ng panahon ang muling pagsasanay sa mga team, muling pagsulat ng code at muling pagpapatunay sa mga modelo, kaya bumabagal ang paglipat mula sa mga platform na nakaugat na sa merkado.

Naniniwala ang inhinyero sa semiconductor na si Raghavendra Anjanappa na matutugunan ng China ang maraming pangangailangan gamit ang mga lokal na chip, ngunit mas angkop pa rin ang hardware ng US para sa pinakamahihirap na problema.

"Sa praktika, mababawasan ng China ang pagdepende nito sa mga Amerikanong chip para sa mga kagamitang hindi gaanong advanced, ngunit wala itong taglay na raw performance ng mga chip ng US para sanayin ang mas masalimuot na sistema ng AI," aniya.

Mga bottleneck sa pagmamanupaktura na pumipigil sa pag-usad ng China

Nasa mga pabrika naman ang isa pang hanay ng mga limitasyon. Nililimitahan ng mga kontrol ng US at Netherlands ang akses sa mga advanced na kagamitang pang-litograpiya na ginagamit sa paggawa ng pinakamaliliit na transistor. Dahil dito, kailangang itulak ng mga pabrika ng chip sa China sa sukdulan ang mga lumang makina gamit ang paulit-ulit na paglalapat ng mga pattern. Mas mabagal at magastos ito, at mas kaunti ang nagiging de-kalidad na chip sa bawat wafer. Ayon sa mga analyst na sumusubaybay sa pagmamanupaktura, bumuti ang porsiyento ng mga de-kalidad na chip sa malalaking AI processor sa China, ngunit malayong-malayo pa rin ito sa antas ng mga nangungunang gumagawa sa daigdig. Inilarawan ng mga ulat ngayong taon ang pagtaas ng yield ng bagong Huawei chip mula humigit-kumulang 20 porsiyento tungong 40 porsiyento, samantalang umaabot sa halos 60 porsiyento ang mga nangungunang pabrika sa ibang bansa para sa mga device na halos kapareho ang laki. Nagtataas ng gastos ang mababang yield at nililimitahan nito ang dami ng gumaganang accelerator na nakararating sa merkado.

Kasinghirap din ang packaging at memorya. Umaasa ang mga AI accelerator sa memoryang may mataas na bandwidth para tuluy-tuloy na mabigyan ng datos ang libu-libong core. Kailangang i-package ang mga chip gamit ang mga advanced na teknik na nagsasalansan at nag-uugnay sa mga bahagi habang inilalabas ang init. Kayang gawin ng mga pangkat sa China ang mga bahaging ito, ngunit nililimitahan ng kakulangan sa pinakamahuhusay na memorya at ng limitadong akses sa mga kagamitan ang produksyon. May mga problemang teknikal pa ring dapat lutasin. Nabanggit sa mga naunang ulat na nahihirapan ang ilang lokal na chip sa pagkonekta sa isa't isa at sa bilis ng memorya, na pumipigil sa episyente at malakihang pagsasanay.

Hindi imposibleng lampasan ang mga hadlang na ito, ngunit kailangan dito ang panahon, puhunan at tuluy-tuloy na suplay ng espesyalisadong kagamitan. Ipinaliwanag ni Stephen Wu, dating inhinyero sa AI na namumuno ngayon sa isang kompanya ng pamumuhunan, ang estratehikong lohika sa likod ng matagal nang pagsisikap ng Beijing.

"Gusto ng China ng mga chip na hindi kayang bawiin sa pamamagitan ng patakaran," aniya.

Epekto sa mga data center at merkado

Tinitimbang ng bawat operator ng data center ang tatlong prayoridad: performance, konsumo sa enerhiya at katiyakan ng suplay. Kung naghahatid ang lokal na accelerator ng sapat na bilis para sa isang partikular na workload sa mas mababang gastos sa kuryente, may dahilan ang mamimili sa China para lumipat dito. Pinakamalakas sa ngayon ang ganitong dahilan para sa inference at pagsasanay ng mas maliliit na modelo, kung saan kayang tumbasan ng mga disenyo sa antas ng sistema ang mas mahinang performance ng bawat chip. Nangunguna pa rin ang Nvidia sa silicon at software para sa pagsasanay ng mga pinakamahuhusay na modelo, na nagtutulak sa hangganan ng laki. Bunga nito, hati ang paggamit sa China: naghahanap pa rin ng mga Amerikanong chip ang mga proyektong may pinakamataas na pangangailangan hangga't pinapayagan ng mga patakaran.

Nagdudulot ng mga bagong pagpipilian para sa mga pandaigdigang kompanya ng teknolohiya ang mga patakaran. Pinaliliit ng mas mahihigpit na tuntunin ng US at pagpapatupad ng mga patakaran sa adwana ng Beijing ang mga legal na rutang nagsusuplay sa China. Dahil sa mga paratang tungkol sa gray market ng mga inayos o muling ginamit na accelerator, pinaigting ang mga pagsusuri sa mga daungan. Pinababagal ng mga hadlang sa pag-aangkat ang mga iskedyul ng pagpapalawak ng mga data center at itinutulak ang mas maraming workload sa mga lokal na tagapagtustos. Samantala, nais tiyakin ng mga mambabatas sa US na hindi mauunang makakuha ng mga kakarampot na piyesa ang mga mamimiling Tsino kaysa sa mga Amerikano. Lalo pang nagpapamahal sa pagnenegosyo sa China ang mga bagong kondisyon sa kinikita mula roon.

Sinisikap naman ng Nvidia na magpanatili ng maselang balanse. Nagsikap ang kumpanya na sumunod sa mga regulasyon habang nagsusuplay ng mga produktong sumusunod sa mga ito sa mga kostumer sa China. Binigyang-diin ni Jensen Huang ang ganitong pamamaraan nang makipagkita siya sa mga lider ng negosyo sa China ngayong taon.

"Patuloy kaming magsisikap nang husto na iangkop ang aming mga produkto upang sumunod sa mga regulasyon at patuloy na paglingkuran ang merkado ng China," aniya.

Takdang panahon at mga posibleng senaryo

Gaano kabilis mapapaliit ng China ang agwat sa pinakamataas na antas ng AI computing? Magkakaiba ang mga tantiya ng mga analyst, ngunit umuusbong ang iisang pananaw. Naniniwala ang marami na makakamit ng mga kumpanyang Tsino ang malawakang pagsasarili para sa mga midrange na gawain at inference sa loob ng humigit-kumulang limang taon, samantalang mas matagal pa bago matapatan ang pinakamahusay na mga platform ng Amerika para sa pagsasanay. Tinataya ng ilan na sa susunod na dekada pa ganap na mapapantayan ang mga processor, memoryang may mataas na bandwidth, advanced packaging, networking at software.

Totoo ang pag-usad sa industriya. Dinadagdagan ng Huawei ang produksyon, namumuhunan ang Alibaba at dumarami ang mga taga-disenyo ng chip na nakakakuha ng mga mamimili, mula MetaX hanggang Cambricon. Nanatiling malakas ang suporta ng gobyerno at mabilis na lumalaki ang lokal na pangangailangan para sa mga serbisyo ng AI. Gayunman, lilimitahan ng mga bottleneck sa kagamitan, yield at mga komunidad ng developer ang bilis ng paghabol sa performance sa pinakamataas na antas ng merkado. Malamang na sa malapit na hinaharap ay higit pang uunlad ang ekosistema ng China at matutugunan nito ang malaking bahagi ng pangangailangan ng bansa sa AI, ngunit mananatili ang pagdepende sa dayuhang hardware para sa pinakamalalaking pagsasanay hangga't pinapayagan ng mga patakaran ang akses dito.

Kapwa kalakasan at limitasyon ang pamamaraang pinangungunahan ng estado ng China. Itinutuon ng sentral na pamamahala ang mga mapagkukunan sa malinaw na mga layunin, ngunit maaari rin nitong pahinain ang mga mapanganib na ideyang nagbubunga ng mga pambihirang tagumpay. Nagbabala si Chia Lin Yang, propesor sa computing na nag-aaral ng disenyo ng chip, na maaaring pumigil sa pagkamalikhain ang magkakatulad na layunin, habang kinikilala rin niya ang lawak ng talentong makukuha sa bansa.

Maaari nitong pahirapan ang mga ideyang tunay na bumabago sa nakasanayan na lumitaw," aniya. "Hindi dapat maliitin ang kakayahan ng China na humabol.

Mahahalagang Punto

• Malaki ang ipinupuhunan ng China upang makagawa ng mga high-end na AI chip sa malakihang produksyon at mabawasan ang pagdepende sa mga inaangkat na chip.
• Ipinakita ng pagsasanay sa modelo ng DeepSeek noong 2024 na maaaring makamit ang mas mataas na episyensiya sa pamamagitan ng mas mahusay na software, hindi lamang ng mas maraming chip.
• Gumagamit ang CloudMatrix 384 ng Huawei ng daan-daang Ascend 910C processor na pinag-uugnay ng mabilis na koneksiyon upang makipagkompetensiya sa antas ng sistema.
• Itinutulak ng Alibaba, MetaX, Cambricon, Tencent at Baidu ang mga lokal na accelerator at custom na disenyo para sa mga data center sa bansa.
• Hinaharang na ng mga restriksiyon ng US ang H20 ng Nvidia at maaaring obligahin ang mga Amerikanong gumagawa ng chip na unahin ang mga lokal na kostumer at ibahagi ang kita mula sa ilang benta sa China.
• Hinigpitan ng China ang pagpapatupad ng mga patakaran sa mga daungan, pinanghinaan ng loob ang mga bagong order ng Nvidia at sinimulan ang imbestigasyong laban sa monopolyo ng kumpanya.
• Ayon sa mga eksperto, kompetitibo ang mga chip ng China para sa inference ngunit nahuhuli pa rin ang mga ito sa pagsasanay ng malalaking modelo at masalimuot na analytics.
• Kabilang sa mga limitasyon sa pagmamanupaktura ang mas mababang yield, limitadong akses sa mga advanced na kagamitang pang-litograpiya at mga bottleneck sa memoryang may mataas na bandwidth at packaging.
• Nananatiling malaking bentahe ng Nvidia ang software, habang nagbubukas naman ang Huawei ng mga disenyo at tool para mahikayat ang mas maraming developer na gumamit ng mga ito.
• Tinataya ng maraming analyst na makakamit ng China ang pagsasarili sa mga midrange na workload sa loob ng humigit-kumulang limang taon, ngunit mas matagal bago mapantayan ang pinakamataas na antas.