Sinanay ng Alibaba at Baidu ang AI gamit ang sarili nilang mga chip habang humihigpit ang mga restriksiyon ng US

Bakit mahalaga ito ngayon

Gumagawa ng mapagpasyang hakbang ang dalawa sa pinakamalaking kompanya ng consumer internet at cloud sa China upang matiyak ang kanilang mga supply chain para sa artificial intelligence. Sinimulan na ng Alibaba at Baidu na sanayin ang ilang modelo gamit ang mga processor na sila mismo ang nagdisenyo, kaya nababawasan ang pagdepende nila sa mga chip ng Nvidia na nagsilbing gulugod ng makabagong AI. Sumasalamin ang pagbabagong ito sa dalawang malakas na puwersa: ang paghihigpit ng mga kontrol ng United States sa pag-export ng mga advanced na semiconductor patungong China, at ang pagtulak sa loob ng China na bigyang-priyoridad ang lokal na teknolohiya sa kritikal na imprastraktura.

Maingat ang pagkilos ng dalawang kompanya at hindi nila basta-basta pinapalitan ang lahat ng sistema. Ginagamit ng Alibaba ang sarili nitong mga accelerator para sa mas maliliit na gawaing pagsasanay, habang patuloy na ginagamit ang hardware ng Nvidia para sa pinakamabibigat na trabaho. Sinusubukan naman ng Baidu ang pinakabago nitong Kunlun P800 chip sa mga bagong bersiyon ng modelong Ernie, ang teknolohiyang nasa likod ng mga serbisyong generative AI nito. Umaasa pa rin ang mga kompanya sa Nvidia para sa pinakamalaki at pinakamasalimuot na pagsasanay, kung saan pinakamahalaga ang performance, kahustuhan ng software, at mga koneksiyong nag-uugnay sa maraming chip.

Maaaring magkaroon ng malaking epekto ang hakbang na ito sa mga data center sa China. May isa na ngayong alternatibong paraan upang palawakin ang AI computing ng mga kompanyang dati'y pumipila para makakuha ng mga GPU na inaangkat. Nakatutulong ang mga lokal na chip na sapat ang husay para sa dumaraming gawain upang mabawasan ang panganib sa suplay, mapanatili sa iskedyul ang mga proyekto, at maiayon ang paggasta sa mga pambansang layunin sa teknolohiya. Kung magiging matagumpay ang mga deployment na ito, mapatutunayan nito ang mga taon ng pamumuhunan sa lokal na AI silicon at mapabibilis ang mas malawak na hakbang ng mga Chinese cloud provider na pagsamahin ang dayuhan at lokal na hardware sa kanilang mga sistema.

Ano ang binubuo ng Alibaba at Baidu

May karanasan na ang Alibaba sa pagbuo ng mga custom na chip sa pamamagitan ng yunit nitong T-Head, na dating nagpakilala ng Hanguang 800 AI accelerator para sa inference at server CPU na nakabatay sa mga instruction set ng Arm. Ginagamit na ngayon sa Alibaba Cloud ang pinakabago nitong processor para sa AI training, na tinatawag ng mga empleyado sa loob ng kompanya na Zhenwu, upang sanayin ang mas maliliit na modelo. Ayon sa mga taong nakagamit na ng chip, maihahambing ang praktikal na performance nito sa H20 ng Nvidia sa mga gawaing hindi nangangailangan ng pinakamodernong koneksiyon o pinakamalalaking memory footprint. Patuloy na umaasa ang Alibaba sa mga sistema ng Nvidia para sa pagsasanay ng mga frontier model habang sinusubok nito ang bagong silicon sa malawakang paggamit.

Isa ang proyekto ng Kunlun ng Baidu sa pinakamatagal nang lokal na linya ng AI accelerator sa China. Nakatuon ang mga unang Kunlun chip sa inference, ang proseso ng pagpapatakbo ng mga sinanay nang modelo. Sa Kunlun P800, nagsasagawa ang Baidu ng mga eksperimento sa training para sa mga bagong bersiyon ng Ernie upang tiyakin ang katatagan, throughput, at kahandaan ng software stack. Ang pangunahing bentahe ng Baidu ay ang patayong integrasyon: binubuo ng kompanya ang mga modelong Ernie, nagpapatakbo ng malalaking cloud cluster, at may kontrol sa framework na PaddlePaddle. Dahil dito, mas malaya itong magdisenyo nang magkasama ng hardware at software para mapahusay ang kahusayan.

Paano binago ng mga tuntunin sa pag-export ng US ang merkado

Patuloy na humihigpit ang mga kontrol ng Washington mula pa noong 2022, nang unang limitahan ng mga threshold sa performance ng AI accelerator ang mga maaaring ipadala ng mga vendor ng US sa China. Pansamantalang nagpatuloy ang ilang suplay sa pamamagitan ng mga paraang gaya ng mga espesyal na GPU para lamang sa China na may mas mababang bandwidth ng koneksiyon. Lalong pinaliit ng mga bagong hakbang na inanunsyo sa mga sumunod na taon ang mga paraang ito. Hindi pa rin makuha sa China ang mga nangungunang platform ng Nvidia, gaya ng H100 at mas bagong Blackwell. Gumawa ang Nvidia ng H20, isang hindi gaanong makapangyarihang opsiyon na idinisenyo upang sumunod sa mga tuntunin ng US, ngunit ipinahihiwatig ng pananaliksik sa industriya na kailangan na rin ngayon ng mga lisensiya sa pag-export para maipadala kahit ang mga chip na ito simula Abril 2025, kaya masalimuot at hindi tiyak ang pagkuha ng mga chip ng US para sa mga mamimiling Tsino.

Tumugon ang malalaking cloud at internet platform ng China sa pamamagitan ng dalawang magkasabay na hakbang: kunin ang anumang makakaya mula sa ibang bansa habang malaki ang pamumuhunan sa mga lokal na accelerator. Pabor din sa mga lokal na solusyon ang kapaligiran ng mga patakaran. Lalong pinipili ng mga kliyente ng gobyerno at kritikal na imprastraktura ang hardware na dinisenyo at sinusuportahan sa loob ng China, kaya hinihikayat ang mga cloud provider na patunayang kayang humawak ng mga production workload ang mga Chinese accelerator sa katanggap-tanggap na halaga at pare-parehong performance.

Kinikilala ng Nvidia na nagbabago ang kompetisyon at may mga dahilan ang mga kliyente para pag-ibahin ang kanilang mga pinagkukunan. Kinilala ito ng tagapagsalita ng kompanya habang binibigyang-diin ang layunin ng Nvidia na patuloy na maglingkod sa mga developer sa buong mundo.

Hindi maikakailang narito na ang kompetisyon. Patuloy kaming magsisikap upang makamit ang tiwala at suporta ng mga pangunahing developer saanman.

Gaano na kalapit sa Nvidia ang mga lokal na chip

Nakasalalay ang sagot sa uri ng gawain. Ipinahihiwatig ng mga ulat mula sa mga inhinyerong gumamit ng pinakabagong accelerator ng Alibaba na kapantay nito ang H20 ng Nvidia sa ilang gawain sa training at sa mas maliliit na modelo. Makabuluhang pag-unlad ito para sa isang bagong platform. May bentahe pa rin ang Nvidia sa pinakamalalaking modelo at pinakamahihigpit na iskedyul ng training dahil sa mas mataas na peak compute, mas mabilis na koneksiyon sa pagitan ng maraming GPU, mas ganap na compiler stack, at malawak na ecosystem ng mga naka-optimize na library. Nananatiling pamantayan sa makabagong pagsasanay ng modelo sa labas ng China ang mga chip gaya ng H100 at pinakabagong disenyong Blackwell.

Magkaibang gawain ang training at inference

Ang AI training ay proseso ng pagtuturo sa isang modelo sa pamamagitan ng pagsasaayos sa bilyun-bilyong parameter nito sa maraming ulit na pagproseso ng datos. Itinutulak nito sa sukdulan ang hardware pagdating sa compute at memory bandwidth, at nangangailangan ito ng napakabilis na koneksiyon sa pagitan ng mga accelerator upang mahusay na makapagsabay-sabay ang libu-libong chip. Ang inference naman ay nagaganap pagkatapos ng training. Natutuhan na ng modelo ang mga pattern at gumagawa ang sistema ng mga sagot para sa mga user nang real time. Mas mahalaga sa inference ang mababang latency, sulit na gastos, at pagtitipid sa kuryente. Maaaring mahusay ang isang chip sa inference o sa pagsasanay ng mas maliliit na modelo, ngunit kulang pa rin ito para sa mga buwang pagsasanay ng napakalalaking modelo dahil maaaring maging sagabal ang mga koneksiyon sa pagitan ng mga chip at ang koordinasyon ng software.

Kasinghalaga ng silicon ang software stack

Hindi lamang mga chip ang dahilan ng pangingibabaw ng Nvidia. Pinadadali ng platform nitong CUDA, mga library gaya ng cuDNN at TensorRT, at malawak na hanay ng mga tool mula sa mga partner ang pagbuo at nagbibigay ng mahuhulaang performance. Bumubuo ang mga Chinese platform ng sarili nilang software stack para sa mga lokal na accelerator. Sinusuportahan na ng PaddlePaddle ng Baidu at mga cloud toolchain ng Alibaba ang kani-kanilang chip, at maaaring iakma ng dalawang kompanya ang mga kernel at graph compiler sa sarili nilang mga modelo. Makapagpapahusay ng kahusayan ang kontrol na ito, ngunit mangangahulugan din ito na maaaring kailanganing mag-aral muli ng mga third-party developer kapag inililipat nila ang code sa lokal na hardware. Kung magiging madali ng Alibaba at Baidu ang paglipat na ito sa loob ng kani-kanilang cloud, maaaring mas mahalaga sa mga kliyente ang presyo, kakayahang makakuha ng serbisyo, at antas ng serbisyong maibibigay kaysa sa tatak ng chip.

Diskarte sa negosyo at reaksiyon ng merkado

Ikinatuwa ng mga investor ang mga palatandaang kayang tiyakin ng mga lider ng internet sa China ang AI computing nang hindi lubos na umaasa sa mga inaangkat. Tumaas ang mga bahagi ng Alibaba at Baidu matapos lumabas ang mga ulat tungkol sa mga bagong deployment, na sumasalamin sa inaasahang makatutulong ang mas matatag na suplay sa mga plano sa produkto at makababawas sa panganib ng pagkaantala. Maaari ring magpababa ng pangmatagalang gastos sa pagpapatakbo ang isang lokal na chip na sapat ang husay para sa malaking bahagi ng mga gawain sa training, kung mas madali itong makuha at palawakin sa mga domestic data center.

Hindi lamang gastos at suplay ang dahilan ng estratehiyang ito. Nagbebenta ang Alibaba Cloud at Baidu Cloud sa mga negosyo at kliyente ng pampublikong sektor na madalas pumipili ng hardware na dinisenyo sa lokal. Makatutulong ang pag-aalok ng computing gamit ang mga lokal na accelerator upang makuha ang mga sensitibong workload habang sumusunod sa mga regulasyong pumapabor sa seguridad at pag-iimbak ng datos sa loob ng bansa. Gayunman, mukhang praktikal na halo ng mga sistema ang nais ng dalawang kompanya: panatilihin ang mga sistema ng Nvidia para sa pinakamahihirap na problema at gamitin ang mga lokal na chip sa maraming gawaing maihahambing ang performance at kaakit-akit ang gastos.

Mga limitasyon sa supply chain at pagmamanupaktura

Bahagi lamang ng hamon ang pagdisenyo ng isang mahusay na AI accelerator. Mahalaga rin ang pagmamanupaktura, packaging, at suplay ng memory. Ginagawa ngayon ang pinakamabilis na chip gamit ang mga advanced na node sa proseso ng pagmamanupaktura at umaasa ang mga ito sa mga stack ng high-bandwidth memory na inilalagay malapit sa processor. May pag-unlad ang mga foundry sa China, ngunit hindi pa nila natutumbasan ang pinakamodernong mga node sa ibang bansa. Bahagyang mababawi ang agwat sa pamamagitan ng mahusay na disenyo, de-kalidad na packaging, at episyenteng software, ngunit nakaaapekto pa rin ito sa pinakamataas na performance at kahusayan sa paggamit ng kuryente.

Isa pang limitasyon ang pagkakaroon ng high-bandwidth memory, dahil napakalaki ng memory bandwidth at kapasidad na kailangan sa pagsasanay ng malalaking modelo. Nilalampasan ng mga cloud provider ang mga limitasyong ito sa pamamagitan ng paghahati ng workload sa mas maraming chip, pag-optimize ng mga precision format, at pag-iskedyul ng mga trabahong angkop sa lakas ng bawat platform. Sa ganitong kalagayan, kayang gampanan ng isang lokal na accelerator na mahusay ang integrasyon sa software stack ng cloud at madaling makuha ang malaking bahagi ng mga gawain kahit mas mababa ang teoretikal na pinakamataas na performance nito kaysa sa pinakamahuhusay na chip mula sa ibang bansa.

Ano ang kahulugan nito para sa mga developer at kliyente

Tatlong bagay ang mahalaga sa mga kliyente ng Alibaba at Baidu: gaano kabilis makakuha ng kapasidad, pagiging maaasahan, at kabuuang gastos para sa isang training run o inference workload. Kung mapaiikli ng mga lokal na accelerator ang mga pila at maibibigay ang pare-parehong performance gamit ang mga pamilyar na framework, maraming team ang lilipat nang walang gaanong abala. Maaaring kailanganin ng mga developer ng modelo na muling iangkop ang mga kernel o gumamit ng mga tool na partikular sa vendor upang makuha ang pinakamataas na throughput, ngunit karaniwan ito sa high-performance computing. Malamang na pagsasamahin sa malapit na panahon ang mga cluster at patakaran sa pag-iskedyul, upang maitalaga ang mga gawain sa pinakamainam na hardware na makukuha. Gagamitin pa rin ang mga sistema ng Nvidia para sa pagsasanay ng pinakamalalaking frontier model, habang dumarami ang karaniwang gawain na tatakbo sa mga chip ng Alibaba at Baidu.

Ano ang susubaybayan sa susunod

Dalawang mahalagang pangyayari ang dapat abangan sa susunod na taon. Una, ang sistema ng paglilisensiya para sa pagpapadala ng mga accelerator ng US sa China, na ayon sa mga mananaliksik sa industriya ay sasaklaw sa mga bahagi gaya ng Nvidia H20 at AMD MI308 simula Abril 2025. Ikalawa, ang ebidensiya mula sa aktuwal na paggamit na kayang humawak ng mga chip ng Alibaba at Baidu ng production training sa malawakang saklaw, hindi lamang mga pagsubok sa laboratoryo. Magbibigay-linaw ang mga benchmark sa kilalang mga modelo, mga pag-aaral ng karanasan ng mga kliyente, at bilis ng pagkaubos ng mga cloud instance na nakabatay sa mga lokal na accelerator. Subaybayan kung gaano kabilis umuunlad ang mga software ecosystem sa paligid ng mga chip na ito, kabilang ang suporta sa mga sikat na framework at third-party na tool. Pansinin din kung paano naghahati ng puhunan ang iba pang Chinese platform, kabilang ang mga gumagawa ng sarili nilang accelerator o bumibili sa mga lokal na vendor, sa pagitan ng mga inaangkat na GPU at lokal na opsiyon habang nagsisimula ang mga bagong proyekto.

Mahahalagang Punto

• Sinimulan na ng Alibaba at Baidu na sanayin ang mga modelo ng AI gamit ang mga chip na sila mismo ang nagdisenyo, habang pinananatili ang mga sistema ng Nvidia para sa pinakamabibigat na gawain.
• Ginagamit ang pinakabagong accelerator ng Alibaba para sa mas maliliit na gawain sa training at, ayon sa mga empleyado, maihahambing ito sa Nvidia H20 sa ilang gawain.
• Sinusubukan ng Baidu ang Kunlun P800 para sa mga bagong bersiyon ng modelong Ernie at ginagamit ang kontrol nito sa framework na PaddlePaddle.
• Nililimitahan ng mga kontrol ng US sa pag-export ang pagkuha ng mga nangungunang chip ng Nvidia, at ipinahihiwatig ng pananaliksik sa industriya na magkakaroon ng bagong mga kinakailangan sa lisensiya para sa pagpapadala ng H20 sa China sa 2025.
• Sinabi ng Nvidia na patuloy itong magsisikap upang makamit ang tiwala ng mga developer habang tumitindi ang kompetisyon.
• Sapat na ang husay ng mga lokal na accelerator para sa dumaraming workload, bagaman nangunguna pa rin ang Nvidia sa pagsasanay ng mga modelong napakalaki ang saklaw.
• Mahalagang salik ang mga software ecosystem, at inaangkop ng Alibaba at Baidu ang kanilang mga toolchain para sa sarili nilang hardware.
• Positibo ang naging reaksiyon ng mga investor, dahil nakita nila ang pagbaba ng panganib sa suplay at ang mas malaking kontrol sa mga plano para sa AI.
• Nananatiling mga limitasyon ang pagmamanupaktura at suplay ng memory, ngunit makatutulong ang mahusay na disenyo at integrasyon sa cloud na mapawi ang ilan sa mga hadlang.
• Asahan ang mga pinagsamang cluster sa mga cloud ng China, kung saan magtatalaga ang mga scheduler ng gawain sa pagitan ng mga lokal na chip at inaangkat na GPU.