Gagamit ang Microsoft Maia 300 ng TSMC N2P habang target ng Azure ang gigawatts na kapasidad para sa AI sa 2027

Isang rack na may 96 accelerator ang sandigan ng susunod na hakbang ng Microsoft sa AI

Inilantad ng Microsoft ang Maia 300, isang AI accelerator na gagamit ng prosesong N2P ng Taiwan Semiconductor Manufacturing Co. para sa mga computing chiplet nito, at sisimulan ang deployment sa produksyon sa 2027. Nagbigay ang anunsyo ng konkretong disenyo para sa ambisyon ng Microsoft na gawing pangunahing sistema ang sarili nitong Maia hardware sa pagpapatakbo ng AI inference sa mga produkto at serbisyo nito.

Pagsasamahin ng planong rack ang 96 accelerator sa loob ng 167 kilowatt na limitasyon sa kuryente, na may 27.6 terabytes ng high bandwidth memory at pinagsama-samang memory bandwidth na humigit-kumulang 1.7 petabytes kada segundo. Inaasahan ng Microsoft na makapagbibigay ang Maia 300 ng 40% mas maraming token kada megawatt kaysa sa mga nangungunang sistemang nakabatay sa graphics processing unit, o GPU, at hanggang pitong ulit ng output ng isang Maia 200 rack.

Mga pahayag ito ng kumpanya tungkol sa performance, hindi mga resulta ng independiyenteng benchmark. Gayunman, ipinakikita ng mga ito kung saan itinuturo ng Microsoft ang pamumuhunan: paramihin ang kapaki-pakinabang na AI output na kasya sa mga limitasyon ng data center sa kuryente, pagpapalamig at espasyo, sa halip na basta pataasin ang computing power ng isang chip.

Inilahad ni Scott Guthrie, executive vice president ng Cloud + AI ng Microsoft, ang plano sa deployment sa anunsyo ng Azure Maia ng kumpanya noong Oktubre 12, 2026.

Palalawakin namin ang pamilya ng Azure Maia tungo sa deployment na may maraming gigawatt simula 2027, at gagawing pangunahing sistema ng inference ang Maia para sa mga produkto at serbisyo ng Microsoft.

Ang pangako ay para sa pamilya ng Maia, hindi lamang sa Maia 300. Lampas sa inilathalang anunsyo ang mga ulat na maaaring mag-deploy ang Microsoft ng mahigit isang milyong Maia 300 chip sa 2027: kinukumpirma ng anunsyo ang panimulang taon, pero hindi nito tinutukoy ang bilang ng chip o takdang panahon para makumpleto ang mas malawak na pagpapalawak.

Ano ang gagawin ng TSMC N2P

Mas tiyak ang kumpirmasyon ng Microsoft kaysa sa pangkalahatang paglalarawan sa Maia 300 bilang 2 nanometer na chip. Gagamit ang mga computing chiplet ng N2P, isang proseso sa pamilya ng 2 nanometer ng TSMC. Nasa magkakahiwalay na die ang mga memory controller at function para sa input at output, kaya maaaring gumamit ang iba't ibang bahagi ng package ng mga teknolohiya sa pagmamanupaktura na angkop sa kani-kanilang gawain.

Ang chiplet ay mas maliit na piraso ng silicon na gumagana kasama ng iba pang die sa loob ng isang package. Sa Maia 300, nagbibigay-daan ang paghahating ito sa Microsoft na ilagay ang mga computing function sa isang advanced na proseso, habang itinuturing na magkakahiwalay na pagpili sa disenyo ang connectivity, memory control at gastos. Hindi ibig sabihin nito na N2P ang gamit ng bawat die sa package.

Malinaw na inilalarawan ang paghahating ito sa pagsusuri sa arkitektura ng Maia 300 ng Microsoft noong Oktubre 12, na isinulat nina Rani Borkar, presidente ng Azure Hardware Systems and Infrastructure, at Saurabh Dighe, corporate vice president ng Systems Planning and Architecture.

Ayon sa dokumento, pinapataas ng mga pagbabago sa arkitektura nang 36% ang computing throughput ng sistema, na sinusukat sa floating point operations; nagbibigay ang mga ito ng 2.5 ulit na HBM bandwidth at nagdaragdag ng 14% pang bandwidth para sa komunikasyon sa pagitan ng mga accelerator. Magkakaibang resource sa sistema ang inilalarawan ng mga bilang na ito. Walang isa man sa mga ito ang nagpapaliwanag nang mag-isa sa sinasabing pitong ulit na pagtaas ng token output ng rack.

Bakit kasinghalaga ng computing power ang memory

Pangunahing idinisenyo ang Maia 300 para sa inference, ang proseso ng paggamit ng dati nang sinanay na modelo para bumuo ng mga sagot o magsagawa ng mga gawain. Kabilang sa mga nilalayong workload nito ang pangangatwiran batay sa mahahabang dokumento, mga pag-uusap na nangangailangan ng mabilis na tugon, at mga AI agent na nagsasagawa ng ilang hakbang at gumagamit ng mga tool sa mahabang panahon.

Maaaring gumugol ng malaking oras ang ganitong mga workload sa paglilipat ng data ng modelo at nakaimbak na impormasyon mula sa pag-uusap, sa halip na sa pagkukuwenta. Kaya binuo ng Microsoft ang bawat accelerator gamit ang walong HBM4 memory stack, na nagbibigay ng 288 gigabytes na kapasidad at pinakamataas na bandwidth na 18 terabytes kada segundo sa loob ng 950 watt na thermal design power. Tinutukoy ng thermal design power ang espesipikasyon sa disenyo para sa kuryente at pagpapalamig; hindi ito sukat ng palagiang konsumo ng kuryente.

Kung ihahambing sa Maia 200, 33% na mas mataas ang kapasidad ng memory ng Maia 300 at 2.5 ulit ang memory bandwidth nito, ayon sa Microsoft. Tugma ang paghahambing sa kapasidad sa iniulat na pagtaas mula 216 gigabytes tungo sa 288 gigabytes, o dagdag na 72 gigabytes bawat accelerator.

Kailangang pag-ingatan ang mga yunit ng bandwidth. Inilalarawan ng ilang ulat ang bandwidth ng naunang chip sa terabits kada segundo at ang bandwidth ng bagong rack sa petabits kada segundo. Terabytes at petabytes kada segundo naman ang gamit sa dokumentasyon ng Maia 300 ng Microsoft. Walong ulit ang diperensiya ng bits at bytes, kaya hindi dapat ituring na magkatumbas ang mga bilang na ipinahayag sa magkaibang yunit.

Kinokontrol ng software kung saan napupunta ang data

Pinalalawak ng Maia 300 ang Software Defined Locally Accessed Dataflow Architecture ng Microsoft, o SDLA. Sa praktika, nagbibigay ito sa software ng tahasang kontrol sa kung saan iniimbak ang data, paano ito inililipat, kailan nagbabago ang format nito at paano pinag-uugnay ang mga operasyon sa mga computing engine, memory at network.

Gumagamit ang bagong disenyo ng hindi magkakaparehong ayos ng memory sa mga chiplet. Mas malapit ang ilang memory sa isang partikular na rehiyon ng computing kaysa sa iba, kaya mababawasan ng software ang paglilipat sa pamamagitan ng paglalagay ng data malapit sa mga engine na nangangailangan nito. Nagsisilbi ring pansamantalang workspace na pinamamahalaan ng software ang SRAM, isang mabilis na memory na nasa die, kaya nababawasan ang hinihingi sa HBM.

Isinasama ng Microsoft ang mga pagbabagong ito sa mas malawak na suporta para sa mga compact na numerical format, kabilang ang MXFP4 at mga format ng pag-iimbak na gumagamit ng mas kaunti sa tatlong bit. Binabawasan ng mga representasyong ito ang espasyong sinasakop ng data sa memory at ang dami ng byte na kailangang ilipat habang nagaganap ang inference. Nakadepende ang pakinabang ng mga ito sa suporta ng software at modelo, hindi lamang sa mas maliit na format.

Nakatuon din ang disenyo sa KV cache, na nag-iimbak ng impormasyon mula sa mga token na naproseso na ng modelo para hindi na nito kailangang muling kalkulahin ang impormasyong iyon sa bawat hakbang. Mahalaga ang pagpapanatiling compact ng cache na ito kapag humahaba ang mga pag-uusap o sabay-sabay na maraming user ang kailangang pagsilbihan.

Ikinonekta ni Mustafa Suleyman, punong ehekutibo ng Microsoft AI, ang hardware program sa pagbuo ng mga modelo ng kumpanya at ipinaliwanag kung bakit nais ng kanyang team na kontrolin ang platform na ginagamit ng mga modelo nito.

Sa ganitong laki, kailangan namin ng platform na pag-aari namin at sama-sama naming idinisenyo kasama ng aming mga modelo. Kaya mahalagang pokus ng aming team ang pagpapatakbo ng mga modelo ng Microsoft AI sa Maia chip.

Mula sa isang rack tungo sa 12,288 accelerator

May 24 tray ang isang Maia 300 rack, at may apat na accelerator ang bawat isa, kasama ang katugmang host processor, memory, storage at cooling. Dinodoble nito ang bilang ng accelerator kumpara sa 48 sa Maia 200 rack. Inaalis ng pagsasama ng host equipment sa mga tray ang pangangailangan para sa magkakahiwalay na host tray at nagbibigay ng espasyo para sa dagdag na accelerator.

Kayang pag-ugnayin ng disenyo ng network ng Microsoft ang hanggang 128 rack sa isang superpod na may 12,288 accelerator. Gumagamit ito ng mga de-koryenteng koneksyon sa loob ng mga rack at optical na koneksyon sa pagitan ng mga rack, sa pamamagitan ng custom na AI transport na nakabatay sa Ethernet.

Iisa ang modelo ng komunikasyong ipinakikita ng network sa software sa buong superpod. Maaaring magsimula ang mga accelerator ng paglilipat papunta sa iba pang accelerator nang hindi idinaraan ang mga ito sa host processor o sa hiwalay na network interface para sa komunikasyon sa pagitan ng mga rack.

Mahalaga ito kapag hinahati ang isang modelo sa maraming chip. Hinahati ng tensor parallelism ang mga bahagi ng pagkukuwenta ng modelo sa mga accelerator at nangangailangan ito ng madalas na komunikasyon sa pagitan ng mga ito. Ayon sa Microsoft, kayang panatilihin ng software sa loob ng isang rack ang trapikong nangangailangan ng pinakamabilis na tugon habang mas malawak na ipinamahagi ang iba pang gawain.

Kayang paghiwalayin ng parehong network ang paunang pagproseso ng prompt at ang kasunod na pagbuo ng sagot. Direktang inililipat ang nakaimbak na KV data sa pagitan ng mga worker na humahawak sa mga yugtong ito. Maaari ring pumalit ang mga ekstrang accelerator sa ibang rack kapag hindi na magagamit ang kapasidad, bagaman nagdudulot ng dagdag na latency ang mas mahabang ruta ng komunikasyon.

Ano talaga ang inihahambing ng mga pahayag tungkol sa kahusayan

May dalawang pangunahing paghahambing ang Microsoft na dapat pag-ibahin. Inihahambing ng inaasahang 40% pagtaas sa token kada megawatt ang Maia 300 sa mga nangungunang GPU system. Inihahambing naman ng pahayag na hanggang pitong ulit ang token output kada rack ang rack ng Maia 300 na kumpleto ang configuration sa Maia 200.

Yunit ng teksto na pinoproseso ng language model ang token; madalas itong bahagi ng salita sa halip na buong salita. Sinusukat ng token throughput ang dami ng output, pero hindi nito nag-iisang itinatakda ang kalidad ng sagot, bilis ng tugon sa bawat user o performance sa lahat ng modelo.

Gumagamit din ng magkakaibang pananalita ang dokumento ng arkitektura para ilarawan ang kahusayan kumpara sa Maia 200. Sinasabi sa talakay nito sa rack na hanggang 2.5 ulit ang performance kada watt, samantalang mahigit 2.5 ulit naman ang nakasaad sa pangwakas na paghahambing. Kung walang detalyadong kondisyon ng pagsubok, hindi dapat pagsamahin ang mga paglalarawang ito bilang iisang garantisadong resulta.

Bahagi ng paliwanag sa pagtaas ng output ng rack ang bilang ng accelerator: dinodoble ng Maia 300 ang bilang ng chip. Kaya higit sa pagdagdag ng density ang sinasaklaw ng pahayag na pitong ulit ang throughput; pinagsasama nito ang dagdag na accelerator at mga pagbabago sa memory, software, networking at kahusayan ng pagpapatakbo. Hindi ito dapat unawain bilang pitong ulit na pagbuti sa bawat indibidwal na chip.

Iba rin ang espesipikasyong 950 watt para sa accelerator sa limitasyong 167 kilowatt para sa rack. Kapag minultiply ang 96 sa 950 watt, 91.2 kilowatt ang resulta. Saklaw ng bilang para sa rack ang mas malawak na sistema, kabilang ang mga host, memory, networking at paghahatid ng kuryente, kaya magkaibang hangganan ng sistema ang inilalarawan ng dalawang halagang ito.

Huhubugin ng pagpapalamig at kuryente ang deployment

Sa 167 kilowatt bawat rack, nangangailangan ang Maia 300 ng pinagsamang paraan sa paghahatid ng kuryente at pamamahala ng init. Ayon sa Microsoft, inaalis ng liquid cooling ang mahigit 80% ng thermal load ng rack mula sa mga accelerator, voltage regulator at network switch chip. Hinahawakan naman ng air cooling ang memory, storage at iba pang bahagi.

Maaaring direktang ikonekta ang rack sa tubig ng pasilidad kung mayroon nito, o gumamit ng heat exchanger sa data center na umaasa sa air cooling. Sinusuportahan ng dalawang power feed at awtomatikong transfer switch ang tuluy-tuloy na operasyon kapag inaalis sa serbisyo ang isang feed para sa pagpapanatili.

Ginagamit sa operasyon ng data center ang mga sukat ng kuryente sa antas ng rack at row. Ayon sa Microsoft, tumutulong ang impormasyong ito sa mga algorithm nito na maglaan ng kuryente, magtakda ng puwesto para sa mga workload at mag-adjust ng deployment density ayon sa kapasidad ng kuryente at pagpapalamig na magagamit.

Ipinaliwanag ni Alistair Speirs, isang general manager ng Microsoft, ang kaugnayan nito sa gastos sa pagpapatakbo nang talakayin niya ang bagong arkitektura.

Kailangan namin ng mga bagong arkitektura na magbibigay sa amin ng mas mahusay na performance at mas mahusay na paggamit sa kuryenteng mayroon kami.

Kaya higit pa sa plano ng pagbili ng chip ang target na deployment na gigawatt. Inilalarawan nito ang malaking pangako sa imprastraktura na sumasaklaw sa mga rack, network, kapasidad sa kuryente at pagpapalamig. Hindi tinutukoy sa inilathalang anunsyo ang mga lokasyon, paghahati ayon sa rehiyon o iskedyul ng pagkumpleto ng kapasidad na ito.

Maia 200 ang panimulang batayan

Ayon sa Microsoft, nagsisilbi na ang Maia 200 sa mga production workload, kabilang ang Microsoft Copilot, at sumusuporta rin ito sa MAI team habang bumubuo ito ng mga bagong modelo. Pinapatakbo nito ang mga modelo ng OpenAI, sarili nitong mga modelo ng MAI ng Microsoft at mga nangungunang pamilya ng open source na modelo, at nakadeploy ito sa Estados Unidos, Europa at Australia.

Magkakaiba ang mga ulat tungkol sa rollout ng GitHub Copilot at Microsoft Foundry. Sinasabi sa isa na nagpapatakbo na sa Maia 200 ng mga production workload ang dalawa. Ayon naman sa pahayag ng Microsoft noong Oktubre 12, inaasahang susunod ang mga ito bago matapos ang 2026. Mas matibay na batayan sa paglalarawan sa kanilang estado ang opisyal na iskedyul na ito.

Iniulat ng Microsoft na hanggang 1.7 ulit na mas maraming token kada watt ang naibibigay ng mga built-in na AI function sa Teams, Copilot at Cowork kumpara sa nangungunang imprastraktura ng GPU. Tinutukoy rin nito ang mga susunod na gamit na sumasaklaw sa tulong sa coding, paghahatid ng modelo sa cloud, inference at pagbuo ng data para sa MAI, at mga klinikal na workflow sa pamamagitan ng Dragon Copilot.

Ganito ang pagkakasunod-sunod ng mga anunsyo at planong milestone:

• 2023: Ipinakilala ng Microsoft ang Maia 100, ang una nitong custom na AI accelerator.
• Enero 2026: Inanunsyo ng Microsoft ang Maia 200.
• Oktubre 12, 2026: Inilantad ng Microsoft ang arkitektura ng Maia 300 at kinumpirma ang mga production workload ng Maia 200.
• Bago matapos ang 2026: Inaasahang susunod sa Maia 200 ang GitHub Copilot at Microsoft Foundry.
• 2027: Magsisimula ang deployment sa produksyon ng Maia 300 at ang pagpapalawak ng pamilya ng Maia tungo sa maraming gigawatt.

Ayon kay Jim Kleewein, technical fellow ng Microsoft, dapat bumilis ang ilang bahagi ng Microsoft 365 Copilot sa Maia 300. Wala pang inanunsyong nasusukat na pagbuti sa oras ng pagtugon na mararanasan ng mga user.

Lumalawak ang papel ng TSMC at industriya ng server sa Taiwan

Nagbibigay ang Maia 300 sa TSMC ng kumpirmadong papel sa advanced na AI hardware ng isa pang malaking cloud company. Microsoft ang nagdidisenyo ng accelerator, samantalang TSMC ang gumagawa ng mga computing chiplet nito gamit ang N2P. Kaya hindi inaalis ng pagbawas sa pagdepende sa mga binibiling GPU ang pagdepende sa kapasidad sa pagmamanupaktura ng semiconductor.

Ayon sa TSMC, magsisimula ang pagpapalawak ng produksyon sa 2026 sa limang pasilidad na gumagamit ng prosesong 2 nanometer nito: dalawa sa Hsinchu at tatlo sa Kaohsiung. Nakatakda ang maramihang produksyon ng N2P sa ikalawang kalahati ng 2026, bago ang planong deployment ng Microsoft sa 2027.

Tinataya ng merkado na aabot sa humigit-kumulang 90,000 hanggang 100,000 wafer kada buwan ang kapasidad ng TSMC sa 2 nanometer pagsapit ng katapusan ng 2026 at lalampas sa 110,000 pagsapit ng kalagitnaan ng 2027. Mga pagtataya, hindi kumpirmadong kita mula sa mga order ng Maia, ang mga pagtatantiyang maaaring halos 10% ng kita sa ikalawang kalahati ng taon ang maiambag ng prosesong ito.

Kabilang sa mga itinakdang target ng TSMC ang 45% mas maraming wafer output sa unang taon ng prosesong 2 nanometer nito kaysa sa unang taon ng produksyon ng 3 nanometer noong 2023, at 70% na compound annual growth rate sa kapasidad ng 2 nanometer sa pagitan ng 2026 at 2028. Wala sa mga target na ito ang nagtatakda kung anong bahagi ng output na iyon ang mapupunta sa Microsoft.

Tinutukoy ng mas malawak na pagtataya sa merkado ang Foxconn, Quanta, Wistron, Wiwynn, Pegatron, Inventec, Compal at MiTAC bilang mga posibleng makinabang sa lumalaking demand para sa AI server. Tinataya ng mga forecast na aabot sa 3.5 milyon ang padala ng AI server sa 2026 at 5.2 milyon sa 2027. Katumbas ng humigit-kumulang 49% na paglago ang mga bilugang kabuuang ito, bahagyang mas mataas sa hiwalay na binanggit na 46% na forecast.

Tinataya rin ng mga forecast na tataas nang 96% ang capital expenditure ng mga pangunahing cloud provider sa Estados Unidos sa 2026, at magmumula sa konstruksyon ng data center ang halos kalahati ng pagtaas. Inaasahan ng Foxconn na hihigit sa doble ang taunang padala nito ng AI rack, habang pinananatili naman ng Quanta ang target na hindi bababa sa 100% paglago sa mga AI server. Mas malawak na inaasahan ng industriya ang mga ito, hindi kumpirmasyon ng mga kontrata sa suplay ng Maia 300.

Bahagi pa rin ng plano ang Nvidia

Layunin ng Microsoft na gawing pangunahing sistema ng inference ang Maia para sa sarili nitong mga produkto at serbisyo, hindi palitan ang lahat ng GPU sa Azure. Ibang pangangailangan ang pagsasanay ng mga bagong modelo, at patuloy na nakikipagtulungan ang Microsoft sa Nvidia at AMD para rito.

Sa tawag tungkol sa kita noong Hulyo, sinabi ng Microsoft na inaasahan nitong mapabilang sa mga unang cloud provider na magde-deploy ng mga sistema ng Nvidia Vera Rubin at AMD Helios. Tinataya ng Evercore ISI na maaaring bumuo ang Maia ng humigit-kumulang 10% ng paggasta ng Microsoft sa AI chip pagsapit ng unang quarter ng 2027. Iba ang bahagi ng paggasta sa bahaging ginagampanan ng inference, kaya hindi direktang nasusukat ng tantiyang ito ang pag-usad tungo sa layuning pagpapatakbo ng Microsoft.

Hindi pa kasalukuyang maaaring rentahan kada oras ng ibang kumpanya ang mga Maia accelerator. Nililimitahan nito ang pagsusuri mula sa labas at nangangahulugan ding hindi itinatakda ng inilathalang mga pahayag sa performance kung ano ang makakamit ng isang independiyenteng customer sa isang partikular na modelo.

Kabilang sa mga hindi pa tiyak ang bilang ng deployment, iskedyul para maabot ang buong gigawatt na kapasidad, detalyadong kondisyon ng benchmark at panghuling paghahati ng mga workload sa pagitan ng Maia at mga biniling GPU. Sinabi ng Microsoft na magbabahagi ito ng higit pang impormasyon tungkol sa estratehiya sa Ignite 2026 sa San Francisco at online sa Nobyembre.

Mahahalagang Punto

• Gagamit ang mga computing chiplet ng Maia 300 ng TSMC N2P, at magsisimula ang deployment sa produksyon sa 2027.
• May 288 GB ng HBM4 memory at pinakamataas na memory bandwidth na 18 TB/s ang bawat accelerator.
• May 96 accelerator ang isang kumpletong rack sa loob ng 167 kW na limitasyon sa kuryente.
• Inaasahan ng Microsoft na makapagbibigay ito ng 40% mas maraming token kada megawatt kaysa sa mga nangungunang GPU system at hanggang pitong ulit ng output kada rack ng Maia 200.
• Palalawakin ang deployment ng pamilya ng Maia tungo sa maraming gigawatt simula 2027, nang walang inilathalang takdang panahon ng pagkumpleto.
• Hindi kinukumpirma sa anunsyo ng Microsoft ang mga ulat tungkol sa mahigit isang milyong deployment ng Maia 300.
• Patuloy na planong mag-deploy ng Microsoft ng mga sistema ng Nvidia at AMD kasabay ng sarili nitong hardware.