Pinalawak ng Google ang hanay ng mga TPU gamit ang mga sistemang may ligtas na AI at mas malaking memorya upang hamunin ang Nvidia

Dalawang bagong sistema, tutugon sa susunod na mga pangangailangan ng AI

Pinalawak ng Google ang ikawalong henerasyon ng mga Tensor Processing Unit nito sa pamamagitan ng dalawang espesyalisadong sistema: ang TPU 8tx, na nagpoprotekta sa sensitibong impormasyon habang pinoproseso ito ng AI, at ang TPU 8i Max, na pinagsasama ang dalawang chip sa iisang pakete upang humawak ng mas malaking dami ng impormasyon. Inanunsyo noong Nobyembre 9, 2026, ito ang ikaapat na sistemang inilabas ng Google sa hanay ng mga TPU nito sa loob ng iisang taon, isang unang beses para sa kumpanya.

Tinutugunan ng mga bagong sistema ang dalawang praktikal na problemang kinakaharap ng mga negosyong gumagamit ng mga AI agent: pag-iingat sa pribadong datos at pagbibigay sa software ng sapat na memorya upang maproseso ang buong koleksiyon ng mga dokumento, computer code o video. Inaasahang magsisimula ang pagpapadala ng mga ito sa 2027. Hindi tinukoy ng Google ang petsa ng paghahatid o presyo ng alinmang sistema.

Inilalarawan sa anunsiyo ng Google tungkol sa portfolio ng mga TPU ang dalawang produkto bilang mga konfigurasyong binuo sa palibot ng umiiral nang silicon. Gumagamit ang TPU 8tx ng kaparehong pangunahing chip ng TPU 8t, na ipinares sa mga central processing unit na AMD EPYC, ikalimang henerasyon. Pinagsasama naman ng TPU 8i Max ang dalawang TPU 8i chip sa iisang pakete, kaya nadodoble ang kapasidad sa pag-compute, ilang uri ng onboard memory at memory bandwidth.

Ang TPU ay isang processor na idinisenyo para isagawa ang mga operasyong matematikal na ginagamit ng AI. Orihinal na binuo ng Google ang mga processor na ito para sa sarili nitong mga serbisyo, kabilang ang pagkilala sa pagsasalita at pagsasalin. Sinusuportahan na ng mga ito ang Gemini, mga panlabas na customer ng cloud at mga deployment sa mga data center ng customer.

Pinatitibay ng pagpapalawak ang hamon ng Google sa Nvidia sa pamamagitan ng pagbibigay sa mga customer ng mas maraming mapagpipilian para sa mga partikular na gawain. Sa halip na iatas sa iisang disenyo ng accelerator ang lahat ng pangangailangan, bumubuo ang Google ng iba’t ibang kombinasyon ng mga processor, memorya, networking at seguridad sa palibot ng mga dati nitong chip.

Bakit apat na sistema ang inilabas sa loob ng isang taon

Inilunsad ng Google ang TPU 8t para sa malalaking training task at ang TPU 8i para sa mabilis na pagtugon ng AI sa Google Cloud Next noong Abril 2026. Sa training, binubuo o binabago ang isang modelo gamit ang mga halimbawa. Ang inference naman ay ang paggamit sa modelong iyon upang makabuo ng sagot o magsagawa ng gawain.

Ayon sa Google, hanggang 2.7 ulit ang training performance ng TPU 8t kumpara sa naunang henerasyon nito, samantalang 80% na mas mahusay ang inference price performance ng TPU 8i. Batayan sa mga paghahambing na ito ang mga naunang TPU ng Google. Pinalalawak ng pinakabagong mga dagdag ang kaparehong henerasyon tungo sa confidential computing at mga gawaing nangangailangan ng mas malaking kapasidad ng memorya.

Inilarawan ni Amin Vahdat, punong teknolohista at senior vice president ng Google para sa AI at imprastraktura, ang mga prayoridad sa anunsiyo:

Habang inililipat ng mga negosyo sa aktuwal na paggamit ang mga autonomous agent, lumikha kami ng dalawang bagong konfigurasyon ng mga pundamental na sistemang ito upang lutasin ang dalawang bagong apurahang hamon: seguridad ng datos sa antas ng hardware at kontekstong umaabot sa milyun-milyong token.

Ayon sa Google, inaabot ng mga taon ang pagdidisenyo ng bagong chip, samantalang ilang buwan lang ang maaaring kailanganin upang baguhin ang packaging, memorya, optical networking at seguridad sa palibot ng umiiral nang chip. Dahil sa modular na pamamaraan nito, naiaangkop ng mga inhinyero ang mga sistema sa nagbabagong pangangailangan ng software bago maging handa ang ganap na bagong processor.

Ganito na ngayon ang iskedyul ng pagbuo at paghahatid:

• Abril 2026: Inilunsad ng Google ang TPU 8t at TPU 8i sa Google Cloud Next.
• Oktubre 2026: Ayon sa Google, inilabas nito bilang open source software ang TorchTPU upang suportahan ang pagbuo ng PyTorch sa mga TPU.
• Nobyembre 9, 2026: Inanunsyo ng Google ang TPU 8tx, TPU 8i Max at karagdagang software para sa imprastraktura.
• 2027: Inaasahang magsisimula nang ipadala ang mga bagong sistema, habang plano ng Oracle na simulang mag-alok ng access sa mga TPU sa mga customer ng cloud nito.

Pinoprotektahan ng TPU 8tx ang impormasyon habang pinoproseso ito

Para sa mga pamahalaan at negosyong saklaw ng regulasyon, kabilang ang mga organisasyong pampinansyal at pangkalusugan, ang TPU 8tx. Maaaring kailanganin ng mga customer na ito ang AI upang magsuri ng mga rekord na napakasensitibo habang pinoprotektahan kapwa ang impormasyon at ang mga panloob na parameter ng modelo.

Tinutugunan ng confidential computing ang panahong aktibong ginagamit ang impormasyon. Pinoprotektahan na ng encryption ang datos na nakaimbak sa drive o ipinapadala sa network. Habang pinoproseso, karaniwang kailangang ma-access ang impormasyon sa working memory. Ayon sa Google, nagdaragdag ang TPU 8tx ng mga proteksiyong hardware na naghihiwalay at nag-iingat sa sensitibong datos at mga weight ng modelo sa yugtong iyon.

Ang mga processor na AMD EPYC, ikalimang henerasyon, ang nagsisilbing host computing platform. Gumagamit din ang sistema ng encryption at authentication sa mga koneksiyong PCIe, na siyang naglilipat ng impormasyon sa pagitan ng mahahalagang bahagi ng computer. Nakatala sa mga teknikal na detalye na kasama sa paglulunsad ang 216 GB ng high bandwidth memory para sa TPU 8tx.

Ipinares ng Google ang sistema sa network nitong Boardfly, na nag-uugnay sa mga processor upang mabilis silang makapagpalitan ng impormasyon. Ayon sa kumpanya, maaaring pababain ng konfigurasyong ito nang hanggang kalahati ang latency kumpara sa TPU 8t, habang halos walang ibinabawas sa performance ang mga proteksiyon nito sa seguridad. Ang latency ay ang pagkaantala bago makumpleto ng sistema ang isang hakbang o makasagot.

Sinusuportahan din ng TPU 8tx ang mas maliliit na training task. Maaaring iangkop ng mga organisasyon ang isang modelo gamit ang pribadong impormasyon, paliitin ang mas malaking modelo tungo sa mas maliit sa prosesong tinatawag na distillation, o sanayin ang mga agent sa pamamagitan ng reinforcement learning, na gumagamit ng feedback upang mapahusay ang mga kilos ng mga ito. Ayon sa Google, maaaring isagawa ang mga gawaing ito kasabay ng inference sa iisang sistema, kaya nababawasan ang pangangailangang maglipat ng sensitibong impormasyon sa pagitan ng magkakahiwalay na kumpol ng mga computer.

Mas malawak na puwang para sa malalaking gawain sa TPU 8i Max

Iba namang limitasyon ang tinutugunan ng TPU 8i Max: mas mabilis makapagsagawa ng kalkulasyon ang mga processor kaysa maibigay ng memorya ang impormasyong kailangan ng mga ito. Tinatawag ito ng Google na memory wall. Pinakamabisa ang dagdag na computing power kapag kasabay nitong lumalago ang kapasidad ng memorya at bilis ng paglipat ng datos.

Pinagsasama ng sistema ang dalawang TPU 8i chip sa iisang pakete. Kabilang sa mga espesipikasyon nito ang 384 GB ng high bandwidth memory, 17.2 terabyte kada segundo ng memory bandwidth at 768 MB ng SRAM, isang mabilis na uri ng memoryang nasa mismong chip.

Ayon sa Google, dinodoble ng paketeng ito ang computing capacity, SRAM at high bandwidth memory bandwidth kumpara sa TPU 8i. Tumataas nang 33% ang kapasidad ng high bandwidth memory, kaya mas maliit ang itinaas ng dami ng impormasyong maiimbak kaysa sa bilis ng paglipat nito.

Kabilang sa mga nilalayong workload ang buong codebase ng software, mahahabang dokumento, ilang oras na video at mga grupong nagtutulungan na agent. Tinututukan ng sistema ang mga context window na umaabot sa isang milyong token. Ang context window ay ang impormasyong maaaring sanggunian ng isang modelo habang tumutugon sa isang kahilingan; ang mga token ay maliliit na bahagi ng teksto o iba pang content na pinoproseso ng modelo.

Sa isang coding task, maaaring bigyang-daan ng mas malawak na working memory ang isang agent na panatilihing available ang mas maraming kaugnay na file habang sinisiyasat nito ang isang problema. Kabilang din sa mga nilalayong gamit ang pananaliksik sa gamot at gawaing matematikal. Ayon din sa Google, ang paglalagay ng dobleng dami ng silicon sa kasalukuyang sukat ng rack ay nagpapataas sa computing capacity bawat square foot at bawat watt.

Higit pa sa iisang sagot ang gawaing nalilikha ng mga AI agent

Ayon kay Mark Lohmeyer, vice president at general manager ng Google Cloud para sa AI at computing infrastructure, maaaring magpasimula ang isang kahilingan sa agent ng daan-daan o libu-libong operasyon. Tinataya niyang maaaring tumaas nang 10 hanggang 1,000 ulit ang pangangailangan sa computing dahil sa pagbabagong ito, depende sa gawain.

Maaaring hatiin ng isang agent ang kahilingan sa mga hakbang, magtanong sa database, magsulat ng code, tumawag sa isa pang software tool at maghintay ng pag-apruba ng isang tao. Lumilikha ang ganitong proseso ng pangangailangan para sa mabilisang komunikasyon sa pagitan ng mga processor, tuluy-tuloy na working memory at proteksiyon sa impormasyong dumaraan sa ilang sistema.

Sinisikap din ng Google na bawasan ang gastos sa mga paghinto sa pagitan ng mga operasyong ito. Awtomatikong isinususpinde at ipinagpapatuloy ng bagong Agent Compute Engine nito ang mga idle na sesyon ng agent, kaya napapalaya ang mga resource habang naghihintay ang agent ng tugon mula sa database, panlabas na tool o feedback ng tao.

Layunin nitong praktikal na huwag hayaang okupado ng mamahaling mga processor ang mga sesyong walang kinukuwenta. Para sa mga customer na sabay-sabay na nagpapatakbo ng maraming agent, nagiging bahagi ng pagkontrol sa gastos ng imprastraktura ang pamamahala sa mga paghintong iyon.

Layunin ng software na padaliin ang paglipat ng hardware

Kaakibat ng pagpapalawak ng hardware ng Google ang mas malawak na pagsisikap nitong gawing mas madaling gamitin ang mga TPU. Bahagyang nakasalalay sa software na ginagamit na ng mga developer ang posisyon ng Nvidia, kaya kabilang sa estratehiya ng Google ang pagsuporta sa pamilyar na mga tool sa pagbuo gayundin ang mga bagong processor.

Nagbibigay ang TorchTPU, na binuo kasama ng Meta at komunidad ng PyTorch, ng native na TPU backend para sa PyTorch, isang malawakang ginagamit na framework sa pagbuo ng mga AI model. Ayon sa Google, maaaring patakbuhin sa mga TPU ang umiiral nang PyTorch code at mga modelo ng Hugging Face nang hindi muling isinusulat ang mga ito. Inilarawan sa presentasyon nito sa paglulunsad ang isang payak na setup na nangangailangan ng pagdaragdag ng dalawang linya ng code.

Inilalarawan din sa anunsiyo ng Google tungkol sa imprastraktura ng Cloud ang suporta ng TPU para sa vLLM at SGLang, mga open source engine na ginagamit sa pagpapatakbo ng mga AI model. Sinusuportahan ng pakikipagtulungan sa Inferact at RadixArk ang mas malawak na pamamaraan kung saan maaaring magpatakbo ang mga customer kapwa ng TPU at graphics processing unit.

Sa bagong XLA Serving Engine, maaaring magsanay ng mga modelo ang mga developer sa Python at patakbuhin ang mga ito sa pamamagitan ng C++ runtime sa mga TPU, GPU at CPU. Ikinokonekta ng isang hanay ng mga TPU agent, na kasalukuyang nasa preview, ang mga coding tool kabilang ang Claude Code, Cursor at Google Antigravity upang makatulong sa pag-configure ng mga workload at pagtukoy ng mga bottleneck.

Binabanggit ng Google ang mahusay na price performance sa mga pagsusulit na InferenceX at AgentX para sa mga coding agent at gawaing may malalaking konteksto. Mga pahayag ito ng kumpanya tungkol sa performance; kailangan pa ring paghambingin ng mga mamimili ang gastos, bilis ng pagtugon at katumpakan ng sarili nilang mga application sa pagpili ng imprastraktura.

Nagiging bahagi ng produkto ang pamamahala sa memorya

Higit pa sa memoryang pisikal na nakakabit sa accelerator ang saklaw ng bagong TPU Sync software ng Google. Pinag-uugnay nito ang memorya ng chip, memorya ng host computer, shared storage at network ng data center upang magamit ng workload ang mga ito bilang magkakaibang suson ng mas malaking sistema ng memorya.

Isa sa mga pangunahing tinututukan nito ang KV cache, ang nakaimbak na working information ng modelo mula sa content na naproseso na nito. Maaaring lumaki nang husto ang mga cache na ito dahil sa malalaking context window at maraming agent na sabay-sabay na tumatakbo. Kayang ilipat ng TPU Sync ang mga ito palabas ng chip sa loob ng ilang milisegundo, kaya naiiwan ang mamahaling memorya ng accelerator para sa aktibong gawain.

Ayon sa Google, kayang bawasan ng software nang mahigit 90% ang latency ng paglilipat ng KV at ang oras bago maibigay ang unang tugon. Sinusuportahan din nito ang paglilipat ng konteksto sa pagitan ng magkakaibang yugto ng pagproseso at pagsi-synchronize ng mga weight ng modelo habang isinasagawa ang reinforcement learning.

Tinututukan naman ng dalawa pang update ang pagsasaayos ng mga cluster. Sa Cloud Pathways, na pangkalahatang magagamit na ngayon sa Google Kubernetes Engine, maaaring iugnay ng iisang controller ang distributed na gawain ng TPU. Gumagamit ang GKE dynamic slicing ng optical circuit switching upang bumuo ng mas malalaking grupo ng TPU o hatiin ang mga ito sa mas maliliit at magkakahiwalay na grupo kapag nagbabago ang pangangailangan.

Ayon sa Google, mapabibilis ng dynamic slicing nang hanggang limang ulit ang pagsisimula ng trabaho at nang hanggang 4.5 ulit ang pagbawi mula sa mga aberya. Tinutugunan ng mga tool na ito ang kaparehong suliraning pangkomersiyo ng bagong hardware: gawing kapaki-pakinabang na trabaho ang naka-install na kapasidad sa pag-compute habang binabawasan ang paghihintay.

Mas malawak na negosyo sa labas ng Google Cloud

Ayon sa Google, halos 100 na ang customer ng negosyo nito sa TPU, kabilang ang mga AI laboratoryo, kompanya ng kalakalan, retailer at unibersidad. Pinalalawak ng kumpanya ang access lampas sa sarili nitong cloud, kabilang ang direktang deployment sa mga data center ng customer. Makakapag-deploy ang piling mga customer ng TPU 8tx sa sarili nilang lugar.

Nag-anunsiyo ang Oracle ng planong ialok ang mga TPU sa mga customer ng cloud nito simula 2027. May opsiyon ang Anthropic na bumili ng hanggang $150 bilyong halaga ng chip sa pagitan ng 2028 at 2031, habang iniulat ding nagpaplano ang OpenAI na bumili ng mga TPU. Pinakamataas na posibleng halaga ng pagbili sa ilalim ng mga opsiyong iyon ang bilang para sa Anthropic.

Halimbawa ang Jump Trading ng mga customer na pumipili ng magkakaibang hardware para sa magkakaibang gawain. Ayon sa kompanya, pinahuhusay ng mga TPU ang kahusayan sa paggamit ng enerhiya at binabawasan ang gastos para sa ilang gawain, habang nananatiling pangunahing plataporma nito sa pagsasanay ng mga AI model ang mga produkto ng Nvidia.

Tinataya ng analyst na si Mandeep Singh na humigit-kumulang 30% na mas mura ang mga TPU kaysa sa mga GPU ng Nvidia habang nag-aalok ng mapagkumpitensyang kakayahan sa pagproseso ng datos. Tinataya sa isang pananaliksik na aabot sa humigit-kumulang $12 bilyon sa 2026 at mahigit $135 bilyon sa 2028 ang benta ng TPU, kabilang ang kaugnay na hardware at software. Hindi kabilang dito ang kita mula sa mga customer na gumagamit ng TPU sa pamamagitan ng Google Cloud.

Kung mangyayari ang pagtatayang iyon, lalago ito nang mahigit 11 ulit sa loob ng dalawang taon mula sa bilang noong 2026, batay sa paghahati ng $135 bilyon sa $12 bilyon. Inilalarawan nito ang napakabilis na pagpapalawak na nakasalalay sa kapasidad ng pagmamanupaktura, paggasta ng mga customer at iskedyul ng deployment.

Humuhubog sa oportunidad ang mga limitasyon sa suplay at konstruksyon

Sinabi ng Google noong Oktubre na naireserba na ng mga customer ang lahat ng TPU na kaya nitong ipagkaloob. Nananatiling mga hadlang ang kakulangan sa memorya at limitasyon sa kapasidad ng pagmamanupaktura, at nagsisikap ang pangkat ni Vahdat na pag-ibahin ang mga pinagmumulan ng suplay.

Sa mga pagtatasa ng industriya, kabilang sa ecosystem ng Taiwan Semiconductor Manufacturing Company ang makabagong pagmamanupaktura at packaging ng sistema para sa pamilya ng TPU na ikawalong henerasyon. Dahil dito, lumilikha ng oportunidad para sa mga supplier sa Taiwan gayundin para sa Google ang lumalaking pangangailangan sa TPU, habang nagiging praktikal na alalahanin ang pagkuha ng access sa makabagong kapasidad sa produksyon at packaging.

Iba namang hadlang ang kinakaharap sa pagtatayo ng mga data center. Tinataya ni Singh na maaaring mabawasan ng pagtutol sa mga bagong pasilidad ang inaasahang $1.4 trilyong paggasta ng industriya ng teknolohiya sa imprastraktura para sa 2027 nang humigit-kumulang 5% hanggang 7%. Batay sa pagtatayang iyon, aabot sa humigit-kumulang $70 bilyon hanggang $98 bilyon ang mababawas.

Makakatulong ang mas malaking computing density sa mga operator na makagawa ng higit pa sa loob ng kasalukuyang gusali, kaya may praktikal na silbi ang TPU 8i Max sa mga lugar na kapos sa espasyo. Kailangan pa ring makakuha ng chip at memorya, maghatid ng mga sistema at magtayo ng kumikitang negosyo ang Google. Tinataya ni Singh na mas mababa pa rin sa sa Nvidia ang tubo sa mga TPU.

Hindi na lamang pinakamataas na bilis ng pagproseso ang pinagtutuunan ng kompetisyon. Pinagsasama ng Google ang confidential computing, mas malalaking sistema ng memorya, pamilyar na software at mas maluwag na deployment upang makuha ang ilang partikular na workload. Ang kakayahan nitong magtustos ng mga sistemang ito ang magtatakda kung gaano kabilis magiging kita ang mga reserbasyon ng customer.

Mahahalagang Punto

• Inanunsyo ng Google ang TPU 8tx at TPU 8i Max noong Nobyembre 9, 2026; inaasahang magsisimula ang pagpapadala sa 2027.
• Pinagsasama ng TPU 8tx ang umiiral na silicon ng TPU 8t, mga AMD EPYC host at mga proteksiyong hardware para sa sensitibong datos habang ginagamit.
• Pinagsasama ng TPU 8i Max ang dalawang TPU 8i chip, na may 384 GB ng high bandwidth memory at dobleng computing capacity at memory bandwidth kumpara sa TPU 8i.
• Apat na sistema ng TPU ang inilunsad ng Google noong 2026, at ayon dito ay halos 100 na ang customer ng negosyo nito sa TPU.
• Layunin ng TorchTPU, TPU Sync at iba pang update sa software na pasimplehin ang pagbuo at bawasan ang oras na walang gamit ang computing.
• Pinalalawak ng access sa Oracle at direktang deployment sa mga customer ang merkado ng Google, habang nililimitahan ng mga hadlang sa memorya, pagmamanupaktura at konstruksyon ang pagpapalawak.