Himay-himay sa pahayag na $294,000 ang pagsasanay sa DeepSeek: Bakit milyun-milyon talaga ang nagastos sa R1

Bakit ikinagulat ng mundo ng AI ang presyong $294,000

Nang maglathala ang DeepSeek ng peer-reviewed na papel tungkol sa reasoning model nitong R1 sa Nature, isang numero ang nakakuha ng pansin ng mundo: 294,000 dolyar. Ipinahiwatig ng mga headline na sinanay ang flagship model sa halagang maliit na bahagi lamang ng iniulat na ginastos ng mga karibal nito sa US. Totoo ang numero, pero para lamang ito sa isang limitadong bahagi ng trabaho. Saklaw ng halagang iyon ang huling yugto ng reinforcement learning na nagpahusay sa sunod-sunod na pangangatwiran ng modelo. Hindi nito kasama ang ilang buwang pretraining sa mas malaking base model na pinagbabatayan ng R1.

Nakasalalay ang performance ng R1 sa DeepSeek V3, isang large language model na sinanay sa napakalaking corpus gamit ang malaking compute cluster. Nang maitayo na ang magastos na pundasyong ito saka lamang nagsagawa ang team ng reinforcement learning para gabayan ang modelo tungo sa mas mahusay na lohika at paglutas ng problema. Ang pagkalito sa huling hakbang at sa buong proyekto ang nag-angat sa isang espesyalisadong gastos tungo sa pagiging headline.

Mahalaga ang pagkakaibang ito. Hindi basta lilitaw mula sa isang weekend ng paggamit ng ilang rack ng chips ang modelong kayang makipagsabayan sa pinakamahusay na mga sistema sa coding at matematika. Kailangan dito ang tuluy-tuloy na paggamit ng compute, masusing pag-aayos ng datos, paulit-ulit na eksperimento, maingat na pagsusuri sa kaligtasan at performance, at huling yugto ng optimization. Nagbigay ang papel sa Nature ng mahalagang sulyap sa huling yugtong iyon. Hindi nito inalis ang mabigat na trabahong nauna rito.

Ano talaga ang sinasabi ng papel sa Nature

Inilalarawan sa supplementary material ng R1 ang isang reinforcement learning run gamit ang 512 Nvidia H800 GPU. Tinutukoy rito ang paunang yugto ng pagsasanay sa R1 Zero na tumagal nang humigit-kumulang 198 oras, at karagdagang 80 oras para mabuo ang inilabas na R1. Nagtala rin ang team ng humigit-kumulang 5,000 GPU hour para makalikha ng preference data na ginamit sa proseso. Batay sa karaniwang presyo ng pagrenta ng H800-class accelerator, bahagyang mas mababa sa 300,000 dolyar ang kabuuang halaga ng mga hakbang na ito. Hindi kinakatawan ng bilang na iyon ang buong oras at compute na kailangan para buuin mula sa simula ang isang modelong nangunguna sa larangan.

Nililinaw rin ng papel ang konteksto ng hardware. Pangunahing sinanay ng DeepSeek ang R1 gamit ang H800, mga chip na idinisenyo ng Nvidia para sa China matapos limitahan ng mga patakaran sa pag-export ng US ang akses sa mas matataas na uri ng accelerator. Kinilala ng team na gumamit ito ng A100 GPU para sa paghahandang gawain gamit ang mas maliit na modelo, bago lumipat sa H800 para sa pangunahing R1 reinforcement learning run. Maaaring tingnan ng mga mambabasa ang mga teknikal na detalye at talaan ng gastos sa mga peer-reviewed na materyal na inilathala ng journal na Nature.

Nagsisimula sa pretraining ng V3 ang tunay na gastos sa pagbuo ng R1

Itinuturo ng sariling mga materyal ng DeepSeek ang pinakamalaking bahagi ng gastos: ang pretraining ng V3 base model na pinagbabatayan ng R1. Sinanay ang V3 gamit ang 2,048 H800 GPU sa loob ng humigit-kumulang dalawang buwan. Katumbas ito ng halos 2.79 milyong GPU hour. Kung gagamit ng konserbatibong palagay na humigit-kumulang 2 dolyar kada GPU hour para sa ganitong uri ng hardware, aabot sa halos 5.58 milyong dolyar ang mismong pretraining run. Kapag idinagdag ang humigit-kumulang 294,000 dolyar para sa reinforcement learning at kaugnay na pagbuo ng datos, halos 5.87 milyong dolyar ang gastos sa compute para mabuo ang inilabas na bersyon ng R1.

Tugma ang pagtatantiyang ito sa paglalarawan sa papel na dagdag na gastos ang 294,000 dolyar para sa R1, bukod pa sa base model. Kaayon din ito ng mga pagsusuri mula sa labas na naglalagay sa kabuuang compute scale ng R1 sa kaparehong antas ng iba pang malalaking open model. Mas matipid pa rin ito kung ihahambing sa mga ispekulasyong badyet para sa pinakamalalaking saradong sistema, pero malayo ito sa impresyong ibinibigay ng isang headline tungkol sa halagang mas mababa sa 300,000 dolyar.

Paano kinukuwenta ang GPU hour

Payak na panukat ng compute ang GPU hour: ang isang GPU na tumatakbo nang isang oras ay katumbas ng isang GPU hour. Nakukuha ang kabuuang halaga ng training run sa pagpaparami ng bilang ng GPU sa mga oras na ginamit. Nakabatay ang presyo sa halaga ng mga oras na ito sa merkado, sa pamamagitan man ng pagrenta sa cloud o ng depreciation at pagpapatakbo ng sariling hardware. Nagbabayad kada oras ang developer na umuupa ng mahigit 2,000 accelerator sa loob ng ilang buwan. Kung bibilhin naman ng developer ang kaparehong cluster, ilalabas nito agad ang puhunan at saka magbabayad para sa kuryente, pagpapalamig, espasyo at maintenance.

Mas malaki nang husto ang gastos sa pagbili ng cluster na ganito kalaki kaysa sa pagrenta nito para sa iisang run. Aabot sa mahigit 51 milyong dolyar sa kasalukuyang presyo sa merkado ang paglalagay ng 2,048 H800-class GPU, networking at server, at hindi pa kasama rito ang oras ng mga engineer, paglilisensiya ng datos, paggawa ng pagsusuri, storage at maraming bigong eksperimento bago magkaroon ng matagumpay na release. Pinakamainam unawain ang halagang 5.87 milyong dolyar bilang gastos sa malalaking matagumpay na run, hindi bilang buong gastos sa pananaliksik na nagbigay-daan sa mga ito.

Huling hakbang ang reinforcement learning, hindi ang buong proseso

Binabago ng reinforcement learning ang asal ng isang sinanay na modelo sa pamamagitan ng pagbibigay-gantimpala sa mga resultang ninanais. Sa programa ng R1, gumamit ang DeepSeek ng teknik na nagbibigay-iskor sa mga sagot at gumagabay sa modelo tungo sa mga solusyong nagbubunga ng tamang resulta. Inilalarawan ng mga mananaliksik ang paraang ito bilang purong reinforcement learning. Hindi nito kailangan ng mga chain of thought na isinulat ng tao. Sinusubukan ng modelo ang sarili nitong mga landas, tumatanggap ng hudyat kung tama ang sagot, at unti-unting pinahuhusay ang panloob na estratehiya nito sa pangangatwiran.

Mahalaga ang huling hakbang na ito. Maaari nitong pahusayin ang performance sa matematika, coding at mga gawaing pang-agham, kung saan layunin ang makamit ang mapatutunayang resulta. Mas mura rin ito kaysa sa pretraining. Nasa ilang buwang pagkatuto pa rin ang pinakamabigat na gawain, na nagbigay sa base model ng kaalaman sa wika at malawak na kakayahan. Hinuhubog naman ng reinforcement learning ang mga kakayahang ito para sa mga tiyak na layunin gaya ng sunod-sunod na pangangatwiran at paggamit ng mga tool.

Mga chip, patakaran sa pag-export at aktuwal na ginamit ng DeepSeek

Nagsanay ang DeepSeek sa ilalim ng limitasyon sa suplay ng chip. Nilimitahan ng United States ang pag-export ng mga high-end accelerator sa China, kaya lumilitaw sa mga materyal ng DeepSeek ang H800, isang bersyong mas mababa ang espesipikasyon at pinahihintulutan para sa pag-export ng data center GPU ng Nvidia. May mga usap-usapan sa industriya na nakahanap ng paraan ang mga mananaliksik sa China para makagamit ng mas mabilis na mga piyesa, at sinuri nang detalyado ang mga pahayag ng kumpanya para humanap ng mga pahiwatig tungkol sa pinagmulan ng hardware. Mas malinaw ang mahalaga sa usapin ng gastos: gumamit ang yugto ng reinforcement learning ng R1 ng 512 H800 na magkakaugnay na cluster, samantalang gumamit ng A100 sa naunang paghahanda.

Kinilala ito ng team sa supplementary document nito. Ipinaliwanag ng mga mananaliksik ang papel ng A100 sa yugto ng paghahanda bago ang mga pangunahing R1 run gamit ang H800.

Isinulat ng mga mananaliksik ng DeepSeek: "Tungkol sa aming pananaliksik sa DeepSeek-R1, ginamit namin ang mga A100 GPU para ihanda ang mga eksperimento gamit ang mas maliit na modelo."

Nakatutulong ang detalyeng ito para magkasundo ang huling badyet at ang magkahalong uri ng chip na ginamit. Lumilitaw ang H800 sa talaan ng pangunahing gastos sa reinforcement learning, samantalang ginamit ang A100 sa mga naunang eksperimento na humubog sa pamamaraan.

Mas mura nga ba nang malaki ang DeepSeek kaysa sa mga karibal nito sa Kanluran

Mas malapit sa 6 na milyong dolyar, hindi 300,000 dolyar, ang kabuuang gastos sa compute para mabuo ang R1. Gayunman, bahagi pa rin lamang ito ng ispekulasyong siyam-na-digit na halaga para sa mga nangungunang saradong sistema. Nasa kaparehong antas din ito ng malalaking open model gaya ng Llama 4 ng Meta kung bilang ng accelerator at tagal ng pagsasanay ang pagbabatayan, kahit gumamit ang mga programang iyon ng mas maraming token. Kapansin-pansin ang agwat, pero hindi ito rebolusyong magpapababa nang sampung ulit sa gastos ng buong proseso.

Isa sa mga dahilan kung bakit itinuturing pa rin ng maraming mambabasa na nangunguna sa pagtitipid ang DeepSeek ay ang paraan ng pagpapahusay ng team sa paggamit ng mga chip sa kabila ng mga limitasyon. Pinalawak ng kumpanya ang isang mixture-of-experts na disenyo na nag-a-activate lamang ng maliit na bahagi ng mga parameter para sa bawat token. Nagbibigay ito ng mas mataas na throughput sa bawat GPU hour. Umasa rin ito sa mas mahabang pangangatwiran habang ginagamit ang modelo, kaya naililipat ang bahagi ng bigat mula sa pretraining tungo sa paggamit sa kalaunan.

Nagtalo rin ang mga mananaliksik tungkol sa mga pinagmumulan ng datos at paglilipat ng kaalaman sa pagitan ng mga modelo. Gumamit ang DeepSeek ng distillation sa ilang bahagi ng ecosystem nito, kung saan bumubuo ng mga sagot ang isang malakas na modelo para maturuan ang mas maliit o mas murang modelo. Sinabi ng team na natuto ang V3 base model mula sa pagkuha ng nilalaman sa web na may AI-generated na materyal, kabilang ang mga output mula sa ibang sistema. Inilalarawan ito ng papel bilang hindi sinasadya, sa halip na sadyang pangongopya ng mga landas ng pangangatwiran. Mahalaga ang teknikal na pagkakaibang ito para sa mga abogado at tagapagpatupad ng patakaran, gayundin sa mga nagtatantiya ng gastos at gustong malaman kung hanggang saan makararating ang developer gamit ang mas kaunting token at compute.

Ano ang sinasabi ng mga eksperto tungkol sa gastos at akses

Hinimok ng mga akademiko ang mahinahong pagbasa sa mga bilang ng DeepSeek. Kinikilala nila ang tunay na husay sa engineering habang nagbababala laban sa payak na paghahambing ng gastos. Makikinabang pa rin ang merkado sa mas mababang badyet sa pagsasanay kung magdudulot ito ng mas murang akses, pero madalas hindi kasama sa mga headline ang halaga ng mga tao, eksperimento at imprastraktura.

Nangatuwiran si Umar Iqbal, assistant professor ng computer science and engineering sa Washington University sa St. Louis, na maaaring magpalawak ng akses ang pagbaba ng gastos, kasabay ng pagbibigay-diin sa mga kapalit nito para sa privacy at seguridad kapag cloud-scale ang AI.

Sinabi ni Iqbal: "Para malawakang magamit ang mga teknolohiya, kailangan maging abot-kaya ang mga ito," at idinagdag na makapagbibigay-daan ang mas murang development sa mas maraming malakihang eksperimento, habang nagbabala na nagbubukas ng mahahalagang tanong tungkol sa kontrol sa datos at privacy ang mga serbisyong AI na nakabatay sa cloud.

Nagbabala rin maging ang mga sumusuporta sa teknikal na pamamaraan ng DeepSeek na hindi kumpletong panukat ang mga bilang ng pagsasanay na malawakang ibinahagi. Itinuturo nila ang paulit-ulit na run, mga siklo ng pag-aayos at gawaing pangdatos na hindi saklaw ng iisang kumpletong pagsasanay.

Datos, distillation at malamang na nilalaman ng training set

Gumagamit ang distillation ng mga sagot mula sa mas malakas na sistema para gabayan ang target na modelo. Makabubuo ang mga developer ng milyun-milyong de-kalidad na pares ng tanong at sagot, code trace o halimbawa ng chain of thought, saka iaangkop ang modelo para magaya ang ganitong asal. Maaaring mapahusay ng paraang ito ang kalidad nang hindi inuulit ang pinakamagastos na bahagi ng pretraining. Isa itong malaking dahilan kung bakit kayang tapatan o halos pantayan ng mas maliliit na team ang ilang kakayahan ng mas malalaking laboratoryo, lalo na sa matematika at programming.

Sinabi ng DeepSeek na may ilang distilled variant sa pamilya ng mga modelo nito na gumamit ng mga open-source system gaya ng Llama ng Meta. Para sa V3, inilarawan ng kumpanya ang malawakang pagkuha ng nilalaman sa web na kinabibilangan ng malaking dami ng mga sagot na ginawa ng AI. May pakinabang at panganib ang paraang ito. Mapabibilis nito ang pagkatuto ng mga karaniwang padron, pero maaari rin nitong maisama ang mga hindi tiyak na usapin sa lisensiya at kalidad. Dahil sa papel sa Nature, hiniling ng komunidad ang higit na linaw kung kailan ginamit ang aling datos at kung aling bahagi ng proseso ang umasa sa mga sintetikong label.

Bakit lumaganap ang headline na $294,000 at bakit ito mahalaga

Madaling ipaliwanag ang halagang 294,000 dolyar at sapat itong kahanga-hanga para makaapekto sa mga merkado. Noong Enero, nagdulot na ng pangamba ang mga unang release ng DeepSeek na maaaring maagawan ng isang murang karibal ang mga lider sa US. Ipinagbili ng mga investor ang mga share sa mga gumagawa ng chip at katuwang sa AI. Muling pinaigting ng peer-reviewed na papel ang usaping ito sa pamamagitan ng isang payak na pahayag na kumalat nang mas mabilis kaysa sa mga tala sa ibaba ng pahina. Itinuring ng maraming mambabasa at ilang reporter na iyon na ang buong kuwento ng reinforcement learning.

Higit pa sa pagpukaw ng interes ang nagawa ng papel. Nagtakda ito ng pamantayan para sa transparency sa pamamagitan ng paglalagay ng tiyak na mga numero at detalye ng pamamaraan sa pampublikong rekord ng agham. Hinimok ng mga reviewer ang DeepSeek na bawasan ang wikang nagbibigay-katauhan sa modelo at linawin ang kaligtasan, mga pinagmumulan ng datos at compute. Mabuti ito para sa agham at sa industriya. Tinutulungan nito ang komunidad na maunawaan kung aling mga teknik ang naghatid ng pinakamalaking pakinabang at kung aling mga gastos ang mahirap pa ring pababain.

Ano ang ibig sabihin nito para sa gastos sa AI at kompetisyon

Nagbabago ang ekonomiya ng pagbuo ng modelo. Matapos ang ilang taong pagpapalawak, mas binibigyang-diin na ngayon ng maraming team ang fine-tuning at pagbibigay sa mga modelo ng mas maraming oras para mangatwiran, sa halip na palawakin lamang ang laki ng dataset at bilang ng parameter. Inililipat nito ang bahagi ng pasanin sa gastos sa yugto ng inference, kung saan mas matagal mag-isip ang modelo sa bawat query at mas maraming compute ang ginagamit sa bawat sagot. Maaari pa ring bumaba ang kabuuang gastos para sa mga end user kung mas malaki ang matitipid mula sa mga pagpapahusay sa efficiency kaysa sa dagdag na oras ng pangangatwiran.

Bahagi ng mas malawak na pagbabago sa industriya tungo sa mas modular na development ang mixture-of-experts na disenyo ng DeepSeek, paggamit nito ng reinforcement learning para sa pangangatwiran, at piling distillation. Natututo ang mga modelo sa isa't isa, bumubuo ang mas maliliit na team gamit ang mas malalaking base model, at nagbibigay ang mga open weight ng paunang abante sa mga startup. Napansin sa isang pag-aaral sa patakaran tungkol sa kalakarang ito sa Europe na maaaring makatulong ang mga pagbabagong ito sa maliliit na kumpanya para makipagkompetensiya, pero mas pinahihirap din nitong mabawi ang nakapirming gastos sa pundamental na pagsasanay. Maaaring tumindi ang kompetisyon sa presyo habang naghahanap ang mga developer ng napapanatiling paraan para isama ang AI sa mga produkto at serbisyo.

Nagbabala ang ilang mananaliksik na madalas kulang ang mga inilalathalang bilang sa pagsasanay kumpara sa kabuuang kailangan para makabuo ng pulidong sistema. Binibigyang-diin nila ang pagkakaiba ng gastos sa isang huling matagumpay na run at ng buong badyet para sa pagproseso ng datos, mga bigong pagsubok, pagsusuri sa kaligtasan at ilang buwang engineering.

Pinuri ni Martin Vechev, direktor ng INSAIT institute na nakabase sa Switzerland, ang teknikal na tagumpay habang nagbabala na hindi dapat ituring na kabuuang gastos ang mga bilang mula sa iisang run.

Sinabi ni Vechev: "Nakapanlilinlang ang halagang 5 hanggang 6 na milyong dolyar dahil iisang training run lamang ang isinasaalang-alang nito; kailangan ng maraming run at eksperimento para mabuo ang ganitong modelo, kaya mas mataas nang husto ang tunay na gastos."

Kaayon ng mga ebidensiya tungkol sa R1 ang pananaw na ito. Nagmula ang malaking natipid ng proyekto sa matalinong pagpili ng arkitektura at mahusay na paraan ng reinforcement learning, hindi sa paglaktaw sa magastos na bahagi ng pretraining. Nagbibigay ang resulta ng kapani-paniwalang landas tungo sa mataas na performance gamit ang mas kaunting compute kaysa sa ilang karibal, pero hindi ito paraang magpapababa sa mas mababa sa 300,000 dolyar ng gastos sa pagsasanay ng modelong nangunguna sa larangan.

Mahahalagang Punto

• Saklaw ng halagang 294,000 dolyar para sa DeepSeek R1 ang reinforcement learning gamit ang 512 H800 GPU at kaugnay na pagbuo ng datos, hindi ang buong pagsasanay ng modelo.
• Nakasalalay ang R1 sa V3 base model, na sinanay gamit ang 2,048 H800 GPU sa loob ng humigit-kumulang dalawang buwan, o halos 2.79 milyong GPU hour.
• Tinatayang aabot sa halos 5.58 milyong dolyar ang pagrenta ng compute para sa pretraining ng V3, at sa humigit-kumulang 5.87 milyong dolyar ang kabuuang gastos para mabuo ang R1.
• Mas mahal nang husto ang pagbili ng maihahambing na hardware kaysa sa pagrenta; mahigit 51 milyong dolyar ang presyo ng cluster na may humigit-kumulang 2,000 GPU bago pa ang gastos sa pagpapatakbo.
• Gumamit ang DeepSeek ng A100 GPU para sa paghahanda, saka gumamit ng H800 para sa pangunahing R1 reinforcement learning run.
• Mas kahawig ng antas ng compute ng iba pang malalaking open model ang R1 kaysa sa ipinahiwatig ng mga naunang headline, bagaman matipid pa rin ito kumpara sa mga ispekulasyong siyam-na-digit na badyet para sa mga saradong modelo.
• Pinahusay ng reinforcement learning ang pangangatwiran sa medyo mababang gastos, habang nanatiling mabigat na gawain ang pretraining at pagproseso ng datos.
• Nagbabala ang mga eksperto na bihirang kasama sa inilalathalang bilang ng pagsasanay ang R&D, paghahanda ng datos at maraming bigong run na nagpapataas sa tunay na gastos ng proyekto.