Kinukumpirma ng DeepSeek OCR ang teksto bilang mga larawan upang pababain ang gastos sa AI at palawakin ang konteksto

Bagong paraan upang maisiksik ang mahahabang dokumento sa konteksto ng AI

Inilabas ng DeepSeek ang DeepSeek-OCR, isang vision language system na nagsisiksik ng mahahabang teksto sa pamamagitan ng pag-convert sa mga ito bilang mga larawan, saka kinukuha muli ang nilalaman kapag kailangan ito ng modelo. Binabawasan ng paraang ito nang pito hanggang dalawampung beses ang bilang ng mga token na kailangang iproseso ng isang large language model, depende sa mga setting at uri ng dokumento, habang napapanatili ang mataas na katumpakan sa katamtamang antas ng compression. Ayon sa DeepSeek, umaabot sa humigit-kumulang 97 porsiyento ang katumpakan ng pag-decode sa antas na sampung beses ang compression, at kapaki-pakinabang pa rin ang mga resulta sa mas matataas na ratio. May kasamang code at weights ang proyekto, bukas ito sa mga developer, at tinutugunan nito ang isa sa pinakamagastos na suliranin sa makabagong AI: ang paghawak sa mahahabang konteksto sa katwirang halaga.

Dalawang yugto ang proseso ng system. Ginagawang siksik na hanay ng vision tokens ng vision encoder na tinatawag na DeepEncoder ang mga pahina ng teksto, talahanayan, tsart, at iba pang layout. Pagkatapos, ibinabalik ng magaan na language model na DeepSeek3B MoE A570M ang mga token na ito sa anyong nakabalangkas na teksto. Napapanatili ng setup na ito ang mga layout at format kapag kailangan, sumusuporta sa maraming wika, at nakapaglalabas ng payak na teksto o mga resultang nakabalangkas gaya ng mga talahanayan sa Markdown.

Nakabatay sa mga token ang kahalagahan nito, ang mga batayang yunit na binabasa at isinusulat ng mga language model. Kapag mas maraming token, mas mataas ang paggamit ng memorya at latency, kaya tumataas ang gastos. May mahihigpit ding limitasyon ang mga modelo sa dami ng kontekstong kaya nilang makita nang sabay-sabay. Sa pag-iimbak ng konteksto bilang mga larawan at muling pagtingin dito sa pamamagitan ng vision tokens, nag-aalok ang DeepSeek-OCR ng mas murang antas ng memorya para sa mahahabang sesyon at malalaking dokumento. Posibleng mapalawak nito nang husto ang epektibong context window lampas sa kayang abutin ng teksto lamang.

Pangunahing pahayag ng proyekto ang kakayahang magproseso sa malaking saklaw. Gumamit ang pagsasanay ng humigit-kumulang 30 milyong pahina ng PDF sa halos 100 wika, dagdag pa ang sintetikong datos para sa mga tsart, pormula, at pigura. Sa operasyon, iniulat ng team na kayang magproseso ng iisang Nvidia A100 GPU ng mahigit 200,000 pahina bawat araw. Kayang itaas ito ng kumpol ng 20 katulad na server sa humigit-kumulang 33 milyong pahina bawat araw. Ipinahihiwatig ng mga bilang na ito ang posibilidad ng mabilisang proseso para sa pagdi-digitize ng dokumento at paggawa ng datos para sa pagsasanay sa malaking saklaw.

Paano binabawasan ng pag-convert ng teksto sa mga larawan ang mga token

Mga token, hindi mga salita o karakter, ang binabasa ng mga language model bilang input. Maaaring maging libo-libong token ang isang karaniwang artikulo o ulat. Pinaghahambing ng mga mekanismo ng attention sa karamihan ng transformer ang maraming pares ng token, at mabilis na lumalaki ang kailangang prosesong ito habang humahaba ang mga sequence. Pinapataas ng mahahabang konteksto ang paggamit ng memorya at oras, at nagiging usapin ito ng badyet kapag malakihan na ang operasyon.

Ano ang mga token at context window

Mga bahagi ng wika na nauunawaan ng mga modelo ang mga token. Maaaring isang token lang ang maikling salita, maaaring hatiin sa ilang token ang mas mahabang salita, at binibilang din ang mga bantas. Ang pinakamataas na bilang ng mga token na kayang isaalang-alang ng modelo nang sabay-sabay ang context window. Lumalampas sa limitasyong ito ang maraming file sa totoong mundo, kaya pinuputol ng mga user ang mga dokumento o nagbabayad nang malaki para sa mga modelong kayang humawak ng mas mahabang konteksto.

Bakit mas murang imbakan kaysa teksto ang mga pixel

Ginagawang mas maliit na grid ng mga patch ng mga vision encoder ang isang larawan, saka sinisiksik ang grid na iyon bilang hanay ng vision tokens. Gumagamit ang encoder ng DeepSeek ng compression block upang bawasan ang bilang ng token bago ipasa ang mga feature sa decoder. Inilalarawan sa isang halimbawa sa mga teknikal na tala ang larawang may sukat na 1,024 por 1,024 pixel: magsisimula ito sa 4,096 patch token, saka bababa sa 256 compressed token bago dumaloy sa vision language stack. Kung nasasaklaw ng 256 token na iyon ang diwa ng isang siksik na pahinang mangangailangan sana ng 1,500 o higit pang text token, agad na makikita ang matitipid.

Simple ang kapalit na ito. Sa halip na mag-imbak ng mahabang konteksto bilang mga text token, iniimbak ng system ang mga snapshot bilang siksik na vision tokens, saka muling binubuo ang kahulugan kapag kailangan. Nakatutulong itong mapanatili sa tamang antas ang paggamit ng memorya, napapanatili ang layout at mga diagram, at naiiwasan ang ilan sa mga limitasyon ng mga text tokenizer. Kapalit nito ang dagdag na hakbang sa pag-encode at pag-decode, at unti-unting pagbaba ng katumpakan sa napakataas na compression ratio.

Sa loob ng modelo: DeepEncoder at ang decoder

Pinagsasama ng DeepEncoder ang dalawang kilalang ideya: lokal na pag-unawa at malawakang pag-unawa. Gumagamit ito ng Segment Anything Model backbone para tukuyin ang maliliit na bahagi at gilid, at ng CLIP-style module para sa mas malawak na semantikong layout. Nasa pagitan ng mga ito ang convolutional compressor na lubhang nagpapababa sa bilang ng vision tokens bago ipadala ang mga ito sa language stack. Sinusuportahan ng encoder ang maraming resolution mode, kaya maaaring magtakda ang mga user ng token budget na angkop sa komplikasyon ng bawat pahina. Kaunting token lang ang kailangan ng mga simpleng slide. Maaaring mangailangan naman ng mas marami ang masisikip na pahina ng balita o siksik na siyentipikong pigura.

Isa itong Mixture of Experts language model na decoder, na nakabatay sa disenyong may tatlong bilyong parameter at humigit-kumulang 570 milyong aktibong parameter kada token. Tinutulungan ng expert routing ang modelo na magtuon sa iba’t ibang uri ng nilalaman nang hindi kailangang gamitin ang buong tatlong bilyong parameter para sa bawat token. Nakatitipid ito sa computation habang napapanatili ang mataas na kalidad. Kayang maglabas ng payak na teksto ang system, panatilihin ang istruktura bilang Markdown, at kumuha ng datos mula sa mga talahanayan at tsart sa mga format na madaling basahin ng makina. Sinusuportahan nito ang multilingual OCR at kaya nitong bigyang-kahulugan ang mga diagram, estrukturang kemikal, at heometrikong pigura.

Kabilang sa mga preset na configuration ang Tiny, Small, Base, at Large, pati ang dynamic mode para sa napakakumplikadong mga pahina. Binabalanse ng mga preset ang laki ng larawan at bilang ng token. Inirerekomenda ng DeepSeek na magsimula sa Small para sa karaniwang mga pahina, saka lamang lumipat sa mas mataas na setting kung siksik ang nilalaman o mahirap ang layout.

Ano ang ipinakikita ng mga benchmark at bilang ng katumpakan

Kapaki-pakinabang lamang ang compression kung maibabalik ng decoder ang teksto nang tumpak. Sa compression ratio na mas mababa sa sampung beses, nag-uulat ang DeepSeek ng humigit-kumulang 97 porsiyentong katumpakan sa mga pagsubok sa pag-decode. Bumaba ito sa halos 60 porsiyento sa compression na humigit-kumulang dalawampung beses. Nagpapakita rin ang team ng mga halimbawang kumakatawan ang 100 vision token sa mga dokumentong mangangailangan sana ng 700 hanggang 800 text token, habang nananatili sa halos 97 porsiyento ang katumpakan sa isang nakatuong benchmark. Tugma ang mga bilang na ito sa pahayag na pinakamainam ang balanse ng matitipid at katumpakan sa katamtamang compression.

Sa OmniDocBench, isang karaniwang pagsubok sa pag-unawa ng dokumento, nahihigitan ng modelo ang mga kilalang OCR system habang mas kaunting token ang ginagamit. Nag-iiba ang pangangailangan sa token ayon sa kategorya ng dokumento. Maaaring humigit-kumulang 64 vision token kada pahina ang kailangan ng mga slide at payak na brochure. Maaaring mangailangan naman ng ilang daan ang mga magasin o pahayagang maraming kolum at larawan. Maaaring panatilihin o alisin ng system ang format, depende sa mga setting ng user.

Mataas ang itinakdang pamantayan sa mga sukatan ng operasyon. Binanggit ng team ang pagproseso ng mahigit 200,000 pahina bawat araw gamit ang iisang Nvidia A100 card, at humigit-kumulang 33 milyong pahina bawat araw sa kumpol ng 20 server. Makukuha ang code para sa pagsasanay at inference, pati ang model weights, sa ilalim ng maluwag na lisensiya. Hinihikayat ng kombinasyong ito ang mabilisang pagsubok sa mga kapaligiran ng pananaliksik at produksyon.

Posibleng epekto nito sa gastos, memorya, at disenyo ng produkto para sa AI

Maraming produktong AI ang nahihirapan kapag humahaba ang mga usapan o sunod-sunod na dokumento. Nagbibigay sa mga modelo ng mas murang patong ng memorya ang pag-iimbak sa naunang konteksto bilang vision tokens. Maaaring ibuod o isiksik ng isang system ang mga naunang palitan bilang mga larawan, saka i-decode ang mga detalye kapag kailangan lamang. Pinananatili nitong maikli ang aktibong konteksto ng teksto habang napapanatili ang kakayahang balikan ang mga katotohanan, citation, at layout mula sa mga naunang yugto. Nakatutulong din ito sa mga modelo na humawak ng mga pahinang may komplikadong talahanayan o matematika na hindi mahusay napoproseso ng mga tradisyonal na tokenizer.

Para sa mga user, nagbubukas ito ng mga praktikal na workflow. Kayang magbasa ng assistant ng buong PDF, kontrata, at spreadsheet, magtago ng siksik na memorya, at ibalik ang eksaktong mga seksyon kasama ang istruktura ng mga ito kapag hiniling. Nagiging madali ang pagkopya ng mga hilera mula sa talahanayan o pagkuha ng caption ng pigura dahil muling binubuo ng decoder ang istruktura, hindi lang ang mga payak na karakter. Ipinahihiwatig din nito ang mahusay na enterprise search na nag-i-index ng mga siksik na snapshot ng pahina at nagde-decode ng mga sipi kapag kailangan.

Mahalaga ang throughput para sa mga gumagawa ng sistema at mananaliksik. Kayang gumawa ng system ng malalaking training corpus para sa mga language at vision model, na nagpoproseso ng daan-daang libong pahina kada GPU bawat araw. Nakatutulong ang bilis na ito sa paggawa ng supervised data sa mas mababang gastos. Maaaring makakita ng mas mabilis na proseso ng pagdi-digitize at mas mahusay na pagpapanatili ng istruktura ang mga industriyang umaasa sa mga tsart at form, gaya ng pananalapi, pangangalagang pangkalusugan, at agham. Kailangan pa ring mag-ingat kapag ginagamit sa susunod na pagsasanay ang mga compressed output, dahil maaaring maging maingay na label sa malaking saklaw ang maliliit na pagkakamali sa pag-decode.

Mga limitasyon, panganib, at tanong na hindi pa nasasagot

Mas kaunting token ang kailangan sa mas mataas na compression, pero bumababa ang katapatan ng resulta. Sa compression na humigit-kumulang dalawampung beses, bumababa sa halos 60 porsiyento ang iniulat na katumpakan. Tinatanggap ng maraming gawain ang maliliit na pagkakamali. Pero nangangailangan ng halos perpektong pagbabalik ang iba, gaya ng mga pangalan, numero, at sugnay sa batas. Kakailanganin ng mga user ang mga patakarang nagtatakda ng mas mababang compression para sa mahahalagang pahina at naglalaan ng matinding compression para sa kontekstong hindi nangangailangan ng eksaktong kopya.

May tanong din tungkol sa pangangatwiran. Mahusay mangatwiran ang mga modelo gamit ang text token dahil sa ganitong paraan sila sinanay. Iba ang likas na pagkiling ng vision tokens. Kailangang buuin muna ng decoder ang teksto bago mangatwiran. Maaaring makaapekto ang dagdag na hakbang na ito sa mga gawaing umaasa sa mahahabang sunod-sunod na hakbang ng pag-iisip. Dapat subukan ng mga team ang multi-step reasoning kapag nasa likod ng patong ng larawan ang mahahalagang konteksto, at isaalang-alang ang mga alternatibo para sa mga gawaing nangangailangan ng mataas na katumpakan.

Mahalaga pa rin ang latency at pagpaplano ng imprastraktura. Nagdaragdag ng trabaho ang mga hakbang sa pag-encode at pag-decode. Lumilitaw ang matitipid kapag lumalaki ang mga dokumento o humahaba ang mga usapan. Dapat sukatin ng mga deployment ang aktuwal na oras, memorya, at gastos sa iba’t ibang uri ng dokumento upang magtakda ng mga limitasyon kung kailan dapat mag-compress at kung kailan dapat ipasa ang hilaw na teksto. Nagbabago rin ang mga format ng imbakan. Pinapalitan ng mga larawan o tensor na kahawig ng larawan ang mga hilaw na text file, na maaaring makaapekto sa mga retrieval system at proseso ng pagsunod sa mga regulasyon.

Nararapat bigyang-pansin ang privacy at seguridad. Hindi inaalis ng pag-compress ng mga sensitibong file bilang mga larawan o vision tokens ang panganib. Dapat pa ring ipatupad sa compressed store ang mga kontrol sa pag-access, encryption, at audit trail. Magiging hamon pa rin para sa modelo ang ilang dokumento, gaya ng mga scan na mababa ang resolution o sulat-kamay na magulo. Matalino pa rin ang paggamit ng dynamic mode selection at pagsusuri ng tao para sa mahahalagang workflow.

Paano subukan ang DeepSeek OCR ngayon

Nagbibigay ang pahina ng proyekto sa Hugging Face ng mga model card, tala para sa mabilisang pagsisimula, at mga download. Nasa GitHub din ang code at weights sa ilalim ng maluwag na lisensiyang sumasaklaw sa akademiko at komersiyal na paggamit. Maaaring magsimula rito ang mga developer: pahina ng modelo sa Hugging Face at dito: repository sa GitHub.

Nakasaad sa reference setup ang Python 3.12.9 at CUDA 11.8, kasama ang mga dependency na PyTorch, Transformers, Tokenizers, Einops, Addict, Easydict, at Flash Attention. Inirerekomenda ang Nvidia GPU para sa mas mabilis na pagproseso. Nagbibigay-daan ang mga preset mode na ipagpalit ang detalye at gastos. Para sa karaniwang dokumento sa negosyo, makatuwirang panimulang opsiyon ang Small mode. Maaaring makinabang ang masisikip na siyentipiko o legal na pahina sa mas mataas na resolution o sa dynamic mode.

Karaniwang kino-convert muna ang PDF bilang mga larawan ng bawat pahina, ipinapasok ang bawat pahina sa DeepEncoder gamit ang piniling resolution, at saka dine-decode ng language model ang mga nagresultang vision token. Maaaring payak na teksto ang mga output para sa paghahanap o Markdown na nagpapanatili sa mga talahanayan at heading ng seksiyon. May mga script para sa batch processing at mga tip sa throughput sa repository ng GitHub. Dapat subaybayan ng mga team ang katumpakan kapag itinataas ang compression ratio at panatilihin sa konserbatibong mga setting ang mahahalagang pahina.

Mahahalagang punto

• Isinisiksik ng DeepSeek-OCR ang mahahabang teksto sa pamamagitan ng pag-iimbak sa mga ito bilang mga larawan, saka kinukuha muli ang nilalaman kapag kailangan gamit ang decoder.
• Bumababa nang humigit-kumulang pito hanggang dalawampung beses ang paggamit ng token, depende sa mga setting at komplikasyon ng dokumento.
• Humigit-kumulang 97 porsiyento ang iniulat na katumpakan ng pag-decode sa compression na halos sampung beses, at mga 60 porsiyento sa compression na humigit-kumulang dalawampung beses.
• Pinagtatambal ng arkitektura ang DeepEncoder at isang Mixture of Experts decoder na nag-aaktiba ng humigit-kumulang 570 milyong parameter kada token.
• Mula Tiny hanggang Large ang mga mode, na may dynamic na opsiyon para sa napakakumplikadong mga pahina. Nagbibigay-daan ito sa mga user na magtakda ng tiyak na token budget.
• Mahusay ang resulta sa mga benchmark sa OmniDocBench habang mas kaunting token ang ginagamit kumpara sa mga popular na OCR baseline.
• Kabilang sa mga pahayag tungkol sa throughput ang pagproseso ng mahigit 200,000 pahina bawat araw gamit ang iisang Nvidia A100 GPU at humigit-kumulang 33 milyong pahina bawat araw sa kumpol ng 20 server.
• Kabilang sa mga nakabalangkas na output ang mga talahanayan sa Markdown at datos ng tsart, at sinusuportahan din ang mga diagram, pormula, at maraming wika.
• Makukuha ang open-source code at weights sa Hugging Face at GitHub sa ilalim ng maluwag na lisensiya.
• Kabilang sa pinakamainam na gamit ang mas murang memorya para sa mahahabang konteksto, malawakang pagdi-digitize ng dokumento, at paggawa ng datos para sa pagsasanay. Para sa mga gawaing kritikal ang katumpakan, kailangang maingat na piliin ang mga setting.