关闭广告

DeepSeek开源新模型:单张A100日处理可超20万页数据

第一财经资讯2025-10-21 00:00:01334人阅读

2025.10.20


本文字数:1556,阅读时长大约3分钟

作者 |第一财经 刘晓洁

DeepSeek又发新模型了,这次是一个OCR 模型。10月20日,DeepSeek在Github开源了这一新模型,并发布《DeepSeek-OCR:Contexts Optical Compression》(《DeepSeek OCR:上下文光学压缩》)论文,解释了这一成果。


论文提到,当前的大语言模型在处理过程中面临着重大的计算挑战,文本内容过长,因此团队探索了一种具有潜力的解决方案:利用视觉模态作为文本信息的高效压缩介质。

具体来说,这一OCR模型可以将文本压缩成视觉模态,所谓“一图胜千言”,这样可以消耗更少的Token,测试显示,通过文本到图像的方法可以实现近 10 倍无损上下文压缩,OCR 准确率还能保持在 97% 以上。

论文提到,在实际应用中,单张A100-40G显卡,可支持每日20万页以上的大语言模型/视觉语言模型训练数据生成。

简单来看,团队的思路是,既然一张图就能包含大量文字信息,同时用的 Token 更少,那就可以将文本转成图像,这就是题目中提到的“光学压缩”,用视觉模态压缩文本信息。这一结果显示出该方法在长上下文压缩和大模型的记忆遗忘机制等研究方向上具有相当潜力。

DeepSeek-OCR由两个核心组件组成,其中DeepEncoder(编码器)负责图像特征提取和压缩,DeepSeek3B-MoE(解码器)负责从压缩后的视觉 Token 中重建文本。

解码器用的是 DeepSeek-3B-MoE 架构。虽然只有 3B 参数,但采用了 MoE(混合专家)设计,64 个专家中激活 6 个,再加 2 个共享专家,实际激活参数约 5.7 亿。这也让模型既有 30 亿参数模型的表达能力,又保持了5亿参数模型的推理效率。

实验数据显示,当文本 token 数量在视觉 token 的 10 倍以内(即压缩率小于10倍)时,模型的解码(OCR)精度可达 97%;即使在压缩率达到 20倍的情况下,OCR 准确率仍保持在约60%。

DeepSeek 团队在论文里还提出了具有想象力的未来——用光学压缩模拟人类的遗忘机制。人类的记忆会随时间衰退,越久远的事情记得越模糊,那是否AI也能这样?于是,团队设计将更久远的上下文,逐步缩小渲染图像的大小,以进一步减少token消耗。随着图像越来越小,内容也越来越模糊,最终达到“文本遗忘”的效果,就像人类记忆的衰退曲线一样。

论文中提到,这还是个需要进一步调查的早期研究方向,但这对于平衡理论上无限的上下文信息是一个很好的方法,如果真能实现,对于处理超长上下文将是个巨大突破。因此,这次发布的DeepSeek-OCR 表面上是个 OCR 模型,但从另一个角度来看,其研究代表了一个有前景的新方向。

有网友认为,这是一步好棋,人类就是阅读视觉文字,同时理解物理世界的时空概念,如果能统一语言和视觉,可能通向超级智能。

这一OCR模型发布不久就在GitHub获得超过1400颗星星。从论文署名来看,这一项目由 DeepSeek 三位研究员 Haoran Wei、Yaofeng Sun、Yukun Li 共同完成。行业消息显示,其中一作 Haoran Wei 曾在阶跃星辰工作过,曾主导开发了旨在实现“第二代 OCR”的 GOT-OCR2.0 系统,因此由其主导 DeepSeek 的 OCR 项目也在情理之中。

不过,DeepSeek迟迟不发R2这样的新模型,市场已经有一些声音认为其落后了,也有观点认为,DeepSeek目前只是在修炼“内功”,为下一代模型蓄力。

微信编辑| 苏小

第一财经持续追踪财经热点。若您掌握公司动态、行业趋势、金融事件等有价值的线索,欢迎提供。专用邮箱:bianjibu@yicai.com

(注:我们会对线索进行核实。您的隐私将严格保密。)

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

世体:弗里克奉行父亲式执教策略,阿劳霍成最新成功案例

懂球帝 浏览 77 02-05

在特斯拉model Y和小米 YU7里二选一,怎么选?

蜗牛车志V 浏览 89 01-20

《一路繁花2》要封神?5位综艺强者登场,预告连刷4遍不过瘾

娱乐圈笔娱君 浏览 239 10-17

里瑟:利物浦的排名会比曼联更高,但后者也需要重返英超前列

懂球帝 浏览 141 12-11

社交神器?赛博宠物?Vbot维他机器狗开售,价格不过万

南方都市报 浏览 193 12-24

首批绿色普惠金融债券指数基金落地,国富徐荔蓉:发展空间值得期待

中国基金报 浏览 2580 06-03

全球首份动力电池循环经济研究报告发布

网易汽车 浏览 90 01-25

满屏爱张力,现偶活过来了!

吐槽电影院 浏览 144 12-22

深公司早报丨比亚迪前五月累计产量129万辆、顺丰控股赴港上市新进展、华侨城收监管函

21世纪经济报道 浏览 16263 06-03

三瑞智能实控人一股独大,国泰海通前员工火速入职,子公司与大客户疑似“隐秘关联”|读懂IPO

时代周报 浏览 103 01-07

又飒又美的“大女人”穿搭,适合40多岁女人借鉴,谁穿谁优雅

静儿时尚达人 浏览 2611 06-03

新能源购置税“末班车”,上还是不上?

浙江车网 浏览 150 11-10

调查人员:"北溪"管道袭击或由与乌方有关人员长期策划

国际在线 浏览 2566 07-09

戴奇:阿森纳不只靠定位球得分;与津琴科沟通过提前结束租借

懂球帝 浏览 97 01-16

AI应用“牛市叙事”再强化! Cloudflare(NET.US)销售额大增31% 股价狂飙至历史新高

智通财经 浏览 384 11-01

白玉兰奖争议不断!《繁花》三女主报名破坏规则,网友质疑玩特权

萌神木木 浏览 2600 06-03

公安分局公示的三个监督电话打不通 官方回应

大风新闻 浏览 105 01-08

万科:董事长辛杰辞职

网易财经 浏览 229 10-13

女子家门口遇害案被告家属首发声:女儿带刀是为"防身"

南方都市报 浏览 162 12-16

美妆胶卷 | 从未停止的迭代革新,愈久愈强大的健康功效。

伊周潮流 浏览 2604 06-03

长安汽车辟谣“取消年终奖”,或发4.3月薪+3000

盖世汽车 浏览 102 01-07
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除沪ICP备2023013132号-2