Henry
2026.01.29
1 分钟阅读

DeepSeek发布全新OCR模型DeepSeek-OCR 2,主打PDF文档精准转换Markdown。

核心突破:弃用前代CLIP组件,改用轻量化Qwen2-0.5B语言模型构建DeepEncoder V2,实现根据图像语义动态重排视觉标记(Visual Tokens)。

技术原理:

  1. 双流注意力机制:视觉标记采用双向注意力保留全局建模能力;因果流查询采用因果注意力,实现语义重排
  2. 两阶段级联推理:第一阶段在编码器内完成逻辑理顺,第二阶段进行自回归推理
  3. 视觉分词器采用80M参数的SAM-base架构,结合两层卷积层,输出维度优化至896,实现16倍标记压缩
  4. 灵活裁剪方案:全局视图(1024×1024)生成256个查询标记,局部裁剪(768×768)每个144个查询标记,总标记数256-1120

性能表现:在OmniDocBench v1.5基准上提升3.73%,仅用轻量模型即达到媲美Gemini-3 Pro效果。

作者团队:魏浩然、孙耀峰、李宇琨。

版权声明

本文为博主原创文章,遵循 CC BY-NC-SA 4.0 许可协议。 转载请注明出处:http://localhost/blogs/ai-daily-2026-01-29

分享这篇文章