Henry
2026.01.29
1 分钟阅读
DeepSeek发布全新OCR模型DeepSeek-OCR 2,主打PDF文档精准转换Markdown。
核心突破:弃用前代CLIP组件,改用轻量化Qwen2-0.5B语言模型构建DeepEncoder V2,实现根据图像语义动态重排视觉标记(Visual Tokens)。
技术原理:
- 双流注意力机制:视觉标记采用双向注意力保留全局建模能力;因果流查询采用因果注意力,实现语义重排
- 两阶段级联推理:第一阶段在编码器内完成逻辑理顺,第二阶段进行自回归推理
- 视觉分词器采用80M参数的SAM-base架构,结合两层卷积层,输出维度优化至896,实现16倍标记压缩
- 灵活裁剪方案:全局视图(1024×1024)生成256个查询标记,局部裁剪(768×768)每个144个查询标记,总标记数256-1120
性能表现:在OmniDocBench v1.5基准上提升3.73%,仅用轻量模型即达到媲美Gemini-3 Pro效果。
作者团队:魏浩然、孙耀峰、李宇琨。
