DeepSeek联合北京大学和清华大学在ArXiv发布全新智能体推理框架DualPath，专注于解决长文本推理场景下的I/O瓶颈问题。

核心创新：双路径加载机制

传统架构采用「存储至预填充引擎」单路径模式，所有KV-Cache加载任务集中在预填充引擎的存储网卡上，导致带宽瞬间饱和；而解码引擎的存储网卡却处于闲置状态，造成严重资源错配。

DualPath引入第二条路径——「存储至解码引擎」，允许KV-Cache先加载至解码引擎的缓冲池，再通过高带宽RDMA网络传输至预填充引擎。通过在两条路径间动态分配负载，实现集群存储带宽的全局池化与动态负载均衡。

架构组成：

• 推理引擎：严格区分为预填充引擎(PE)和解码引擎(DE)，每个引擎管理一块GPU
• 流量管理器：负责H2D/D2H拷贝、引擎间传输以及SNIC存储读写
• 中央调度器：实时决策每条请求的路由，实现全局带宽最大化利用

实测性能（660B生产级模型）：

• 离线推理吞吐量提升1.87倍
• 在线服务吞吐量平均提升1.96倍
• 首字延迟(TTFT)大幅优化
• Token间生成速度(TPOT)几乎不受影响

该框架的核心洞见是「KV-Cache的加载不必以预填充为中心」，在智能体应用中对话轮数多、上下文长、KV-Cache命中率高达95%以上的场景下，推理性能瓶颈已从「计算」转移至「数据搬运」。DualPath通过创新架构重新分配网络负载，验证了Bill Dally、Jeff Dean等业界专家强调的「计算是免费的，但数据移动是昂贵的」这一核心观点。