随着视觉语言模型(VLM)推理能力增强,一个隐蔽问题浮现:很多错误不是推理没做好,而是「看错了」。模型能正确识别对象、理解问题,却因捕捉错误视觉证据得出错误答案。
现有方法在推理阶段通过生成视觉提示或调用外部工具来临时对齐证据,但存在局限:视觉线索形式受限、高度依赖具体任务、推理开销大。更根本的问题是:如果模型始终需要外部提醒才知道「看哪儿」,它是否真的理解了视觉世界?
微软亚洲研究院与清华大学提出BiPS方法,从训练阶段就教会模型:面对特定问题,哪些视觉细节必须关注,哪些可以忽略。通过系统性地对齐问题与视觉证据,促使模型内化「带着问题去看图」的核心能力。
BiPS核心是「一拉一推」双重感知塑形机制:
「拉」- 构建证据保留视图:系统性剔除干扰,仅保留回答必需的视觉元素,确保模型看到完整证据链。
「推」- 构建证据消融视图:精准移除决定答案的关键细节(如某条折线),训练模型识别这些细节对答案的决定性作用。
实验表明,这种「看哪儿」的能力具有跨任务迁移性,为构建更可靠、通用的视觉理解系统开辟新路径。
