衡宇
2026.03.22
1 分钟阅读

研究背景:

真实世界中的对象包含丰富的类别层次,形成类别树结构(如蓝锥嘴雀:动物界-脊索动物门-鸟纲-雀形目-唐纳雀科-锥嘴雀属-蓝锥嘴雀)。现有生成式大模型虽在细粒度视觉识别上表现优异,但缺乏类别树知识,无法从粗到细实现每一层精准识别。

面临三大挑战:

  1. 同层判别性差:粗粒度类别层次类内差异大,细粒度层次类间差异小,两者矛盾导致难以区分每一层的相似类别。
  2. 跨层一致性差:缺乏类别树知识,难以保证相邻层次预测满足父子节点关系。
  3. 新类泛化性差:模型倾向挖掘细粒度子类差异,忽略共性总结,难以识别未见新类别。

技术方案:

团队提出分类感知表征对齐方法TARA,包含两部分:

  1. 分层视觉表征对齐:利用经分层类别标签训练的生物基础模型(如BioCLIP、BioCLIP2、BioCAP)提供分类学信息的监督信号,促进大模型提取具备完整类别树结构的视觉表征。
  2. 自由粒度类别表征对齐:将大模型输出答案的首个词元表征与经生物基础模型编码后的真实类别表征对齐,促进大模型根据指定层次,将具备完整类别树结构的视觉表征映射为对应层次的类别名称。

实验结果表明,该方法不仅增强现有大模型的细粒度视觉识别能力,还能从粗到细提升类别树上每一层的识别准确率。

版权声明

本文为博主原创文章,遵循 CC BY-NC-SA 4.0 许可协议。 转载请注明出处:http://localhost/blogs/ai-daily-2026-03-22

分享这篇文章