arXiv · 机器人与计算机视觉· Kiet T. Nguyen, Hanbo Shim, Jinwoo Kim, Seunghoon Hong·· 8 天前精选AI 评分82
基于多视图关系蒸馏的视觉 - 语言模型空间推理研究
Multi-View Relational Distillation for Spatial Reasoning with Vision-Language Models
AI 导读
针对视觉 - 语言模型在具身智能和自动驾驶中存在的几何脆弱性问题,本文提出多视图关系蒸馏方法。该方法通过蒸馏跨视图的 patch-wise 余弦相似度而非教师特征本身,在编码几何对应关系的同时保留预训练对齐。实验表明,该方法在物体定位、密集描述等任务上优于监督微调与特征蒸馏,且参数更少、延迟更低。代码已开源。
推荐理由
提出多视图关系蒸馏方法,在提升视觉空间推理能力的同时保持语言对齐,且参数开销低于特征融合。
来源:arXiv · 机器人与计算机视觉 · arxiv.org