跳到正文
arXiv · 机器人与计算机视觉· Shubh Garg, Divyansh Pandey, Vedant Khandelwal, Niyati Rawal, Amit Sheth·· 16 天前AI 评分58

具身视觉语言模型是否真的使用其场景图记忆?

Do Embodied VLMs Actually Use Their Scene-Graph Memory?

AI 导读

针对具身智能体在路线问答任务中如何有效利用场景图记忆的问题,本文提出一种图交换测试法来诊断视觉语言模型(VLM)是否真正依赖该记忆。研究发现在两条至七条房间的路线基准上,文本形式能显著提升回答准确率,而标准池化或延迟融合方式下的图编码则无法被模型利用;仅当为每个节点分配独立输入 token 时才能部分恢复效果。

来源:arXiv · 机器人与计算机视觉 · arxiv.org