Encoded but Not in Control:揭示视觉语言机器人策略中的 grounding gap
该论文通过场景保持的指令干预实验,发现 VLA 和世界动作模型(WAM)在仿真与实机中虽能成功执行任务,却常忽略用户指令而选择场景偏好的原始目标。线性探针显示指令被编码但难以控制动作生成,注意力分析证实了视觉 grounding 不匹配问题。研究提出了一套诊断框架,为衡量策略是否真正遵循意图变化提供了具体标准。
推荐理由:研究揭示 VLA 与 WAM 存在指令编码与控制脱节,提出基于场景干预的诊断框架以评估真实意图遵循能力。