跳到正文
arXiv · 机器人与计算机视觉· Yixue Zhang, Wenke Xia, Kun Wu, Wenbo Yu, Pei Ren, Junnan Nie, Di Hu, Zhengping Che, Chang Liu·· 20 天前精选AI 评分82

从推理到行动:基于后果的对齐框架用于视觉语言动作模型

From Reasoning to Action: Consequence-Grounded Alignment for Vision-Language-Action Models

AI 导读

论文介绍 CoRAct 框架,旨在解决现有具身智能模型中推理与动作生成仅隐式关联的问题。该方法将运动指定和路径点作为可验证信号,利用混合 Transformer 架构联合建模推理、动作生成及未来预测。通过在动作噪声空间进行奖励引导的优化,使生成的动作与预期后果显式对齐。实验在 RoboCasa、VLABench 及真实操作任务中均显示出优于强基线的效果,并支持零样本适应新场景。

推荐理由

提出 CoRAct 框架,通过奖励引导优化将 VLA 模型的推理与动作显式对齐,提升任务成功率与泛化能力。

来源:arXiv · 机器人与计算机视觉 · arxiv.org