跳到正文
arXiv · 机器人与计算机视觉· Rongxing Ding, Hongyu Qu, Kehong Wu, Xudong Wang, Fan Zhang, Xinguang Xiang, Xiangbo Shu·· 20 天前精选AI 评分78

HiFOR:面向视觉语言动作模型的动作引导分层前瞻与世界对齐研究

HiFOR: Hierarchical Foresight with Action-Guided World Grounding for Vision-Language-Action Model

AI 导读

该论文针对现有方法将短期动态与长期任务目标割裂、且未充分考虑预测未来与当前动作需求相关性的问题,提出了 HiFOR 框架。该方法通过层级依赖掩码联合预测短期状态演化、语义里程碑及最终目标状态;利用结构感知隐式世界建模沿时间、视角和空间维度组织未来潜在表示以支持细粒度检索;并在去噪过程中基于演化的动作表示自适应检索相关信息以指导动作生成。实验在两个仿真基准和六个真实机器人操作任务上验证了有效性。

推荐理由

提出分层前瞻框架,通过层级依赖掩码统一预测短期状态与长期目标,并结合结构感知隐式世界建模实现动作引导的未来信息检索。

来源:arXiv · 机器人与计算机视觉 · arxiv.org