跳到正文
arXiv · 机器人与计算机视觉· Mohammad Khoshnazar, Andrew Melnik, Michael Beetz·· 23 天前AI 评分72

LLM 引导的未来假设用于多步机器人操作中的视域感知探索

LLM-Guided Future Hypotheses for Horizon-Aware Exploration in Multi-Step Robot Manipulation

AI 导读

针对多步机器人操作中场景演化不确定性问题,研究提出通过未来经验条件化(FEC)接口,利用 LLM 推理器、数字孪生和扩散模型生成短视界未来视频作为控制与强化学习微调的结构化先验。在 RoboCasa 和 CALVIN 仿真环境中对比了无未来、生成未来及错误未来等条件下的策略表现,发现生成的未来视频能提升性能而失配的未来会退化效果,且 BC+RL 架构综合表现最强。

来源:arXiv · 机器人与计算机视觉 · arxiv.org