跳到正文
arXiv · 机器人与计算机视觉· Jinhao Zhang, Yushen Zuo, Ke Rui, Weitao Zhou, Haibao Yu, Honglong Tian, Xiaoheng Ma, Jie Mei, Jiawei Wang, Minglei Li·· 12 小时前AI 评分68

CoT-WAM:基于计划潜变量的视觉语言模型与世界动作模型协同训练

CoT-WAM: Collaborative Training of Vision-Language Models and World-Action Models via Plan Latents

AI 导读

针对现有世界动作模型缺乏语义能力的挑战,本文提出 CoT-WAM 框架,通过可学习嵌入交换信息并采用两阶段策略实现 VLM 与 WAM 的联合优化。该方法在 LIBERO、CALVIN 和 RoboCasa-Kitchen 等基准上达到最先进性能,并在未微调情况下展现出更强的零样本泛化能力,同时在 RoboCasa365 上改善了长程规划效果。

来源:arXiv · 机器人与计算机视觉 · arxiv.org