DRILL:通过改进策略而非预测像素来训练世界模型
论文指出当前世界模型多用于预测下一帧像素,但这并非强化学习中想象回放的唯一目的;作者提出 DRILL 框架,利用下游回报信号更新世界模型。实验显示该方法在五个操作仿真器和两个 VLA 骨干上均能提升策略成功率,且能与 RLVR 预训练互补而非竞争。
推荐理由:提出 DRILL 框架,证明以策略效用为目标的世界模型训练优于单纯像素预测,在多个仿真器与 VLA 骨干上提升成功率。
论文指出当前世界模型多用于预测下一帧像素,但这并非强化学习中想象回放的唯一目的;作者提出 DRILL 框架,利用下游回报信号更新世界模型。实验显示该方法在五个操作仿真器和两个 VLA 骨干上均能提升策略成功率,且能与 RLVR 预训练互补而非竞争。
推荐理由:提出 DRILL 框架,证明以策略效用为目标的世界模型训练优于单纯像素预测,在多个仿真器与 VLA 骨干上提升成功率。
论文提出将世界模型集成到视觉语言动作模型(VLAs)以增强策略对未来动态的预测能力。研究通过统一框架系统评估了四种范式:隐式未来对齐、显式未来查询、MoT 未来专家和外部分布预测器,并在域内/外、长视界及真实场景下进行了测试。
推荐理由:该研究通过统一框架系统评估了四种世界模型集成范式,发现解耦的 MoT Future Expert 在跨域鲁棒性上表现优异,且 2D 语义表示具有通用增益。