跳到正文
arXiv · 机器人与计算机视觉· Yiqing Shen, Aiza Maksutova, Chenjia Li, Mathias Unberath·· 14 天前AI 评分73

基于数字孪生的反事实世界模型:让视频扩散模型回答“如果”问题

Counterfactual World Models via Digital Twin-conditioned Video Diffusion

AI 导读

针对现有世界模型仅能预测事实性观测的局限,该研究提出 CWMDT 框架,通过构建场景的数字孪生(结构化文本表示)并引入大语言模型推理干预传播路径,使标准视频扩散模型能够生成反事实视觉序列。在两个基准测试中,该方法实现了最先进水平性能,表明数字孪生表示可为基于前向仿真的世界模型提供强有力的控制信号。材料为预印本版本,未报告真实机器人部署结果或具体实验条件细节。

来源:arXiv · 机器人与计算机视觉 · arxiv.org