跳到正文
arXiv · 机器人与计算机视觉· Jeremy A. Collins, Seungjae Lee, Rachanon Wachakorn, Krishnan Srinivasan, Animesh Garg, Vitor Campagnolo Guizilini, Paarth Shah·· 22 天前精选AI 评分78

TAPESTRY:一种用于视频生成与机器人控制的单一骨干网络

TAPESTRY: A Single Backbone for Video Generation and Robot Control

AI 导读

论文提出 TAPESTRY 方法,通过 Tokenizing Actions as Video Patches in a Shared Transformer Policy,将预训练视频扩散模型复用于机器人控制策略,无需在推理时进行资源密集的视频生成。

推荐理由

该工作将预训练视频扩散模型复用于机器人策略,无需推理时生成视频即可输出动作序列。

来源:arXiv · 机器人与计算机视觉 · arxiv.org