跳到正文
arXiv · 机器人与计算机视觉· Shuang Luo, Yilun Kong, Yunpeng Qing, Yihang Jiao, Zhi Hou, Shunyu Liu, Xiaogang Wang, Dacheng Tao·· 2026-10-09AI 评分35

ACT³:一种融合语义与动力学信息的动作中心三流 Transformer

Rewiring Semantics, Dynamics, and Control: A Simple yet Effective Action-Centric Tri-Stream Transformer

AI 导读

ACT³是一种简单的动作中心三流 Transformer,通过逐层注意力机制将视觉语言模型(VLM)和世界模型(WM)表征融合进控制动作。该架构在保持上下文流独立前向传播的同时,允许两个骨干网络均通过控制监督进行更新。仿真与真实世界机器人操作基准实验表明,ACT³的表现优于其同类方法。

来源:arXiv · 机器人与计算机视觉 · arxiv.org