跳到正文
arXiv · 机器人与计算机视觉· Junjie Ye, Yiqi Zhao, Muchen Xu, Celina Shiyu Wang, Hao Dong, Ruohai Ge, Rong Xue, Benjamin J Kolligs, Aditya Dutt, Sasanka Nagavalli, Nassim A. Samad, Gaurav S. Sukhatme, Jyotirmoy V. Deshmukh, Yue Wang, Yuliang Guo·· 12 小时前AI 评分74

Z-sight:统一视觉语言动作与世界建模的机器人基础模型

$Z$-sight: Unifying Vision-Language-Action and Latent World Modeling

AI 导读

论文介绍 Z-sight,一种耦合视觉语言动作(VLA)与生成式潜在世界模型的统一机器人基础模型。该方法在 VLM 感知的视觉 token 空间直接预测未来,通过混合 Transformer 架构联合去噪未来空间 token 和动作,避免了像素重建或外部编码器。

来源:arXiv · 机器人与计算机视觉 · arxiv.org