arXiv · 机器人与计算机视觉· Kerui Gu, Xing Fu, Shuoyang Sun, Cheng Peng, Jingru Duan, Huayu Gu, Zhenyu Chen, Jiaxin Huang, Cheng Wen, Rui Zhen, Kairui Chen, Zhihui Peng, Shaoli Huang·· 6 天前AI 评分42
XBot-Omni:具身理解与交互的全模态模型
XBot-Omni: An Omni-Modal Model for Embodied Understanding and Interaction
AI 导读
XBot-Omni 提出 Thinker-Talker-Actor 架构,将全模态范式扩展至机器人肢体运动与面部表情。该模型在七个基准测试中展现了强大的多模态理解能力与自然协调的运动生成效果。研究验证了其直接从全模态输入生成具身多模态响应的能力,实现了从对话交互到物理环境具身通信的延伸。
来源:arXiv · 机器人与计算机视觉 · arxiv.org