跳到正文
arXiv · 机器人与计算机视觉· Jin Jiang, Kun Li, Jiancong Ma, Shengcai Liao·· 2026-10-06AI 评分72

Talk, Render, Act:将社交手势与数字面部与同步语音整合用于对话型人形机器人

Talk, Render, Act: Integrating Social Gesture and Digital Face with Synchronized Speech for Conversational Humanoid Robot

AI 导读

该论文提出 TRABot 框架,旨在解决人形机器人交互中语音、面部表情与肢体动作割裂的问题。研究首先构建了基于语义的运动原子库,并引入语义条件组合规划器以协调身体运动与口语响应;随后在物理 G1 人形机器人上部署了流式语音 - 面部 - 身体整合系统,实现了实时多模态交互。定量与定性实验表明,该方法在自然度、表现力和多模态一致性方面优于所有对比条件。

来源:arXiv · 机器人与计算机视觉 · arxiv.org