arXiv · 机器人与计算机视觉· Yige Liu, Jingcheng Huang, Hao Sun, Min Li, Zhouping Yin·· 12 小时前AI 评分58
Emo-H2A:基于大模型隐藏状态的机器人面部直接驱动方法
Emo-H2A: Driving a Facial Robot Directly from LLM Hidden States at Token Rate
AI 导读
针对大语言模型赋予机器人流畅语音但面部表情难以实时跟随对话的差距,论文提出了 Emo-H2A 范式,直接从 LLM 自回归解码过程中的隐藏状态驱动面部机器人。该方法实例化为无需训练的 EmoManifold,从每个隐藏状态提取 VAD 坐标并投影以在 token 粒度驱动面部。实验显示,该方法在回复内的表情方向匹配率达到 87.5%,首动延迟为 0.96 秒,显著优于基于整轮对话标签的传统方法。
来源:arXiv · 机器人与计算机视觉 · arxiv.org