跳到正文
arXiv · 机器人与计算机视觉· Junseok Ahn, Jaehyun Park, Jeongsoo Choi, Joon Son Chung, Ji-Hoon Kim·· 2026-10-19AI 评分73

JAVIS:面向实时对话智能体的联合音频 - 视觉交互与流式处理框架

JAVIS: Joint Audio-Visual Interaction and Streaming for Real-Time Conversational Agents

AI 导读

该论文提出 JAVIS 端到端流式框架,通过共享大语言模型与联合精炼头实现音视频统一表征生成,显著降低初始延迟并提升口型同步与表情适配性。作者还发布了包含 334 小时数据的合成语料库 JAVIS-Syn,以补充情感丰富的多轮对话数据。材料为预印本版本,未提及同行评审状态或具体部署场景。

来源:arXiv · 机器人与计算机视觉 · arxiv.org