arXiv · 机器人与计算机视觉· Zijie Xin, Tianyi Wang, Daoze Zhang, Jie Yang, Changli Tang, Qijie Wei, Fengyun Rao, Xirong Li·· 14 小时前AI 评分62
O-IN-Bench:评估多模态大模型理解口语意图的基准
Can Omni-modal LLMs Understand Spoken Intentions?
AI 导读
论文提出 O-IN-Bench 基准,通过包含 1000 个中英文样本的视频数据集,评估多模态大模型对口语请求的理解能力。该基准要求模型观看完整视频并输出文本响应或保持沉默,利用对比样本测试上下文敏感性。结果显示 Gemini3.7-Flash 等强模型在意图识别上表现尚可,但在内容满足度及多人对话场景下得分较低,表明识别请求与满足需求是分离的能力。
来源:arXiv · 机器人与计算机视觉 · arxiv.org