arXiv · 机器人与计算机视觉· Daeun Lee, Subhojyoti Mukherjee, Branislav Kveton, Ryan A. Rossi, Viet Dac Lai, Seunghyun Yoon, Trung Bui, Franck Dernoncourt, Mohit Bansal·· 13 天前AI 评分55
StreamGaze:首个用于评估流式视频中注视引导时序推理与主动理解的基准
StreamGaze: Gaze-Guided Temporal Reasoning and Proactive Understanding in Streaming Videos
AI 导读
本文提出了 StreamGaze 基准,这是首个专门设计用于评估多模态大语言模型(MLLMs)在流式视频场景中利用人类注视信号进行时序和主动理解能力的工具。该基准包含过去、现在及未来的主动任务,通过自研的注视 - 视频问答生成管线对齐第一人称视频与原始注视轨迹。
来源:arXiv · 机器人与计算机视觉 · arxiv.org