跳到正文
arXiv · 机器人与计算机视觉· Trong-Thang Pham, Anh Nguyen, Hien Van Nguyen, Ngan Le·· 29 天前AI 评分72

GazeLens:基于简单眼动驱动的自适应 Token 缩减的高效第一人称视频问答

GazeLens for Efficient Egocentric Video Question Answering with Simple Gaze-Driven Adaptive Token Reduction

AI 导读

针对智能眼镜中视觉语言模型受限于计算预算的问题,论文提出 GazeLens 框架,通过 HOG 过渡和图像锐度筛选帧,利用高斯池化生成聚焦与互补摘要,并以轻量门控机制融合为两个 Token。该方法在 StreamGaze 数据集上实现了比全网格及现有 Token 缩减基线更高的宏观与微观准确率,同时降低了输入前向 FLOPs。

来源:arXiv · 机器人与计算机视觉 · arxiv.org