跳到正文
arXiv · 机器人与计算机视觉· Haopeng Jin, Wenlong Zhao, Tao Yu, Tiankun Yang, Zhenyu Guan, ShiQuan Dong, Yujia Yang, Shani Ye, Chubin Chen, Hongzhu Yi, Jinwen Luo·· 2026-10-16精选AI 评分82

HIMMEL:分层交错多流运动编码用于长视频理解

HIMMEL: Hierarchical Interleaved Multi-stream Motion Encoding for Long Video Understanding

AI 导读

针对多模态大模型处理长视频时解码成本高、Token 增长快及稀疏采样下运动感知弱的问题,论文提出 HIMMEL 框架。该框架将少量语义锚点帧路由至昂贵的视觉骨干网络以定位物体身份与场景布局,而利用轻量级压缩域三流适配器对更密集的帧间间隔编码,从运动向量图、残差图和 I 帧上下文分支中提取运动证据并转化为对齐的运动 Token。

推荐理由

提出分层交错多流运动编码框架,在大幅减少上下文 Token 的同时提升长视频理解性能。

来源:arXiv · 机器人与计算机视觉 · arxiv.org