arXiv · 机器人与计算机视觉· Chengqian Ma, Yuanze Zeng, Hongyu Wang, Mingfeng Lin, YiCheng Xiao, Yu Chen, Pengyu Li, WenHao Wang, Yuexiao Ma, Xiawu Zheng, Fei Chao·· 12 小时前AI 评分43
VIVID:超越静态多图推理的视觉多模态大模型
VIVID: Beyond Static Multi-Image Reasoning with Localized Visual Differences and Textual Entity Dynamics in Video MLLMs
AI 导读
VIVID 提出通过帧间 Patch Diffs 和动态 Token 解决视频 MLLM 在有限帧预算下丢失局部运动与事件顺序的问题。该模型仅在冻结的 27B 骨干网络上增加 0.22% 可训练参数,利用 3 fps 池自主规划关键帧并在零额外锚点开销下运行。
来源:arXiv · 机器人与计算机视觉 · arxiv.org