arXiv · 机器人与计算机视觉· Geo Ahn, Jiwook Han, Youngrae Kim, Joonseok Lee, Jinwoo Choi·· 14 小时前AI 评分72
EVIDENT:基于实体 grounded 视觉证据的 MLLM 跨域视频时序定位适配
EVIDENT: Routing MLLM Adaptation through Entity-Grounded Visual Evidence for Cross-Domain Video Temporal Grounding
AI 导读
针对多模态大模型微调后在跨域视频时序定位任务中表现下降的问题,本文提出 EVIDENT 参数高效适配框架。该框架利用预训练模型的固有实体注意力能力,通过实体瓶颈适配器、实体绑定蒸馏损失及实体到证据门控机制,将时序定位锚定在显式的视觉实体证据上,而非依赖数据集捷径。实验表明该方法能显著提升跨域鲁棒性并保留领域内性能。
来源:arXiv · 机器人与计算机视觉 · arxiv.org