arXiv · 机器人与计算机视觉· Chenhao Zheng, Jieyu Zhang, Jianing Zhang, Weikai Huang, Ashutosh Kumar, Quan Kong, Oncel Tuzel, Chun-Liang Li, Ranjay Krishna·· 29 天前精选AI 评分82
TrajTok:学习轨迹 Token 提升视频理解能力
TrajTok: Learning Trajectory Tokens enables better Video Understanding
AI 导读
针对视频模型中 Patch 分词冗余且效率低的问题,论文提出 TrajTok 模块,通过端到端联合训练实现动态粒度视频分词,无需依赖外部分割与追踪管道。该模块包含统一的分段器,能在单次前向传播中直接生成物体轨迹,优先适配下游任务而非追求像素级精度。
推荐理由
提出 TrajTok 模块,通过端到端联合训练实现动态粒度视频分词,在长视频推理与检索基准上优于现有方法。
来源:arXiv · 机器人与计算机视觉 · arxiv.org