arXiv · 机器人与计算机视觉· Ke Yang, Zhenyu Zhang, Jun Li·· 17 天前精选AI 评分78
GenDSR:从视频生成模型转移表征以进行动态空间推理
GenDSR: Transferring Representations from Video Generation Models for Dynamic Spatial Reasoning
AI 导读
GenDSR 是一个框架,它将视频生成模型(VGM)的中间表征转移给视觉语言模型(VLM),用于解决 VLM 在保持场景状态的同时追踪空间关系演变的挑战。该框架构建了两个互补分支:一个保留整体生成上下文的原始分支和一个强调时间变化的增量分支,并通过任务条件化的逐 token 门控融合信号并注入原生视觉表征。
推荐理由
该工作提出将视频生成模型的中间表征迁移至视觉语言模型,在动态空间推理基准上取得新最优结果。
来源:arXiv · 机器人与计算机视觉 · arxiv.org