arXiv · 机器人与计算机视觉· Thinesh Thiyakesan Ponbagavathi, Constantin Seibold, Alina Roitberg·· 9 天前AI 评分72
Not All Layers Are Equal in Image-to-Video Transfer:分层适配器放置策略 STRAP
Not All Layers Are Equal in Image-to-Video Transfer
AI 导读
论文提出 STRAP 方法,针对图像基础模型的视频迁移任务,发现不同 Transformer 层对时序建模的敏感性随深度增加且受预训练范式影响。该方法基于范式匹配的基准模型推导空间到时序转换边界,在边界前使用空间适配器、后使用时序适配器,无需修改架构即可提升性能。
来源:arXiv · 机器人与计算机视觉 · arxiv.org