arXiv · 机器人与计算机视觉· Yi Yang, Siyuan Liu, Bingbing Nie·· 9 天前AI 评分75
超越头部重要性:视频 Transformer 中的集体计算研究
Beyond Head Importance: Collective Computation in Video Transformers
AI 导读
该论文通过消融分析四个视频 Transformer 模型,发现高重要性的注意力头不仅能支持其他视频理解任务,还能保留区分不同视频的表征结构。研究显示,MLP 层的处理对头部输出的利用效率高于注意力模块本身,且层间较短时空距离的头部集合在扰动响应上更强。仅微调 MLP 即可提升低重要性头部输出的使用效果,揭示了集体计算是理解注意力头功能的关键视角。
来源:arXiv · 机器人与计算机视觉 · arxiv.org