跳到正文
arXiv · 机器人与计算机视觉· Xiaohan Qin, Xiangdong Zhang, Tuo Dai, Sunan Zou, Huaijin Wu, Yebin Yang, Zhuo Xia, Lin Yao, Yuliang Liu, Junchi Yan·· 2026-10-12AI 评分57

Multi-Stream Attention Residuals (MSAR):一种支持深度轴多头注意力的残差架构

Multi-Stream Attention Residuals

AI 导读

论文提出 Multi-Stream Attention Residuals (MSAR),将单流 Softmax 注意力扩展至深度轴的多头机制,利用多尺度因果卷积获取流多样性并通过轻量级自适应混合生成输入。

来源:arXiv · 机器人与计算机视觉 · arxiv.org