跳到正文
arXiv · 机器人与计算机视觉· Amil Khan, Anantajit Subrahmanya, B. S. Manjunath·· 20 天前AI 评分73

PACK3D:一种基于轴向网格坐标的局部 - 全局注意力算子

Geometry Matters in Packed 3D Attention

AI 导读

论文提出 PACK3D,这是一种针对打包 3D 体积数据的局部 - 全局注意力算子。该方法通过轴向 RoPE 索引真实的令牌网格坐标而非打包位置,将旋转应用于块摘要之前,从而保持压缩后的全局上下文在空间上可解释。

来源:arXiv · 机器人与计算机视觉 · arxiv.org