arXiv · 机器人与计算机视觉· Yifan Zhang·· 9 天前AI 评分38
Deep Tensor Network:基于张量收缩的序列算子家族与精确评估方法
Deep Tensor Network
AI 导读
Deep Tensor Network 是一类由查询、键和值收缩构建的序列算子,利用结合律在不生成 n×n 令牌矩阵的情况下精确计算 Gram 算子。该方法在查询/键宽度为 d 时仅需 O(d²+ddᵥ) 的工作量及因果令牌的摘要状态,并推导了前缀递推关系与迹、对角及行归一化条件。研究还给出了 Hadamard 变体与矩阵指数变体的精确评估及成本分析。
来源:arXiv · 机器人与计算机视觉 · arxiv.org