跳到正文
arXiv · 机器人与计算机视觉· Cong Xu, Ravi Sankar·· 3 天前AI 评分45

物理 AI:Agilex 5 FPGA 上实现 3.69 亿参数 Gated DeltaNet 的页式状态硬件瓦片,解码延迟 11.15ms/Token

The State Is Not the Bottleneck: A Paged-State Gated-DeltaNet Tile on a Tri-Mode Multicast Mesh, Bit-Exact from RTL to Silicon

AI 导读

研究团队在 Agilex 5 FPGA 上构建了计算自定义 3.69 亿参数混合门控 DeltaNet 模型完整层的硬件瓦片,并通过页式管理解决 6.2 MiB 状态仅存于 0.87 MiB 片上内存的问题。

来源:arXiv · 机器人与计算机视觉 · arxiv.org