跳到正文
arXiv · 机器人与计算机视觉· Yuntao Dai, Hang Gu, Teng Wang, Qianyu Cheng, Yifei Zheng, Zhiyong Qiu, Lei Gong, Wenqi Lou, Xuehai Zhou·· 16 天前AI 评分72

ActionFlow:面向边缘设备的流水线动作加速框架

ActionFlow: A Pipelined Action Acceleration for Vision Language Models on Edge

AI 导读

针对视觉语言动作模型在边缘设备因自回归解码导致的低延迟问题,该研究提出 ActionFlow 系统级推理框架。其核心是跨请求流水线策略,将内存受限的解码阶段与计算受限的预填充阶段智能批处理以最大化硬件利用率;同时引入跨请求状态打包前向算子和统一 KV 环缓冲区融合碎片化内存操作。实验显示,在 OpenVLA-7B 模型上无需重训即可实现 2.55 倍 FPS 提升,支持边缘硬件上的实时动态操作。

来源:arXiv · 机器人与计算机视觉 · arxiv.org