跳到正文
arXiv · 机器人与计算机视觉· Borui Xu, Hongshi Tan, Wenqi Jiang, Bingsheng He, Ming Wu, Jason Zeng, Michael Heinrich·· 23 天前AI 评分58

VLA-HWBench:VLA 模型在边缘硬件上的时间瓶颈分析

VLA-HWBench: Where the Time Goes When VLA Models Run on Edge Hardware

AI 导读

论文提出了 VLA-HWBench 基准,评估了 18 个开源 VLA 模型在 NVIDIA Jetson AGX Thor 和 AMD Ryzen AI Max+ PRO 395 等边缘硬件上的推理延迟。研究发现动作生成策略比模型大小更关键,长动作块生成优于逐 token 解码;4 位权重与内核融合能显著加速特定模型但兼容性有限;优化后内存带宽和 CPU 预处理成为主要瓶颈。

来源:arXiv · 机器人与计算机视觉 · arxiv.org