arXiv · 机器人与计算机视觉· Zhengyang Cheng, He Zhu, Zeyu Guo, Zihan Liu, Anbang Wu, Yiming Gan, Jingwen Leng, Yu Feng, Minyi Guo·· 9 天前AI 评分72
Zora:基于检索推测与硬件加速的高效 VLA 推理框架
Efficient VLA Inference via Retrieval-Based Speculation and Hardware Acceleration
AI 导读
针对资源受限平台上视觉语言动作(VLA)模型的自回归生成延迟问题,本文提出了 Zora 软硬件协同设计框架。该方法利用轻量级检索增强生成(RAG)草案模型结合机器人动力学替代昂贵的神经网络草案模型,并通过运动学引导的动作接受策略与 KV-cache 共享注意力机制降低批验证开销。
来源:arXiv · 机器人与计算机视觉 · arxiv.org