arXiv · 机器人与计算机视觉· Enfu Nan, Pu Zhao, Yixiao Chen, Lin Zhao, Juyi Lin, Chen Wang, Weiwei Chen, Yanzhi Wang·· 23 天前精选AI 评分78
Speech-π0.5:面向机器人操作的直接语音条件语言 - 动作模型
Late Breaking Results: Audio-Language-Action Models with Direct Speech Conditioning for Robotic Manipulation
AI 导读
针对视觉 - 语言 - 动作(VLA)模型依赖文本输入导致自然语音部署受限的问题,本文提出 Speech-π0.5。该模型基于 π0.5 架构,利用跨模态投影将原始语音帧直接转换为音频 token,无需显式文本转录,从而显著降低响应延迟。实验在 LIBERO 基准上验证了其在保持竞争力的任务成功率的同时,对未见口音具有鲁棒性,而单一适配器则表现较差。
推荐理由
提出 Speech-π0.5,通过跨模态投影将语音帧直接映射为动作指令,相比传统 ASR 流程降低三倍响应延迟。
来源:arXiv · 机器人与计算机视觉 · arxiv.org