XInfer:面向机器人执行约束的规模化 VLA 服务系统
论文介绍了 XInfer,这是一个在生产环境中部署的视觉语言动作模型服务系统,旨在降低大规模机器人部署的推理基础设施成本。该系统通过协调异构计算与机器人执行的响应需求,在利用并行性的同时管理干扰,从而在保证时间关键反馈的前提下提升 GPU 效率。
论文介绍了 XInfer,这是一个在生产环境中部署的视觉语言动作模型服务系统,旨在降低大规模机器人部署的推理基础设施成本。该系统通过协调异构计算与机器人执行的响应需求,在利用并行性的同时管理干扰,从而在保证时间关键反馈的前提下提升 GPU 效率。
针对通用机器人操作模型采样序列效果不佳且昂贵验证器引入高延迟的问题,该工作提出 HDH 框架,利用冻结 VLA 部署的历史数据训练轻量级动作验证器。在四个 LIBERO-10 任务上平均成功率为 82.3%,在三项真实世界操作中相比基线提升 22.6%。材料为 arXiv 预印本,未提及同行评审状态或具体开源代码仓库。
该论文审计了视觉语言模型在测试时适应中的视图选择机制,发现依赖预测熵的方法无法有效识别正确视图,仅能恢复约五分之一由理想方法获得的准确率。研究提出利用裁剪保留比例作为新信号,在 15 个基准数据集中优于现有最强评分函数。该工作已获 NeurIPS 2026 研讨会接收。
推荐理由:研究发现熵值无法区分正确与错误视图,利用裁剪保留比例作为新信号可显著提升测试时适应的准确率。
智元AGIBOT正式发布WITA-Omni(硅光动语全模态大模型),这是具身全模态端到端交互大模型,支持音视频、触觉、本体状态等多模态输入以及机器人动作、表情等输出。
Grid Robotics 团队发布预印本论文,提出“具身智能体(agentic robotics)”新范式及 Embodied System 2 概念,主张利用基础模型与具身 harness 构建闭环决策核心。文章定义了从感知到策略适应的完整操作循环,并提出了评估框架以衡量模型能力与系统性能,同时规划了通往持续自主的研究路线图。材料为预印本状态,未报告真实部署结果或具体实验数据。
论文介绍 Gamer 框架,旨在处理复杂交互式环境中的长周期任务。其架构整合感知、记忆管理与多步推理,支持 2D 界面与 3D 仿真世界交互。训练基于数万小时设备级键鼠轨迹数据,涵盖物理与虚拟域以学习环境动态;采用稀疏思维指令微调减少冗余计算,并利用稳定多回合强化学习解决有限上下文与稀疏奖励问题。
谷歌 DeepMind 于 11 月 12 日发布新一代视觉 - 语言 - 动作(VLA)模型 Gemini Robotics 2.5,重点提升机器人在复杂环境中的灵巧操作、任务执行可靠性及安全性。
推荐理由:DeepMind 发布 Gemini Robotics 2.5,在奔驰工厂概念验证中实现 96% 分拣成功率,并开放给合作伙伴。
研究提出言语 - 非言语不匹配分类法,验证 LLM 在社交语境下能成功选择讽刺等目标行为。人类受试者实验证实这些线索显著改变了对虚拟智能体态度与情绪效价的感知,且能有效区分加强、缓解及泄露三种功能类型。该成果为训练具备复杂情感交互能力的虚拟智能体提供了关键方法支撑。
本文介绍了一个基于 Habitat 平台的长视界家庭任务评估基准,涵盖七类任务及 90 种环境、记忆与任务的组合配置,共运行 1,350 个回合。研究对比了 ReAct、VLM-TAMP 和 Tru-POMDP 三种规划策略在任务成功率、完成率和动作效率上的表现,发现 ReAct 整体表现最佳(成功率 45.3%,完成率 71.7%),且初始记忆的准确性并不总是带来最优性能。
论文提出 XS-VLA 框架,通过粗粒度空间蒸馏初始化骨干网络,并利用演示潜在变量对动作空间速度场进行条件化流匹配学习。最终部署的策略包含 243.99M 参数且无需教师或后验编码器。
论文提出 MAPLE 框架,旨在解决视觉语言动作(VLA)模型因传统模仿学习训练导致的闭环评估脆弱性问题。该框架在 VLA 模型的潜在空间内实现反应式、多智能体的动态驾驶场景推演,使自车与周边交通流能独立控制并相互响应,从而支持闭环训练。
推荐理由:提出 MAPLE 框架,在 VLA 模型的潜在空间实现可扩展的闭环多智能体博弈训练,无需外部仿真器。
该论文提出将稀疏门控混合专家(MoE)架构应用于基于视觉的四足机器人运动控制任务。实验在受控设置下对比了标准 MLP 与 MoE 策略,结果显示在激活参数数匹配的情况下,MoE 架构使训练奖励提升 8%,且优于同等总参数的 MLP。研究还通过真实 Unitree Go2 四足机器人的实验验证了该方法在现实世界中的性能表现,表明借鉴大语言模型领域的稀疏化技术对机器人运动控制具有应用潜力。
针对动态 3D 开放世界与竞技 PvP 场景下 VLA 模型难以从密集视觉输入中提取稀疏可行动作的局限,本文提出 3A-VLA 框架。该框架通过意图抽象(IA)与环境语义抽象(ESA)将指令压缩为语义原语并将视觉流结构化,利用抽象对齐重加权(AAR)模块自适应调整动作模仿损失权重。
论文提出了 Generative Scenario Rollouts (GeRo) 框架,旨在解决当前端到端自动驾驶系统过度依赖稀疏轨迹标注模仿学习的问题。该框架将 VLA 模型作为规划器,通过自回归策略联合执行规划与基于语言的未来交通场景生成。
推荐理由:提出 GeRo 框架,利用 VLA 模型进行语言引导的自回归场景生成与规划,在 Bench2Drive 基准上显著提升了端到端自动驾驶的得分与成功率。
该研究提出 CLF-RL 方法,将非线性控制理论中的控制李雅普诺夫函数与优化的参考轨迹嵌入强化学习奖励,替代传统启发式奖励的手动调优。通过处理系统混合结构的全阶动力学进行轨迹优化,位置跟踪性能提升最多 1.7 倍。策略在宇树 G1 类人机器人上实现完整飞行阶段的可靠跑步,具备抗干扰能力和仅靠机载传感器实现的准确全局参考跟踪能力。
该论文研究流匹配机器人策略在欧拉采样中精度与局部稳定性的不同要求。作者使用冻结权重的模型在 LIBERO 任务上验证,发现尽管未违反非扩张条件,但部分输入仍需较多步长才能达到高精度,表明终端精度不足以保证局部稳定性。
论文指出当前许多记忆增强的视觉语言动作(VLA)策略错误地依赖时间戳填充记忆,导致在任务无实质进展时误判为‘幽灵进度’而提前停止。研究通过在 RoboMME 计数任务中引入停顿或抖动验证了这一漏洞:均匀采样使成功率从 47% 降至 16%,而从事件索引记忆的修复方案在不重新训练的情况下恢复了半数以上损失,证明机器人记忆应统计事件而非时钟滴答。
该论文描述了团队针对 2026 BEHAVIOR 挑战赛提出的解决方案,核心为基于$ ext{\pi}_{0.5}$构建的单一视觉语言动作(VLA)模型,在 OmniGibson 仿真器上完成百项长周期家务任务。
论文提出了 DexSeed 框架,旨在低成本生成多样化的、可物理执行的机器人演示数据用于灵巧视觉语言动作(VLA)学习。该方法基于 InteractionMesh 重定向和手臂轨迹增强技术,在保持抓取关系的同时适应不同物体几何与放置位置,并通过强化学习手指控制策略实现仿真中的可执行 rollout。
针对细粒度视觉感知难以标注的问题,该方法利用大模型在放大后能识别细节的特性,构建从全图提问、仅靠局部信息验证的数据管道。由此建立包含 1000 题的双语基准 ZoomGainBench,28 个 VLM 最佳得分仅 61.08。基于该数据微调后的 9B 模型在多项感知基准上超越数百亿参数模型,HR-Bench 4K 得分为 90.25。代码与数据已开源。
消融实验证实视觉 Transformer 的位置编码对左右方向判断不可或缺。在 CV-Bench 基准上,仅镜像该编码即可使 Qwen2.5-VL-7B、Qwen3-VL-4B 和 InternVL3-2B 的翻转图像回答准确率分别达到 84.3%、93.2% 及介于两者之间。
针对视频理解中采样帧是否提供足够证据的问题,作者提出了 EVAThink 框架以增强模型的自适应思考能力。该方法首先通过可恢复的证据差距挖掘构建稠密与稀疏视图对,筛选出稀疏视图需显式推理的样本进行监督;随后利用证据引导的两阶段强化学习优化回答模式偏好并提升首 token 效率。
推荐理由:提出证据充分性引导训练方法,仅需少量样本即可提升视频理解模型在固定帧数下的回答模式选择与推理效率。
该论文研究了利用人类游戏玩法数据对机器人策略进行预训练的方法。作者针对 InternVLA-A1.5 模型,结合了键盘鼠标事件预测与冻结视频模型的视觉监督,构建了覆盖保持的锚点选择机制以防止未来动作干扰。
该工作提交了 Team IF1001 的 2026 BEHAVIOR Challenge 第二名方案,评估移动操作能力涵盖 100 个家庭任务。方法基于 Cosmos 3,通过丰富视觉历史、任务进度条件化及特定技能 LoRA 适配器进行改进。
推荐理由:报告了基于 Cosmos 3 改进的 WAM 在 BEHAVIOR Challenge 中获第二名的结果,公开了任务进度条件化与 LoRA 适配等关键工程细节。
该论文提出 CIALLO 动作编码器,旨在解决不同机器人控制接口差异导致知识无法迁移的问题。该方法将动作、视觉变化及基于观测的语言对齐到共享的短期行为意图空间,并通过本体条件解码器映射回特定机器人的动作。
该研究提出基于预训练视觉语言模型的 SPAR 架构,通过共享预测机制利用无动作监督的人眼视角视频提升机器人策略学习效果。实验表明,源自此类视频的表征能显著改善下游分布外任务性能,且随数据规模扩大效果进一步增益。论文探讨了目标选择与数据策展的影响,为可扩展的机器人学习提供新路径。
针对 MERU、HyCoCLIP 等四种双曲 VLM,研究发现其指数映射操作在推理中近乎恒等变换,移除该映射后评估分数不变。基于此,团队从零训练的欧氏模型在 CC3M 数据集上最终阶段统计特征与双曲版本无差异且评分一致。结论表明当前层级视觉语言学习无需依赖双曲几何,相关代码已开源。
论文提出 PneuGen 框架,利用大语言模型智能体对软体机器人的几何、形态及驱动参数进行高效搜索与设计。系统包含负责生成设计的代理和负责分析仿真诊断并提出修改建议的评论员代理,结合可复用的物理先验模块响应模型实现自动验证与有限元仿真迭代。
推荐理由:提出利用大语言模型智能体进行软体机器人参数化设计与仿真迭代的框架,在抓取与形变匹配任务中优于传统优化基线。
论文针对视觉语言动作模型在 LIBERO 基准上表现优异但泛化来源不明的问题,提出通过检索邻近演示并复用动作片段即可在无策略训练下达到 91.7% 成功率。研究对比九种公开 VLA 发现微调主要优化了视觉语言骨干作为检索键的效果,且动作仍接近演示。
该论文提出了 RoboACE(Robot Adversarial Co-Evolution)框架,旨在解决固定训练源无法发现新弱点的问题。该方法联合演化课程选择与执行策略,围绕冻结的基础模型进行交替更新:课程模块利用积累的能力证据提出信息丰富的挑战,执行模块则通过可复用的修订扩展能力。
该论文提出 PhysMoE 框架以解决具身视觉语言模型(VLM)在坐标预测任务中的离散化延迟与多接触适配难题。其核心贡献包括共享底层多模态上下文、利用视觉编码器位置嵌入将每个坐标编码为单 Token 以注入空间先验,以及采用可微符号距离场(SDF)监督来适应不规则几何形状。
论文提出了 CAFE 框架,旨在解决场景驱动机器人自主性中从观察中选择任务并执行的问题。该系统在预定义的清洁、安全和存储/整理类别下运行,不依赖实例特定的目标或动作序列。
Google DeepMind 正式发布新一代视觉语言动作模型 Gemini Robotics 2.5,该模型在灵巧性、可靠性和安全性方面实现显著提升。相比基线模型,其在多步骤任务中的成功率提升 30% 至 100%,执行速度提高 20% 至 30%。
小鹏 MONA L03 全系采用纯视觉方案,Max 版搭载单颗图灵芯片(750 TOPS)运行第二代蒸馏版 VLA-Lite,Ultra SE 版配备双图灵芯片(1500 TOPS)出厂自带完整版 VLA。
MIT CSAIL 和卡内基梅隆大学研究人员提出了名为 Workspace Models 的新方法,旨在解决现有基于 AI Agent 的机器人在处理长历史视觉数据时存在的延迟高、计算成本大及反应慢的问题。
推荐理由:MIT CSAIL 与卡内基梅隆大学提出 Workspace Models,通过离线大模型蒸馏轻量化模块解决机器人长时记忆延迟问题。
Dynamic Creatures 宣布与 Hasbro 旗下 AI 工作室 Sixth Wall Studio 达成合作,旨在通过机器人赋予 Hasbro 角色实体生命。
Google DeepMind 发布了 Gemini Robotics 2.5 视觉语言动作模型,该模型与 Apptronik Apollo 2 机器人及奔驰产线合作进行了试点测试。
同一新闻,精选展示《DeepMind 发布 Gemini Robotics 2.5 视觉语言动作模型,奔驰工厂测试成功率达 96%》
Google DeepMind 正式发布 Gemini Robotics 2.5,这是其目前最强大的视觉语言动作(VLA)模型,旨在提升机器人学习速度与广度。该模型在超过 200 项任务测试中,相比基线成功率高出 30% 至 100%,完成任务速度快 20% 至 30%。
推荐理由:原文介绍了 Gemini Robotics 2.5 在任务广度、可靠性与安全方面的提升,并披露了与奔驰产线合作的实测数据及 ASIMOV-Jailbreak 基准。
论文 RefineAny3D 提出将单目 3D 目标检测中的深度误差修正转化为视觉空间对齐问题,而非数值回归。该方法利用视觉语言模型(VLM)扩展词汇表以使用动作 token 进行类别决策,并通过大规模思维链数据集监督模型基于显式视觉证据做出判断。
论文指出VLA模型常因数据增强而将颜色视为噪声,导致在真实世界颜色依赖任务中成功率大幅下降(最高仅48.8%)。作者提出FLARE框架利用光照扰动暴露此类脆弱性,并设计ChromaGuard方法保留色度进行对抗训练。实验显示,基于SmolVLA的物理6-DoF平台在使用ChromaGuard后,良性与受攻击任务的平均成功率分别达到95.0%和88.8%,显著优于未防御基线。