PAIR:在视觉语言动作模型中连接感知与动作
论文提出 PAIR 框架,旨在解决连续动作视觉语言动作模型中感知表示到动作生成的过渡问题。该框架利用掩码动作自编码器将专家动作编码为动作潜在令牌,并通过桥接模块从当前视觉语言特征中提取任务相关信息以形成桥接令牌。
推荐理由:该框架通过引入桥接令牌,在感知与动作表示间建立共享中间层,显著提升了 OpenVLA-OFT 和 VLA-Adapter 在多基准及真实任务中的成功率。
论文提出 PAIR 框架,旨在解决连续动作视觉语言动作模型中感知表示到动作生成的过渡问题。该框架利用掩码动作自编码器将专家动作编码为动作潜在令牌,并通过桥接模块从当前视觉语言特征中提取任务相关信息以形成桥接令牌。
推荐理由:该框架通过引入桥接令牌,在感知与动作表示间建立共享中间层,显著提升了 OpenVLA-OFT 和 VLA-Adapter 在多基准及真实任务中的成功率。
论文提出 CARE 方法,通过成对 rollout 对比来定义并量化加速导致的任务失败风险。该方法在 LIBERO 套件上使用 OpenVLA-OFT 模型,实现了 9.0 至 10.8 倍的推理速度提升,同时保证至少保留 85.8% 的原始成功率(置信度 95%)。
OrigamiBench 基准通过折纸任务集成视觉感知、几何推理与序列规划,揭示单纯扩大模型规模无法可靠提升对物理变换的推理。实验显示现代视觉语言模型难以将程序信息锚定到视觉观测,表明视觉与语言表征整合不足。该工作获 NeurIPS LP4FM 杰出亚军奖及 ICML LM4Plan 口头报告荣誉。
论文提出 TimelyDAgger,通过 Bridge-PCA 监控 VLA 内部特征并结合反馈引导阈值适应来优化机器人接管时机。研究建立了包含失败检测、接管时机与策略改进的评估框架,引入无需重训练的 TASR 指标衡量监督质量。实验表明该方法在匹配专家动作预算下实现了具有竞争力的失败检测和更高的训练后成功率。
论文提出 APT 方法,通过两阶段训练解决视觉语言动作(VLA)模型中因语言数据稀缺导致的视觉捷径问题。第一阶段在冻结 VLM 上对动作专家进行视觉 - 动作先验预训练;第二阶段注入语言令牌并融合 VLM 特征以保留视觉运动先验。实验表明该方法能显著提升未见指令和组合任务的泛化性能,适用于主流 VLA 架构。
SafeVLA-Bench 是一个事后安全评估框架,将任务感知的安全要求编码为信号时序逻辑不变量,以量化鲁棒性语义报告安全率和成功但不安全的比率。
论文提出了 Move-Then-Operate 框架,该框架基于视觉语言动作模型,通过可学习的选择器将机器人操作解耦为粗粒度位移(move)和接触关键交互(operate)两个独立阶段。
论文通过稀疏自编码器(SAE)对视觉语言动作(VLA)模型的内部表征进行机制分析,识别出与对抗补丁存在强相关性的特定特征。研究提出在推理阶段仅当线性探针检测到攻击时才抑制该特征的干预策略,该方法在不微调模型的前提下提升了鲁棒性。实验基于 LIBERO-10 数据集评估显示,条件式干预能改善间歇性攻击下的成功率,而持续应用相同干预则会显著降低策略性能。
针对 Qwen2.5-VL-7B-Instruct 的对抗扰动实验显示,图像像素统计无法预测模型是否被腐蚀,且目标 token 在词表中的排名固定为 3,488。研究发现视觉编码器对所有图像均产生同等程度的表征腐蚀,而语言解码器则通过差异化仲裁放大或抑制该信号。结果表明自回归 VLM 的对抗鲁棒性主要取决于语言解码器的先验而非视觉编码器。
论文提出 MixVLA 框架,通过自适应混合非不变信息(AMI)正则化分布特异性变异并保留预测线索,在融合不变表示后实现动作预测。实验表明该方法在 LIBERO、LIBERO-Plus、RoboTwin 扰动套件及真实世界任务中提升了零样本鲁棒性,同时保持了领域内性能。材料为 arXiv 预印本,未提及同行评审状态或具体部署规模。
针对大规模视觉语言动作模型计算成本高难以部署的问题,本文提出了 FastOPD 框架,通过同策略蒸馏将大模型知识迁移至紧凑学生网络。该方法结合单状态教师监督与自一致性目标,理论上可恢复理想少步模型的分布特性。
推荐理由:提出基于同策略蒸馏的轻量化框架,在仿真与真机实验中验证了大幅降低推理延迟同时保持性能的方法。
论文介绍 ManiPhysicsZoo 和 ManiPhysicsBench,利用材料属性和几何信息计算抓取损伤阈值以评估物体变形风险。研究在 LIBERO 和 SimplerEnv 上发现现有模型存在任务成功但物体损坏的问题,并指出连续抓取标签能提升物体保持能力但可能降低通用性。
论文提出 CHASE-VLA 方法,解决扩散基动作专家层在低比特后训练量化中的尺度失配问题。该方法利用策略生成的动作块及其未执行后缀作为因果上下文,结合去噪步信息自适应调整激活尺度,实现 MLP 和注意力投影的 W4A4 量化而无需修改预训练策略。
针对现有视觉语言动作模型仅基于观测状态推理而未明确预测未来场景演进的局限,本文提出 IG-VLA 框架。该方法在视觉表征空间直接学习任务相关的未来场景演化(潜在时空推理),并通过场景 gist 记忆将推理衍生的场景行为关联内化为紧凑 token,从而在推理阶段绕过昂贵的像素级视频生成。
论文提出 ProAct 框架,针对现有基于流的 VLA 策略因生成源未受近期执行或未来演化条件约束而丢失局部连续性的问题,引入轻量级提案专家与前瞻性世界专家。前者将近期动作转化为场景感知假设以保留运动连续性,后者预测任务一致的潜在未来并校准各向异性生成源。
推荐理由:提出 ProAct 框架,通过世界校准的提案到动作流解决生成源不可预测问题,在仿真与真实任务中提升性能并降低推理延迟。
VicOne LAB R7 通过实验证明,即便机器人遵循既定规则,被篡改的视觉、文本或音频输入仍会导致其做出错误动作。研究利用 Gemma 4 E4B 和 Nemotron 模型展示了海报文字与不可听音频如何误导机器狗与服务机器人,并指出 ROS 2/DDS 消息注入可触发意外移动。
小鹏集团公布2026年9月交付新车41,256台,第三季度累计交付118,390台。产品端,G9L上市搭载第二代VLA,MONA L03在多个海外市场交付,GX连续多月位列高端SUV销量前三。
PyRUA-Lean 是一个交互式代码执行框架,通过反馈驱动的原始动作组合与选择性观察来降低 VLM Agent 的 token 开销。
针对复杂环境中 VLA 模型需平衡任务成功与意外接触的挑战,本文提出 FailBank 四阶段框架,将运行时反馈转化为持久的策略改进。该框架在 VLA-Arena 基准上评估显示,相比基线策略和纯运行时屏蔽方法,FailBank 能显著提升任务成功率并降低由策略引起的累积成本,证明运行时反馈可作为持续监督而非临时约束。
推荐理由:FailBank 框架利用运行时反馈实现 VLA 策略自我进化,在基准测试中显著提升了任务成功率并降低了累积成本。
RLE-Bench 是一项针对机器人学习工程师编码智能体的新基准,涵盖交互控制、策略学习、感知估计与机械设计四大工作流。该基准通过成功率等任务特定指标聚合出整体 RLE Index,并生成各工作流的能力画像以支持系统比较。研究还包含深入案例研究,揭示了当前智能体能力局限及未来训练机会。
针对机器人执行动作偏离指令的问题,研究提出了一种无需任务奖励或标签的在线自补偿 VLA 方法,利用指令与执行残差更新策略。同时引入 RoboStress 仿真基准,整合摩擦、背隙等关节模型以模拟复杂部署场景。实验显示该方法在物理机械臂上将平均任务成功率提升超过 30 个百分点,且泛化至未见过的物体。材料为预印本论文,未提及同行评审状态或具体机构归属。
论文介绍 MotorMind,这是一个连接通用视觉语言模型(VLM)与确定性机器人控制的中间层动作表示及异步执行框架。该方案无需任务特定策略训练、代码智能体或 SAM3 等定位工具,在 LIBERO-PRO 基准上实现 66.7% 成功率(扰动下为 53.8%,优于此前零样本方法的最高 13.3%),并在真实 xArm6 机器人上达到 95% 平均成功率。
推荐理由:该工作提出 MotorMind 框架,证明通用 VLM 无需额外训练或工具即可实现零样本机器人操作,显著优于现有方法。
NVIDIA 在多伦多 ROSCon 会议上正式发布 Isaac ROS 5.0,这是一个基于 ROS 的 GPU 加速开源机器人开发框架。
推荐理由:NVIDIA Isaac ROS 5.0 发布支持 AI Agent 的机器人开发工具链,提供感知、操作与仿真闭环能力。
OSWorld-Pro 引入包含超 300 个任务及 2800 个子目标的基准,依托逾 6.7 万条人工标注实现计算机使用智能体的过程化评估。该基准利用对齐人类的 LLM-Judges 揭示模型在序列子目标中的进展,发现顶尖模型如 Claude Opus 5 在此基准上仅获 75.7% 成功率(OSWorld 为 83.4%)。
智元 AGIBOT 机器人于大湾区电影音乐会现场,通过 WITA-Omni 模型实现非脚本化的人机实时互动。该模型基于 Thinker-Talker-Actor 架构,在 DailyOmni 基准测试中综合准确率高达 85.21%,位列八项评估维度中的六项第一。演示验证了机器人能动态识别对话对象并协调语音、动作与表情,未来将拓展至娱乐及零售等复杂服务场景。
VicOne 指出物理 AI 面临攻击者篡改感知或决策时的安全挑战,涵盖 BadVLA 等后门攻击、UniPwn 蓝牙漏洞及运行时感知操纵三类风险。NVIDIA Isaac Sim 搭配 VicOne Radeis 可在部署前验证对抗输入影响,而 VicOne Lab R7 演示显示无线漏洞链可在 60 秒内引发失控行为。
NVIDIA Nemotron 3.5 Lightning 是一款开源的 30B MoE 模型,拥有 3B 活跃参数,专为长运行 AI 智能体的高频工具调用与结果验证等执行层设计。该模型旨在解决在每一步执行都使用前沿推理模型所带来的高成本与延迟问题,通过轻量化架构提升持续运行智能体的效率。
DARPA Lift Challenge 周末举行,展示了多款设计奇特的重型无人机及 NASA SkyFall 火星直升机概念。SonicFly 框架利用无人机的固有飞行声实现被动气动声学感知,使一架 UAV 仅需声音即可估计并跟随另一架。IEEE Spectrum Robotics 每周精选此类视频并预告未来机器人活动日程。
LeRobot 软件栈 v0.6.1 发布,将 lerobot.types 模块重命名为 lerobot.lerobot_types。此次更新重构了 pi0、pi05、eo1、xvla 等策略以复用共享 VLA 组件,并将 Qwen2.5-VL 与 Florence2 改为原生 Transformers 子类化。同时优化了文档构建速度并更新了 GR00T 1.7 相关检查点。
Google DeepMind 推出 Gemini Robotics 2,作为新一代机器人智能层,首次实现全身智能控制、高级灵巧性及多机器人协作。该进展旨在赋能真正适应性的下一代机器人,视频演示涵盖动态阴影表达及四足运动迁移等场景。
Hugging Face LeRobot 发布 v0.6.0,将 GR00T 版本从 N1.5 替换为 N1.7 并重构 RL 栈以适配新模块化 API。此次更新移除了默认数据集依赖、重命名部分配置项(如 eval_freq),并新增 RoboCasa365、RoboMME 及 LIBERO-plus 等基准测试集成。
Berkeley BAIR Lab 庆祝 2026 届博士毕业生在物理 AI、大语言模型及计算机视觉等领域的卓越成就。毕业生去向包括 Physical Intelligence、OpenAI、Amazon 等行业实验室,以及普林斯顿大学、UCLA 和芝加哥大学的教职岗位。多位学者正投身于具身智能、世界模型构建及人机协作系统的研发与创业探索。
奥比中光在 Automate 2026 展会推出结合 NVIDIA Jetson Orin 平台的 LingBot-Depth for Gemini 330 Series,利用芯片级高精度数据优化 Robbyant VLA 模型以克服透明物体等感知盲区。
Hugging Face LeRobot 仓库更新至 v0.4.4 版本,新增 OpenArm、OpenArm Mini、G1 及 RobStride 等机器人硬件与遥操作支持。此次更新还集成了 tqdm 训练进度可视化、torch.compile 推理加速及 Libero 环境配置优化等功能。
LeRobot 开源框架发布 v0.4.3 版本,新增 Unitree G1、OMX 及 WallX 等机器人支持并集成 NVIDIA IsaacLab-Arena。此次更新修复了数据采样器与 Pi05 编译问题,允许用户注册第三方策略并扩展 X-VLA 模型训练功能。
LeRobot 软件栈 v0.3.2 发布,新增 Pusht、Aloha 及 UMI-gripper 等数据集下载与评估功能。该版本整合了扩散策略(Diffusion Policy)与 ACT 策略模型,并优化了对 Apple Silicon MPS 后端的支持。更新还包含对 CPU 单核兼容性改进、WandB 日志配置调整以及多项训练与推理逻辑的修复。
Kodiak AI 将视觉语言模型(VLM)集成至其自动驾驶系统,利用文本知识与图像结合以增强对紧急车辆等长尾边缘案例的理解。该技术通过零样本分类与多模态解码器实现类人驾驶行为,使卡车能在未见过的复杂场景中做出精准决策并规划路线。此创新方法无需显式训练即可检测罕见事件(如高速警车),显著提升了感知栈的鲁棒性与适应性。