联邦视觉语言动作模型适应中的安全:当人类修正传播时
研究探讨联邦学习结合分布式机器人经验与本地人类干预的交叉点,指出共享更新可能抑制罕见安全干预或导致不安全响应。文章主张在分享多模态修正时需保留上下文与不确定性,部署前须在接收机器人的闭环中评估候选更新,并同步评估关键证据泄露风险。作者提供反例与可证伪的评估议程,而非实验结果,强调人类交互期间仍需即时、可读的防御行为。
研究探讨联邦学习结合分布式机器人经验与本地人类干预的交叉点,指出共享更新可能抑制罕见安全干预或导致不安全响应。文章主张在分享多模态修正时需保留上下文与不确定性,部署前须在接收机器人的闭环中评估候选更新,并同步评估关键证据泄露风险。作者提供反例与可证伪的评估议程,而非实验结果,强调人类交互期间仍需即时、可读的防御行为。
Conditional Neural Processes 通过引入隐藏层注意力机制,在动作序列观测早期即涌现出鲁棒的目标表征。该工作评估了模型在机器人自监督通用学习中的潜力,并作为 IROS2023 认知机器人世界模型研讨会的海报展示。相关代码与论文预印本已公开,为具身智能领域提供了新的自监督学习范式。
论文提出一种自然语言策略接口,利用本地大语言模型将操作员的文本指令转换为 JSON 格式的策略(含目的地、空间约束及时间事件条件),并通过确定性检查与三个成本图适配器将其投射到 ROS 2 Nav2 现有导航栈而不修改规划器或控制器。
OWLS 是一种无需任务特定训练、地形标注或持久地图的零样本漫游车导航方法。该方法利用视觉语言模型对单目相机图像中的每个像素进行可通行性评分,将这些语义分数投影到地面并通过形态学操作适配平台,进而生成最小时间规划器的速度场。研究在室内及非道路物理漫游车上进行了评估,并在模拟火星与月球漫游器上测试了 200 个程序化生成的地形,同时验证了在真实行星影像上的表现。
推荐理由:论文提出利用视觉语言模型的语义评分构建速度场,实现无需训练与标注的零样本漫游车导航。
PROVE 是一种用于视觉语言模型的后期证据适配器,在不修改主干网络的情况下将冻结的 CLIP 块特征映射为每个块的贝塔分布。该方法将定位视为块成员资格问题,通过证据目标函数训练,并利用先验拉回机制使无参照物示例靠近非信息先验,从而利用空性作为缺失信号。
Self-RefineVQA 提出一种无需额外标注数据或模型更新的免训练推理时间自我修正框架,通过提示词引导单一大语言模型在生成、批评与精炼间形成闭环反馈以纠正空间错位和逻辑幻觉。
论文介绍 MoST 框架,用于黑盒测试视觉语言模型的模态敏感性。该方法通过多目标搜索选择并组合图像与文本扰动,在限制输入变化的同时寻求预测性能下降。研究在 ImageNet 和驾驶图像上的四个对象定位模型上验证了不同模态的敏感性差异,发现联合扰动能以较小改动达到甚至超过单模态扰动的效果。
论文 LogLook 针对无需任务特定训练的前沿视觉语言模型,提出一种结合执行日志与选择性观察的记忆机制。该方法在保持记录的同时让模型自主决定查看位置,仅在预期变化处返回帧并快速浏览演示部分。实验显示,LogLook 在 RoboMME 基准测试集上解决了 93.5% 的任务,相比仅用笔记的记忆方式减少了 43% 的 token 消耗和一半以上的图像使用量,且因记忆或观察导致的失败率显著降低。
该论文提出 MAST-VLA(Multi-skill Adaptation with Skill-conditioned experts and Trajectory-affordance priors),一种用于机器人操作的双条件框架。
研究在 Unitree Go2 四足机器人搭载 AgileX Piper 机械臂上,通过调整模型变体、动作视界及演示规范,成功实现了闭环行走操作。扩大演示覆盖范围使未见末端执行器误差降低 30%,引入推等次要技能增加了新行为模式而未降级基线性能。真实世界实验验证了数据集构成对复杂行走操作成败的影响,确立了从桌面到移动机器人的部署管线。
针对自回归视觉语言模型难以将生成文本准确锚定到图像区域的难题,本文提出基于视觉 token 嵌入与解嵌入矩阵行余弦相似度的角相关性(Angular Relevance)可视化度量。
该研究提出利用 OpenVLA 激活的稀疏自编码器(SAE)表示来预测机器人任务失败,并在达到不可恢复状态前识别出相关特征。作者通过定位显著激活变化的时间区间,揭示了导致成功或失败的特定行为模式,并开发了基于 VLM 的解释管道生成这些模式的描述,验证了其与特征激活的一致性。
该论文介绍 AURORA 框架,旨在解决现有双曲视觉语言预训练目标中语义对齐与层级结构纠缠的问题。作者提出通过角度对齐捕获语义相似性,并利用新的径向 - 角度顺序锥(RAOC)进行蕴含建模,同时引入范数正则化防止径向退化。模型在数百万图像文本对上训练,并在零样本分类、图文检索等任务上优于欧氏和双曲基线。材料为 arXiv 预印本,未提及同行评审状态或开源代码。
推荐理由:提出 AURORA 框架,通过解耦语义对齐与层级蕴含建模解决双曲空间表示冲突。
这篇论文针对机器人操作任务中实时响应与执行稳定性的平衡难题,揭示了流匹配视觉语言动作模型中数值求解器深度与执行视界之间的基础计算 - 执行耦合关系。研究发现,粗粒度数值积分虽会降低快速重规划下的精度,但能显著改善长开环承诺下的任务性能;几何上,数值截断收缩了不变轨迹质点周围的侧向动作离散度,起到了抑制累积开环漂移的隐式正则化作用。
推荐理由:该研究揭示了流匹配 VLA 策略中执行视界与采样深度的耦合机制,在不修改架构和无需训练的情况下显著降低推理延迟并提升任务成功率。
该论文记录了在 InternVLA-A1 和 Pi0.5 上集成测试时训练(TTT)的实验配置与观察结果,指出在当前规模下该方法未能实现基于演示的持续目标选择。研究考察了记忆转移、截断反向传播及对比正则化等设置,发现较短序列或全轨迹梯度连通性并未显著提升对演示的响应能力;当演示简化为单帧提示时,真实机器人执行仍表现出对固定位置杯子的偏好。材料提供了实现细节与训练配置以支持进一步检查与复现。
针对行为克隆对训练数据覆盖度敏感的问题,该研究提出 DiscoDemo 方法,利用强化学习作为下游视觉运动模仿学习的数据生成器。该方法通过并行反向课程和成功门控多样性目标,在保持任务成功率的同时挖掘多种成功的解决方案模式。
MAGIC 通过门控对比去偏与证据恢复,解决大视觉语言模型推理中的语言偏差问题。该方法测量关键 token 预测余量以激活扰动分支,并在去偏后选择性恢复高置信度视图,同时利用校准集剪枝无效分支以降低计算成本。基准数据集实验验证了其在多种基线下的有效性。
研究发现当 VLA 模型以 bfloat16 存储可训练权重且无 fp32 主副本时,AdamW 优化器会将小于 1/512 权重的更新静默舍入丢弃。在 LIBERO 基准测试中,移除该 fp32 副本导致 SmolVLA 和 pi_0.5 模型的成功率分别从 4.3% 提升至 49.3%、从 5.1% 提升至 80.9%,且修复方案仅需一行代码修改 LeRobot 配置。
推荐理由:作者发现主流 VLA 微调默认配置因缺失 fp32 主副本导致更新静默丢失,提供修复方案并验证其显著提升成功率。
论文介绍 EgoForesight 框架,旨在解决机器人策略学习中高质量轨迹监督成本高、而第一人称视频存在运动重建噪声的问题。该方法通过联合视觉 - 动作流统一可靠性感知学习与结果导向表示转移,结合可靠性条件化数据损坏与特权未来表示蒸馏技术。
针对偏好强化学习依赖昂贵人工标注的问题,该工作提出了 PrefO2O 框架,通过从少量源任务数据中学习任务不变的潜在偏好空间,实现了对未见目标任务的零样本迁移。
论文提出了 RepresentNav 导航基础模型,该模型构建了由策略自身目标驱动的视觉表示空间。通过 Representation Residuals 模块整合多模态视觉编码器特征,实现端到端训练的策略与潜在思维链联合嵌入预测架构(JEPA)。
推荐理由:提出基于自构建表示空间的导航基础模型,在多个基准上刷新纪录并将成果迁移至实体机器人。
跨维智能联合香港中文大学(深圳)、佛山大学、华南理工大学发布TaskAnchor技术,旨在解决长程操作中因画面信息不足导致的任务状态混淆问题。该技术通过轻量适配器接入历史信息,输出任务状态坐标并利用上下文自适应测试时训练模块补充历史视觉证据。
推荐理由:跨维智能发布TaskAnchor,通过引入历史上下文提升预训练具身模型的长程任务成功率与状态识别能力。
智元与成都文旅集团合作,灵犀X2双足人形机器人在成都宽窄巷子组建专属班组,实现迎宾咨询、文化讲解和便民零售三大岗位全覆盖。其中零售仓方案基于自研全身VLA模型,支持20余类SKU作业,成功率超98%,单次任务节拍约30秒。智元同时推出SkillForge端到端开放平台,允许客户在现场采集数据并一键训练部署新任务,无需重新设计固定流程。
针对无批评者算法(如 GRPO)存在的均匀信用分配难题,本文提出 ProAS 框架,利用动态演化的代理参考图实现细粒度信用分配。实验表明该方法在 Qwen2.5-1.5B-Instruct 和 Qwen2.5-7B-Instruct 上分别将 ALFWorld 任务成功率提升至 91.9% 和 94.3%,WebShop 任务达到 66.7% 和 70.8%,并将训练收敛速度提升约 2.44 倍。
Eka Robotics 宣布完成 1.5 亿美元 A 轮融资,由 Andreessen Horowitz 和 FMR 旗下基金领投。该公司基于强化学习构建了视觉 - 力-动作(VFA)基础模型,旨在通过大规模仿真训练让机器人在物理环境中具备泛化能力。
阿里巴巴集团旗下高德正式发布首个基于开放世界行为的全身基座模型λ0,该模型仅依靠人类行动数据即可让机器人学习移动、姿态与双手操作的全身协调。在SIMPLE仿真基准及多项真机评测中,λ0均取得SOTA表现,数据采集效率约为主流方法的3.4倍,真机任务成功率较最强对比基线提升22.5%。
推荐理由:高德发布首个基于开放世界行为的全身基座模型λ0,仅凭人类行动数据实现零样本迁移,并开源了相关硬件配置代码与HumanVerse数据样例。
长城汽车旗下2027款坦克500于10月23日上市,售价33.5万元起。新车搭载Coffee Pilot 4辅助驾驶系统,采用VLA大模型及Thor-U芯片,配备激光雷达等27个传感器支持自然语言交互。官方称完成296项软硬件优化,并基于超4万个真实越野场景构建数据集以拓展非铺装路况能力。
ReGE 框架利用单次教练调用将执行记录与现有工件合成为自包含指导,无需参数更新即可提升 GPT 和 Claude 在四个基准测试中的准确率。ReGE-Syn 实现相比适配 AggAgent 减少 98.2% 至 95.5% 的指导构建 token,且联合 token 数分别降低 15.7% 与 35.4%,验证了利用自身经验优化任务完成的有效性。
该研究指出成功的工具使用轨迹未必能提供有效的监督信号,可能遗漏多步依赖或包含决策时不可见的动作。为此提出 Trajectory2Gym 方法,通过构建围绕未充分支持的可组合结构的可执行交互,仅从已实现执行中的 grounded decisions 推导监督信号。该方法在五个 Qwen3 规模上均提升了 Tau1、Tau2 和 BFCL 基准的平均表现,尤其在状态依赖和多轮交互任务中增益显著。
该论文提出 V2-STRep 零样本框架,将生成视频的单一运动转化为可复用的机器人技能。方法利用视觉语言模型提供 2D 图像线索并结合 RGB-D 观测重构 3D 几何与抓取位姿,通过几何规则迁移运动并耦合轨迹优化以适配关节限制。实验在六个真实操作任务上验证了该方法相比基线提升了执行成功率,实现了技能的跨场景可靠转移及对变更部署指令的自适应。
FluxVLA Engine 是一个开源的配置驱动型工程平台,旨在将异构的具身策略组件转化为可复现的数据至部署工作流。该平台标准化了数据集、视觉语言与世界模型接口,集成了双臂仿真、自动数据生成及人机协同修正功能,并通过实时分块与加速推理后端支持物理执行。代码已公开于 arXiv 链接,解决了阻碍具身学习算法可靠部署的工程瓶颈。
推荐理由:FluxVLA Engine 提供统一配置驱动平台,整合仿真、数据生成与实时推理接口,解决具身策略从算法到部署的工程碎片化问题。
针对现有 VLA 模型在处理需记忆的长程任务时面临的瓶颈,本文提出 UniMem 框架,在单一骨干网络下统一高层视觉/文本记忆与低层控制。该方法利用事件分类器触发更新、关键帧编码器构建密集记忆并采用缓存技术降低开销。
推荐理由:UniMem 框架统一视觉与文本记忆,在仿真和硬件任务中显著优于固定间隔采样及分层 VLM-VLA 基线。
该研究利用因果打补丁技术,揭示视觉语言模型(VLMs)通过“直接路径”和“文本中介路径”两种独立方式解决视觉任务。实验表明路径选择依赖具体任务、数据分布及提示词设计,且在常规路径受损时可灵活切换至备用机制。这一发现为理解 VLM 内部视觉信息流动提供了机理层面的统一解释。
针对现有行为基础模型仅能执行预定义动作且缺乏环境适应性的问题,论文提出 ReactiveBFM 实时闭环规划控制框架。该方法通过调度前缀采样课程缓解暴露偏差,使生成式规划器从不完美的物理状态中学习误差恢复;引入异步重规划机制解决自回归规划与高频跟踪的延迟失配,结合轨迹分块保证时空流畅执行。
推荐理由:提出 ReactiveBFM 框架,通过前缀采样缓解暴露偏差并解决规划延迟问题,在 Unitree G1 上实现零样本移动目标抓取与高成功率闭环控制。
HEX 是一个针对全尺寸双足人形机器人的状态中心化框架,旨在通过全身协同控制实现复杂操作。该模型引入人体对齐的通用状态表示以支持异构机身的可扩展学习,并采用混合专家统一本体感觉预测器来建模全身协调与时序运动动力学。
推荐理由:提出 HEX 框架,利用人体对齐状态表示与专家混合预测器解决全尺寸双足机器人全身协调操作难题。
ThermoAct 是一个融合热成像信息的视觉语言动作(VLA)框架,利用视觉语言模型作为高层规划器来解析自然语言指令并分解为子任务。该系统旨在通过整合热数据增强对物理属性的感知与环境安全判断。材料基于真实世界任务场景的实验结果验证了该框架的可行性,表明其相比纯视觉方法在任务成功率和安全方面具有潜力。
针对现有仿真 - 现实联合训练依赖静态演示且泛化受限的问题,本文提出一种基于强化学习的联合训练框架。该方法先利用真实与仿真混合数据进行监督微调预热策略,随后在仿真环境中通过强化学习优化并辅以真实数据辅助损失以锚定策略、防止灾难性遗忘。
推荐理由:提出基于强化学习的仿真 - 现实联合训练框架,在真实桌面操作任务上实现成功率提升与数据效率优化。
针对机器人基础模型评估成本高的问题,本文提出 Sensorimotor Alignment(S^2),一种无需训练的离线指标,用于衡量模型感官表征与物理运动几何结构的对齐程度。研究发现 S^2 与下游机器人任务成功率呈正相关,可作为低成本代理优先筛选模型或识别有潜力的视觉语言模型骨干网络。该工作将柏拉图表示假设扩展至具身智能领域,为理解模型成功原因提供表征层面的解释。
推荐理由:提出无需训练的离线指标 S^2,通过感知表征与物理运动几何的对齐程度预测机器人任务成功率。
针对视觉语言动作模型在执行任务时易出错且难以持续人工监督的问题,本文提出利用模型内部激活值进行进度监测的新思路。研究通过在演示数据上训练线性探针来估计执行进度,并在偏离预期进度时发出警报。实验在开源 VLA 模型 pi_0.5 及模拟与真实操作任务中表明,该方法在故障检测效果上与基于外部视觉语言模型的监督方法相当甚至更优,且无需依赖外部基础模型或失败数据训练。
论文提出 Echo 框架,旨在解决视觉语言动作模型(VLA)中任务完成与失败识别的问题。该方法无需帧级进度标注,将停止和失败信号作为动作块的两个维度进行联合去噪,以区分执行中、成功完成和失败三种状态。通过控制信号与动作的交互并加速信号去噪,使后续动作生成能基于更清洁的状态估计。实验表明,Echo 在真实世界操作任务中能准确预测状态并提升策略性能。