Bring Back Language to Actions:通过参数合并恢复 VLA 模型中的 VLM 能力
Vision-Language-Action (VLA) 模型在微调后常出现灾难性遗忘,导致原有视觉与语义理解能力下降。本文提出一种无需重训的参数合并方法,提取任务向量并通过奇异值分解控制保留的适应程度,实验表明该方法能同时保持动作预测和视觉语言能力,且表现优于现有基线。
推荐理由:提出通过奇异值分解合并 VLM 与 VLA 参数,在不重训情况下恢复视觉语言能力并优于现有基线。
Vision-Language-Action (VLA) 模型在微调后常出现灾难性遗忘,导致原有视觉与语义理解能力下降。本文提出一种无需重训的参数合并方法,提取任务向量并通过奇异值分解控制保留的适应程度,实验表明该方法能同时保持动作预测和视觉语言能力,且表现优于现有基线。
推荐理由:提出通过奇异值分解合并 VLM 与 VLA 参数,在不重训情况下恢复视觉语言能力并优于现有基线。
该研究针对视觉语言动作(VLA)策略易受对抗扰动的问题,提出一种无需目标侧对抗训练即可复用源任务防御能力的跨任务防御方法。作者引入 Source-Norm Transferable Robustness Vector (SN-TRV) 技术,仅利用源更新均值方向并校准幅度,将其应用于目标视觉编码器,无需额外推理模块或梯度优化。
推荐理由:提出无需目标侧对抗训练的跨任务防御复用方法,通过源更新迁移提升 VLA 策略鲁棒性。
Zixuan Jiang 在 arXiv 发布了一项关于多视图视觉增强的受控研究,利用仿真状态回放解耦了跨视图关联与单相机扰动分布。实验涵盖七个 LIBERO 操作任务,结果显示全局外观、鬼影注入和目标颜色的边际匹配变化对晚期融合扩散策略的平均成本影响微小;而几何反耦合观测使成功率下降约 3.30 个百分点。
推荐理由:该研究通过受控实验量化了多视图外观增强中不同一致性形式对下游控制策略的影响,为选择性约束提供了依据。
AFFORD2ACT 研究仅用稀疏视觉表征进行机器人操作的可行性。该方法利用现成的语言条件化 affordance 模型定位任务相关区域,选取最多 15 个物体关键点和 4 个末端执行器关键点(共 19 个点),并辅以轻量门控机制决定注意力分配。
推荐理由:该工作证明仅用 19 个稀疏关键点即可在六项真实机器人任务中超越 RGB/Dense 基线,平均成功率达 82%,为紧凑状态表示提供了新范式。
针对多相机方案成为标准但单目全局视角难以捕捉精细交互细节的挑战,论文提出了空间条件化扩散策略(SCDP)。该方法将末端执行器轨迹作为视觉注意力锚点,通过视觉编码器生成多尺度特征图并采样中间轨迹上的点对点特征。实验表明,该策略在仿真中优于强基线且接近多相机性能,真实世界实验中展现了精确操纵及对视觉干扰的鲁棒性。
推荐理由:提出单目相机扩散策略,在仿真与真实场景中均实现高精度操作。
世界动作模型(WAMs)继承了预训练视频生成模型的先验,但其变分自编码器(VAE)的视觉表征是为重建优化的而非操作。本文系统对比了多种视觉表征、五种融合机制及特征组合,发现强通用视觉表征能提供更广鲁棒性;通道级联合预测取得最高平均成功率;额外信息源需根据任务相关性选择。
推荐理由:系统对比了视觉表征与融合机制,提出 R^2-WAM 架构,在 RoboCasa GR1 Tabletop 任务上达到 84.7% 成功率。
10月8日,MIT韩松团队联合英伟达、香港大学和加州大学圣地亚哥分校发布了世界动作模型Long-WAM。该框架旨在满足实时控制要求的同时扩展因果世界动作模型的上下文长度,利用历史视觉信息辅助动作决策。
推荐理由:MIT韩松团队联合英伟达等发布的Long-WAM,通过分阶段预训练扩展了世界动作模型的视觉上下文长度,在保持实时响应的同时显著提升了复杂连续操作任务的成功率。
针对机器人学习中利用视点或背景等无关特征进行捷径学习的普遍问题,本文提出任务清洗方法。该方法基于域对抗训练,无需策略 rollout 即可通过动作边距指标评估不同视觉语言模型骨干对视觉捷径的易感性,并有效降低其对视觉捷径的依赖以提升分布外鲁棒性。
推荐理由:提出任务清洗方法,通过域对抗训练降低 VLA 对视觉捷径的依赖并提升泛化能力。
该论文提出了 VIA(Visual Interface Agent)框架,将机器人控制重构为智能体任务,利用现成的通用智能体通过虚拟工作空间中的鼠标式工具直接驱动机械臂。研究在仿真和真实世界移动操作机器人上实现了零样本的多样化桌面操作与导航任务,且性能随基础模型规模提升而增强,表明现有前沿智能体具备直接迁移至机器人控制的能力。
推荐理由:提出 VIA 框架,证明通用智能体无需训练即可通过虚拟界面直接控制机器人完成操作与导航任务。
论文介绍 Sensor-Language-Action (SLA) 建模框架,将多模态传感器观测、自然语言与动作在统一模型中连接,利用语言作为语义接口实现异构动作的表示、预测与解释。
推荐理由:该工作提出统一传感器、语言与动作的建模框架,并构建大规模基准验证其在临床预测等真实任务中的性能。
针对具身智能中成对视觉 - 触觉数据收集成本高的问题,本文提出 PhysTacGen 框架以合成光触觉图像。
推荐理由:提出 PhysTacGen 框架,利用强化学习生成材料描述并结合几何先验合成光触觉图像,在 SSVTP 数据集上优于基线且能提升下游力系数预测性能。
该论文通过场景保持的指令干预实验,发现 VLA 和世界动作模型(WAM)在仿真与实机中虽能成功执行任务,却常忽略用户指令而选择场景偏好的原始目标。线性探针显示指令被编码但难以控制动作生成,注意力分析证实了视觉 grounding 不匹配问题。研究提出了一套诊断框架,为衡量策略是否真正遵循意图变化提供了具体标准。
推荐理由:研究揭示 VLA 与 WAM 存在指令编码与控制脱节,提出基于场景干预的诊断框架以评估真实意图遵循能力。
I2CD 冻结预训练的 Hunyuan3D-2 扩散模型并训练轻量级交叉注意力头,直接从单张 RGB 图像预测用于物理仿真的凸碰撞几何。该方法无需后处理即可加载到 MuJoCo、PyBullet、Genesis 和 Isaac Sim 等引擎中,在 OmniObject3D 数据集上体积 IoU 最高且速度提升 6-37 倍。
推荐理由:I2CD 直接预测凸分解,无需后处理即可加载到物理引擎,在 MuJoCo 等跨模拟器测试中表现优于传统重建 - 分解流水线。
DeepMind 正式发布 Gemini Robotics-ER 1.6 模型,该版本在空间推理、多视角理解及仪表读数能力上显著优于前代。新增的仪表读数功能允许机器人自主解读压力计和液位计等复杂工业设备,结合波士顿动力 Spot 机器人的实地需求开发。
推荐理由:DeepMind 发布 Gemini Robotics-ER 1.6,新增仪表读数能力并强化空间推理与多视角理解,开发者可通过 API 和 Colab 立即试用。