RefCloth:一种可迁移的对抗性桌布框架,用于提升视觉语言动作模型的鲁棒性
RefCloth 框架在冻结源策略下优化单一持久对抗桌布,实现零样本跨任务与模型迁移。该方案在四个 LIBERO 仿真套件中,使 OpenVLA-OFT、π0 及 π0.5 的成功率相对未优化桌布平均降低 62.50 和 43.75 个百分点(注。
RefCloth 框架在冻结源策略下优化单一持久对抗桌布,实现零样本跨任务与模型迁移。该方案在四个 LIBERO 仿真套件中,使 OpenVLA-OFT、π0 及 π0.5 的成功率相对未优化桌布平均降低 62.50 和 43.75 个百分点(注。
Vision-Language-Action (VLA) 模型在微调后常出现灾难性遗忘,导致原有视觉与语义理解能力下降。本文提出一种无需重训的参数合并方法,提取任务向量并通过奇异值分解控制保留的适应程度,实验表明该方法能同时保持动作预测和视觉语言能力,且表现优于现有基线。
推荐理由:提出通过奇异值分解合并 VLM 与 VLA 参数,在不重训情况下恢复视觉语言能力并优于现有基线。
该论文提出一种无需束缚手指的多模态框架,利用基于 Vision Transformer 的视觉编码器和基于 Transformer 的 EMG 编码器,配合自由度(DoF)查询 Transformer 融合解码器,实现从眼动 RGB 图像和 128 通道前臂高密度表面肌电信号对 20 个手部关节角度的连续回归。
该研究针对视觉语言动作(VLA)策略易受对抗扰动的问题,提出一种无需目标侧对抗训练即可复用源任务防御能力的跨任务防御方法。作者引入 Source-Norm Transferable Robustness Vector (SN-TRV) 技术,仅利用源更新均值方向并校准幅度,将其应用于目标视觉编码器,无需额外推理模块或梯度优化。
推荐理由:提出无需目标侧对抗训练的跨任务防御复用方法,通过源更新迁移提升 VLA 策略鲁棒性。
Zixuan Jiang 在 arXiv 发布了一项关于多视图视觉增强的受控研究,利用仿真状态回放解耦了跨视图关联与单相机扰动分布。实验涵盖七个 LIBERO 操作任务,结果显示全局外观、鬼影注入和目标颜色的边际匹配变化对晚期融合扩散策略的平均成本影响微小;而几何反耦合观测使成功率下降约 3.30 个百分点。
推荐理由:该研究通过受控实验量化了多视图外观增强中不同一致性形式对下游控制策略的影响,为选择性约束提供了依据。
VOKE 是一个运动学感知感知框架,通过可插拔模块预测物体的线角速度加速度并优化位姿估计。在 DexYCB 和 OakInk 数据集上,该方法显著降低了速度与加速度误差,优于基于位姿差分的方法。下游应用利用增强策略在无微调情况下成功从仿真迁移至物理机器人,验证了感知到控制的完整路径。
论文提出一种名为 Show, Don't Tell 的自监督系统,旨在解决机器人快速识别演示中出现的未知物体的问题。该方法通过在自动创建的、由人类演示监督的数据集上训练专用目标检测器,完全绕过语言描述和复杂的提示工程。研究开发了集成在机器人上的系统,将这一范式应用于现实世界的机器人部署,实验结果表明该流程在操作物体检测和识别方面显著优于现有最先进方法,从而提升了机器人的任务完成率。
论文指出VLA模型常因数据增强而将颜色视为噪声,导致在真实世界颜色依赖任务中成功率大幅下降(最高仅48.8%)。作者提出FLARE框架利用光照扰动暴露此类脆弱性,并设计ChromaGuard方法保留色度进行对抗训练。实验显示,基于SmolVLA的物理6-DoF平台在使用ChromaGuard后,良性与受攻击任务的平均成功率分别达到95.0%和88.8%,显著优于未防御基线。
针对通用视觉基础模型缺乏对机器人控制所需时序敏感表征的问题,本文提出 SPARK 方法。该方法基于时序抽象与知识保留两大原则,在保持预训练语义的同时提取紧凑的视觉状态表征。实验表明,SPARK 在多基准测试中持续优于原始基础模型,且其增益可迁移至真实世界的机器人操作任务。
论文研究了多数据集训练及 BEV-Forcing 辅助目标,旨在提升视觉语言动作模型在自动驾驶中的跨载体泛化能力。通过引入鸟瞰图空间接口共享物体位置表示,该方法在小规模相机配置下能同时改善分布内与分布外性能;但随着训练载体数量增加,辅助任务的收益逐渐减弱。该研究为理解数据扩展对 VLA 迁移学习的影响提供了新视角。
针对现有图像质量评估方法仅对齐静态基准且忽略下游任务的不足,本文提出一种基于多模态大语言模型(MLLM)的具身图像质量评估框架。该框架通过推理任务需求、定位质量证据并生成面向决策的评估,将 IQA 从分数回归转向由具身任务效用定义的目标条件判断。
AFFORD2ACT 研究仅用稀疏视觉表征进行机器人操作的可行性。该方法利用现成的语言条件化 affordance 模型定位任务相关区域,选取最多 15 个物体关键点和 4 个末端执行器关键点(共 19 个点),并辅以轻量门控机制决定注意力分配。
推荐理由:该工作证明仅用 19 个稀疏关键点即可在六项真实机器人任务中超越 RGB/Dense 基线,平均成功率达 82%,为紧凑状态表示提供了新范式。
该论文提出一种基于 Transformer 的自编码器架构,旨在解决跨不同骨骼拓扑结构的运动重定向难题。核心贡献是引入可学习的骨架图扁平化方法,将基于图的位移编码以乘法形式整合进模型,从而在无需成对数据的情况下实现完全无监督训练。实验表明,该方法在零样本评估中将全局关节位置误差降低了 43-47%,并在包含专家动画师的用户研究中,在动作对齐和物理合理性方面获得最高排名。
EgoTac 是一个可泛化的模型,能从第一人称人类视频中直接预测丰富的触觉信息。该模型在超过570万张图像 - 触觉对组成的统一语料库上训练,涵盖连续力测量和二元接触。
针对多相机方案成为标准但单目全局视角难以捕捉精细交互细节的挑战,论文提出了空间条件化扩散策略(SCDP)。该方法将末端执行器轨迹作为视觉注意力锚点,通过视觉编码器生成多尺度特征图并采样中间轨迹上的点对点特征。实验表明,该策略在仿真中优于强基线且接近多相机性能,真实世界实验中展现了精确操纵及对视觉干扰的鲁棒性。
推荐理由:提出单目相机扩散策略,在仿真与真实场景中均实现高精度操作。
该研究提出 VLX-Go 方法,旨在解决机器人从单一目标到存在干扰者时的跟踪难题。模型采用冻结视觉编码器、Transformer 骨干及轻量级头,训练分视觉语言对齐、多模态推理和跟踪专业化三阶段,在 19,532 个 oracle 集上实现 55.80% 的干扰跟踪成功率,优于早期 OmTrackVLA 模型的 41.54%。
arXiv 预印本论文提出 w^2VLA 新架构,通过重构信息流将视觉、空间与技能信息以组合且可解释的方式调制机器人状态序列。该方法旨在解决当前 VLM 微调范式在零样本技能迁移到未见物体时的泛化瓶颈,实现声明性知识与程序性知识的解耦。材料为预印本版本,未报告真实部署结果或具体实验数据。
世界动作模型(WAMs)继承了预训练视频生成模型的先验,但其变分自编码器(VAE)的视觉表征是为重建优化的而非操作。本文系统对比了多种视觉表征、五种融合机制及特征组合,发现强通用视觉表征能提供更广鲁棒性;通道级联合预测取得最高平均成功率;额外信息源需根据任务相关性选择。
推荐理由:系统对比了视觉表征与融合机制,提出 R^2-WAM 架构,在 RoboCasa GR1 Tabletop 任务上达到 84.7% 成功率。
论文提出 StereoEngine 方法,旨在解决机器人操作中大规模真实世界双目数据集稀缺的问题。该方法包含两种互补的合成路径:一是利用估计深度和图像修复模型将单目视频转换为双目对;二是在仿真环境中直接渲染一致的双目视图。实验表明,生成的立体数据质量优于现有基线,且用于策略中期训练或特定任务微调时,能显著提升双手操作任务的下游性能。
10月8日,MIT韩松团队联合英伟达、香港大学和加州大学圣地亚哥分校发布了世界动作模型Long-WAM。该框架旨在满足实时控制要求的同时扩展因果世界动作模型的上下文长度,利用历史视觉信息辅助动作决策。
推荐理由:MIT韩松团队联合英伟达等发布的Long-WAM,通过分阶段预训练扩展了世界动作模型的视觉上下文长度,在保持实时响应的同时显著提升了复杂连续操作任务的成功率。
该研究利用 NICO 机器人平台在共享工作空间场景下,评估了四种先进的注视估计方法。结果显示角误差接近通用基准,但换算为距离时最佳中位误差高达 14.57cm,揭示了当前方法的实际局限。论文已接受收录于 ICETA 2026 会议论文集,代码与数据均已公开。
针对机器人需依据人类指向或操作动作执行任务的挑战,论文提出实例锚定交互证据方法。该方法通过反向掩码传播保持物体身份,并结合几何描述生成文本化证据,使语言模型在 WatchAct 基准的隐式意图任务上计划成功率达 64.2%,远超 32B 视觉语言模型的 27.5%。研究证明该增益主要源于实例锚定证据本身,且无需特定训练即可处理模仿与复原任务。
本文提出了一个针对交互型智能机器人系统的基准测试,系统评估了十种神经网络架构在五种不变集任务和五种有序序列任务上的表现。研究发现 BiGRU、TCN、Conv1D 和 GRUReLU 四种轻量级架构(参数少于 2000)在十八种架构中 consistently top-performing。
针对机器人学习中利用视点或背景等无关特征进行捷径学习的普遍问题,本文提出任务清洗方法。该方法基于域对抗训练,无需策略 rollout 即可通过动作边距指标评估不同视觉语言模型骨干对视觉捷径的易感性,并有效降低其对视觉捷径的依赖以提升分布外鲁棒性。
推荐理由:提出任务清洗方法,通过域对抗训练降低 VLA 对视觉捷径的依赖并提升泛化能力。
论文介绍 SocialNav-SUB 基准(Visual Question Answering 数据集),旨在评估视觉语言模型在真实世界社会机器人导航场景中的场景理解能力,涵盖空间、时空及社会推理任务。
该论文提出了 VIA(Visual Interface Agent)框架,将机器人控制重构为智能体任务,利用现成的通用智能体通过虚拟工作空间中的鼠标式工具直接驱动机械臂。研究在仿真和真实世界移动操作机器人上实现了零样本的多样化桌面操作与导航任务,且性能随基础模型规模提升而增强,表明现有前沿智能体具备直接迁移至机器人控制的能力。
推荐理由:提出 VIA 框架,证明通用智能体无需训练即可通过虚拟界面直接控制机器人完成操作与导航任务。
该研究提出了 BiPO(Bidirectional Partial Occlusion Network)模型,旨在解决从文本描述生成自然且富有表现力的人体运动这一挑战。
针对仅靠几何占位信息难以区分相似结构但语义不同(如室内门口)的问题,该研究在 CogniPlan 数据集上引入门道诱导的模糊性,对比了纯几何模型与增加门道通道的语义引导模型。评估显示,虽然全图性能相近,但在局部门道区域,语义模型的 L1 误差从 0.004342 降至 0.000025,F1 和 IoU 分别提升至 1.0,证明语义线索能有效改善几何观测模糊区域的预测占位补全效果。
VolCo 提出了一种将表面点扩展至三维体素网格的体积接触表示法,以解决传统规则导致的严重穿透问题。其框架 VolCoDiff 结合局部变分自编码器与全局引导扩散模型,在两个基准数据集上实现了更少的穿透和更高的稳定性,支持紧密抓取的生成。代码已开源,论文已被 NeurIPS 2026 接收。
该研究针对家庭机器人需在物体频繁移动且视觉特征小的环境中持续导航的挑战,提出了 LiSoNav-Eval 基准与 IVAM-Nav 方法。LiSoNav-Eval 涵盖 28 个室内场景及 45 类小物体,包含不变与位移目标序列以评估记忆复用能力;IVAM-Nav 通过多视角检查与视点锚定记忆实现可靠感知与关系记忆更新。
针对现有手部追踪方法缺乏物理线索导致估计不准确的问题,该研究提出 RLHND 模型,利用预训练的 Cosmos 3 视频扩散骨干网作为确定性特征提取器,联合从单目自中心视频中估计手部姿态与真实触觉信息。
论文介绍 Sensor-Language-Action (SLA) 建模框架,将多模态传感器观测、自然语言与动作在统一模型中连接,利用语言作为语义接口实现异构动作的表示、预测与解释。
推荐理由:该工作提出统一传感器、语言与动作的建模框架,并构建大规模基准验证其在临床预测等真实任务中的性能。
论文提出一种名为 TransMASK 的自监督方法,通过学习到的掩码将图像特征转化为仅保留任务相关部分的形式,从而增强机器人策略对无关特征(如背景颜色、干扰物位置)变化的鲁棒性。该方法无需额外标签或修改损失函数即可与多种模仿学习框架结合,在分布外环境测试中相比基线提升至少 30% 的鲁棒性。
针对具身智能中成对视觉 - 触觉数据收集成本高的问题,本文提出 PhysTacGen 框架以合成光触觉图像。
推荐理由:提出 PhysTacGen 框架,利用强化学习生成材料描述并结合几何先验合成光触觉图像,在 SSVTP 数据集上优于基线且能提升下游力系数预测性能。
论文介绍 ROMA 系统,该系统基于大语言模型实现视觉、听觉、触觉和力觉的融合,通过推理 - 交互 - 反馈闭环主动获取缺失证据以推断物理属性。研究构建了包含近 2000 个物体及 6 种原子交互的 ROMI-2K 数据集,并开发了两阶段训练框架使模型能评估证据充分性、选择交互方式并进行多感官推理。
TwelveLabs 发布了 Pegasus 1.6 模型,旨在通过视频理解赋能物理 AI。该模型专注于第一人称视角(egocentric video)的理解,无需特定硬件即可处理现有视频数据及静态图像。Pegasus 1.6 提供动作分割、密集标注、质量评分、搜索策展和合规标记五种工作流,帮助机器人团队从真实人类经验中提取结构化知识,用于训练灵巧操作等任务。
针对 FastWAM 风格的世界动作模型在视觉分布偏移下泛化性差的问题,本文提出 CSWAM,通过引入基于 V-JEPA 2.1 的因果语义专家来增强对语义状态变化和运动的表征。
该论文通过场景保持的指令干预实验,发现 VLA 和世界动作模型(WAM)在仿真与实机中虽能成功执行任务,却常忽略用户指令而选择场景偏好的原始目标。线性探针显示指令被编码但难以控制动作生成,注意力分析证实了视觉 grounding 不匹配问题。研究提出了一套诊断框架,为衡量策略是否真正遵循意图变化提供了具体标准。
推荐理由:研究揭示 VLA 与 WAM 存在指令编码与控制脱节,提出基于场景干预的诊断框架以评估真实意图遵循能力。
论文介绍 JESSI(JAX-based E2E Safe Social Interpretable navigation),这是一个轻量级端到端强化学习框架,直接将原始 LiDAR 扫描映射为运动学可行的控制指令。
该研究提出一种拓扑优先的主动重建框架,旨在解决微空载飞行器(MAV)在室内快速 3D 重建时的严格飞行时间预算与安全约束问题。系统优化稠密 3D Gaussian Splatting 作为重建目标,同时利用轻量级截断符号距离场(TSDF)/占据栅格构建稀疏 3D Voronoi 骨架路网以支持保守碰撞检查与在线规划。