SAPS:通过融合遥操作与预训练 VLA 实现策略引导的共享自主性
针对通用机器人操作模型对分布外扰动脆弱且全人工遥操作认知负荷高的问题,本文提出 SAPS 框架,在动作层面实时融合人类遥操作指令与预训练视觉语言动作(VLA)模型输出。
针对通用机器人操作模型对分布外扰动脆弱且全人工遥操作认知负荷高的问题,本文提出 SAPS 框架,在动作层面实时融合人类遥操作指令与预训练视觉语言动作(VLA)模型输出。
针对现有自动驾驶 VLA 模型仅依赖正样本演示导致鲁棒性不足的问题,本文提出 SpanVLA 模型及 nuReasoning-NR 基准数据集。该数据集包含 3.6 万个推理密集型场景,其中 3000 个次优轨迹和 3000 个专家恢复轨迹。
针对现有视觉语言动作模型缺乏故障诊断与恢复监督的局限,本文提出 RoboFAC 框架并构建包含 9,440 条错误轨迹和 78,623 个问答对的大规模失败数据集。开发的多模态轻量模型在任务理解、故障分析与修正上表现优异,故障分析准确率比 GPT-4o 高 34.1%,作为外部监督器集成后四项任务相对提升 29.1% 且延迟更低。模型与数据已公开。
SQAM 通过利用预训练流策略雅可比矩阵对角化特性,以闭式标量伴随替代逐步向量 - 雅可比积,显著降低计算成本。该方法结合动作处的价值惩罚,在 OGBench 四个最难领域成功率较最强基线提升 18 至 35 个百分点。实验还验证了其在真实双臂机器人上的有效性,SQAM 在所有三项任务上均优于监督微调结果。
视觉语言动作模型(VLAs)对指令措辞高度敏感,单字修改即可导致成功率大幅波动。研究通过统计测试和 oracle 短语搜索发现,仅凭措辞调整可缩小分布内与分布外任务间的性能差距。
推荐理由:原文揭示了 VLA 对指令措辞的高度敏感性,并提出无需重训的改写规则蒸馏方法,可显著提升模型在分布外任务上的成功率。
该方法利用冻结视觉语言模型(VLM)对语义提示的响应特征构建紧凑画像,无需微调即可识别对抗输入。在多种公开数据集、CLIP 风格骨干网络及梯度优化类攻击下,其判别力优于嵌入几何基线且保持泛化性能。研究还验证了该方案在提示配置变化下的有效性及对抗自适应攻击下的推理成本与表现。
论文发布 Video Prediction Policy 2(VPP2),一种旨在将视频预测先验转移至动作学习的世界动作模型(WAM)。针对现有模型在开放环境中产生错误运动预测的问题,作者通过大规模操作视频数据集进行事件级预训练以增强泛化性,并将视频模型蒸馏为单步视觉规划器,同时引入混合 Transformer 架构的动作模块以学习隐式逆动力学模型。
推荐理由:作者提出 VPP2,通过事件级预训练与混合 Transformer 架构解决现有世界动作模型在开放环境中的运动预测错误问题。
RoboSteer 是首个针对行为基础模型(BFMs)的行为可控性基准,涵盖条件、约束与组合三个层级。研究在大规模多模态运动语料支持下,对 9 种现有 BFM 进行了首次大规模实证评估。该工作旨在推动具身智能将人类意图转化为目的性动作的基础研究。
该论文对 pi_0.5 和 GR00T N1.7 两个先进的视觉 - 语言 - 动作模型进行了受控的机制可解释性研究,旨在探究其动作生成是依赖语言指令还是主要依靠视觉线索。
针对强化学习微调后视觉语言动作(VLA)策略泛化性受限的问题,本文提出 DRIVE 方法,通过将成功行为的多样性转化为内在奖励来鼓励更广泛的可行解覆盖。该方法在 LIBERO-Plus、ManiSkill3 和 RoboTwin 2.0 基准上显著提升了域外性能,并在 AgileX PiPER-X 双臂物理平台上将平均成功率从 64.1% 提升至 73.3%,证明了其在真实部署中的有效性。
论文介绍 Juno 框架,利用联合嵌入预测架构(JEPA)构建控制对齐的表征骨干、预测教师及可适应动力学模型。通过动态 CLS 损失转移运动加权补丁动力学,融合当前帧 JEPA 补丁并解耦推理分支以蒸馏未来潜状态用于动作生成。
推荐理由:提出基于动作条件 JEPA 的统一框架,解决预训练与部署中的表征失配问题,在仿真与真机实验中均提升成功率。
SNAP 提出一种生成模内困难负样本的方法,彻底规避了跨模态构造过易或包含正样本、以及模内构造引入匹配正样本这两类失效模式。该方法无需外部生成模型且训练开销低于 10%,在 CLIP 和 FLIP 架构上显著提升了零样本检索与分类性能。
该论文针对视觉语言模型通过裁剪、区域和工具观测进行推理的现象,研究候选者绑定的视觉贡献。作者引入CROSS-Bench基准(含2.8万个决策问题)及RIVET接口,用于保持证据身份与不确定性并控制其强度。
视觉语言动作(VLA)模型虽具强泛化能力,但在部署时常出现状态幻觉,即误以为已达成未实现的机器人 - 物体交互状态。研究分析发现,此类幻觉伴随对任务相关视觉区域注意力的减弱,且稀疏自编码器揭示特定稀疏特征在失败时激活。
TMT 是一种基于 Token Manifold 和潜在状态转移建模的运行时后门检测器,能在未见任务上识别保留良性性能却触发恶意动作的后门 VLA 策略。该方法在十基线对比中达到最先进性能,并通过自蒸馏技术利用冻结的后门策略监督学生模型进行净化,无需额外干净参考策略。项目页面已公开,相关代码与权重许可情况待进一步确认。
TempoBridge 是一个轻量级框架,利用冻结的 VLA 表征根据指令中的节奏线索调制动作执行速度,无需额外的节奏条件化机器人演示或基础策略微调。该框架从上下文 VLM 表征中提取节奏线索,通过因果阶段路由器将其与任务进度对齐,并在执行期间调制名义运动命令。
论文发现扩散策略常因独立动作噪声配对导致路径混合而坍缩至单模态,为此提出 Immiscible Diffusion Policy 作为训练时插件以保留多模态行为。该方法在五个仿真和两个真实人形操作任务中显著提升了非主导模态比例并恢复了缺失的动作模式,且无需修改策略架构或推理流程。
该研究提出基于视觉 token 数量与覆盖内容的理论框架,解释了 VLM 在大图像中漏检小物体的原因及缩放操作的代价。实验表明,局部分解策略在满足特定重叠条件下不会降低召回率,且在某些场景下能提升效果。材料为预印本论文,未涉及真实机器人部署或产品发布。
推荐理由:理论界定了大图像中漏检小物体的根本限制,并证明局部分解策略在特定条件下可无损提升召回率。
该研究提出一种结合视觉语言模型(VLM)的上下文感知自适应喷药框架,使农业机器人能整合作物、农药及天气数据做出优化决策。实验表明该方法在检测作物行时准确率至少提升 30%,并在两种环境中验证了灵活调节喷量与车速以减少飘移的能力。
针对机器人轨迹数据难以扩展的问题,该研究提出 VLAct 模型,通过在多具身异构机器人数据上进行广泛预训练,保留视觉语言先验并鼓励跨具身的共享动作语义。
论文提出 Guided Action Flow (GAF) 方法,在冻结的视觉语言动作(VLA)策略基础上学习紧凑的动作价值评论家,利用其梯度引导反向时间流采样以生成动作。
当前视觉语言动作(VLA)模型常优化语义定位,而可执行操作需要感知几何的空间对齐。本文提出 GeoAlign,一种状态引导的空间对齐架构用于 VLA 策略学习。
STAVE 提出通过嵌入层添加读写与上下文两个特定向量,以零样本推理成本替代传统上下文学习中的演示图像。该方法在六种多模态大模型及五种大语言模型上实验显示,其参数更少且优于 15-shot ICL 及先前任务向量方法。该技术报告已在 arXiv 发布,代码与权重开放许可待定。
MRPilot 是一种围绕形成、审查、跟随和修复四个阶段设计的混合现实系统,用于监督与干预基于大语言模型的多机器人团队。在虚拟仿真家庭环境中的 20 人受试者实验显示,该系统相比使用相同规划器能力的传统对话界面,显著降低了工作负荷并提升了情境感知度与信任感。研究为多尺度干预、自适应监督及校准依赖提供了设计启示。
针对微调 Qwen2-VL-2B 在 Android in the Wild 数据集上的动作类型输入问题,研究发现辅助损失、加法嵌入和提示词使 [email protected] 提升五至七个百分点。移除预处理中钳制离屏触摸点的序列化器后,基线准确率提升近七点,此时无机制超越且排除了两点效应。注入 conditioning 会导致图像 token 回退至一维位置并损失九分,该预印本代码与日志已公开。
该系统利用视觉语言模型与跨模态注意力架构,在无需导航图或全景视图的连续环境中实现仿真到现实的域迁移。通过在搭载相机和激光雷达的阿克曼转向机器人上采集数据微调,模型离线运行并成功适应真实环境。实验基于 SPL 和 nDTW 指标评估,验证了该方法在无完美定位条件下的鲁棒性与适应性。
论文介绍 EgoLAP,一种 VLA 预训练框架,旨在解决具身智能中的体现差距问题。该方法将运动意图表达为结构化、时间抽象的语言动作,并结合场景几何、物理和物体功能进行运动级推理,从而更有效地从人类经验迁移到机器人控制。实验显示,EgoLAP 在真实世界任务进度上达到 80.1%,相比其他动作表示方式提升 2.3 倍,且其运动级推理优于结合子任务、对象框和视觉轨迹的复合推理格式。
SpaTime 是一种流式视觉语言模型,通过每帧融合因果几何 token 在视频到达过程中实时进行三维空间推理。该模型在 StreamVSTI-Bench 基准上达到 49.2% 整体准确率,将平均响应时间误差较最强基线降低 66%,解决了传统离线 VLM 需完整视频的局限。
论文介绍了 WareFly-VLA,这是一个用于智能仓库中语言引导的人体搜索、定位和跟踪的光真实感无人机 VLA 框架及数据集。该数据集包含 507 次人工遥操作飞行片段和 8,504 个高分辨率 RGB 过渡帧,均在 NVIDIA Isaac Sim 中采集,并配有人工撰写的目标外观描述与同步的四自由度控制指令。
推荐理由:该工作填补了仓库环境下无人机语言引导控制的基准空白,揭示了当前基础模型在空载平台迁移的局限。
针对自动驾驶场景下的视觉语言模型(VLM),该研究提出了一种名为时空一致性对抗攻击(STCA)的黑盒攻击方法。实验基于 BDD100K 和 nuScenes 数据集,对 Video LLaVA-7B、Qwen2.5-VL-7B 及 Dolphin 三款模型验证了其在保持高结构相似性下的空间攻击成功率。结果揭示现有视频语言模型在驾驶场景中极易受时序感知对抗样本影响,凸显了构建防御机制的紧迫性。
该论文提出 VOMMI 框架,旨在解决具身智能中便携 RGB 演示数据稀缺及运动监督难题。系统通过离线轨迹重建与在线视觉运动条件化连接便携演示与视觉语言动作模型后训练,无需人机运动学校准即可同步身体与手部视角。
论文介绍 ViDAL,这是一种将连续动作潜在变量锚定在未来场景视觉动态中的表示方法。通过训练动作变分自编码器(Action VAE)重构动作片段并使其潜在空间与未来动态对齐,该方法可作为插件接口兼容多种 VLA 架构,并支持可选的未来视频预测能力。
针对 VLA 模型因处理长序列导致计算成本高、难以实时部署的问题,本文提出 VLA-ACL(Action Consistency Learning)方法。该方法通过动作级监督学习轻量级视觉 Token 剪枝策略,在保持基座 VLA 模型完全冻结的前提下,确保剪枝后的视觉上下文生成的动作与全量上下文教师保持一致。
该研究针对人机物体交接中需预测特定任务手部姿势的挑战,提出了 GENESIS-Handover 方法。该方法利用视觉语言模型(VLM)的图像生成功能,为多种手物交互模式生成假设,并实时匹配观测到的人手姿态以推断最佳交接配置。实验在移动操作臂上进行用户研究,结果显示该方法在任务理解能力上优于现有最先进方法。
针对扩散或流匹配动作头在处理去噪轨迹时缺乏阶段感知的不足,该研究提出 StairVLA 框架,利用部分去噪动作作为高层长视界规划与局部精细化的接口。系统采用高层 VLA 进行早期去噪以生成可复用的长时序轨迹,同时由轻量级精炼器高频更新局部动作块。
推荐理由:该方法通过分层架构复用高层 VLA 计算并保留高频闭环修正,在 LIBERO 基准上提升成功率并降低推理延迟。
论文介绍 Foveated Compression 方法,通过行为自蒸馏合并器压缩局部视觉 Token 并保留兼容性,利用轻量选择器在九个空间单元中选择一个以原生分辨率保留。实验显示在 11.11% Token 预算下与均匀下采样无显著差异,20.99% 时学习的选择器优于随机或固定分配但弱于全图缩放,揭示局部保真并非总是最优。预印本状态,未报告真实机器人部署结果。
SALM 是一种无需图像 - 文本对即可协同局部与全局对齐的无监督嵌入对齐框架,利用双矩阵策略显式校准空间相关性并设计隐式机制恢复语义细节。该方法扩展出的 SALM-Self 范式仅凭 CLIP 浅层特征实现高效自蒸馏,在密集预测任务中显著提升性能并增强多模态大模型的零样本准确率。
针对同质智能体在泊松分布时间进行间歇通信的分布式目标搜索问题,研究提出熵门控信念协调机制。实验基于 103,680 次 trials(含最大 100×100 网格及四种目标运动模式)验证,EG-TDP 规划器平均信念质量达 0.300,较算术均值提升 58.9%、较访问加权融合提升 37.4%,且在随机间歇接触下优于联合贝叶斯参考基线。
RACER 是一种结合 MPPI 规划器、学习到的残差动力学模型及底层 RL 速度跟踪器的分层控制框架,用于轮式四足机器人赛车。该方法通过 LoRRA 技术在大规模仿真预训练基础上利用少量真实数据微调低秩约束残差模型。实验表明,在高速过弯时引入残差动力学能显著提升性能,且相比仅用目标域数据或从头训练,混合源域与目标域数据及施加低秩约束的策略在接地系数或关节增益存在域差距时具有更高的成功率和表现。
针对单一 VLA 模型在不同任务状态和环境下的性能局限,本文提出了 SWAP 框架,将策略路由建模为离线强化学习问题以动态选择最优策略。该方法在真实世界的 DROID 操作任务和 LIBERO 仿真实验中均优于固定策略及基线路由方法,真实任务成功率绝对提升最高达 33%,同时减少了成功轨迹中的机器人动作步长。
推荐理由:该工作提出动态组合多个 VLA 策略的框架,在真实操作任务中成功率提升最高达 33%。