PICES:一种加速 VLA 模型推理的扰动感知执行方法
针对固定视界执行导致策略调用频繁的问题,本文提出无需训练的 PICES 方法,利用同一条件特征下生成的动作块及其局部扰动版本的差异,自动选择最优执行窗口与动作块。实验表明,该方法在 Jetson Orin 和 Thor 平台上相比固定视界基线,推理耗时最高可提升 2.3 倍,同时改善了任务成功率。
针对固定视界执行导致策略调用频繁的问题,本文提出无需训练的 PICES 方法,利用同一条件特征下生成的动作块及其局部扰动版本的差异,自动选择最优执行窗口与动作块。实验表明,该方法在 Jetson Orin 和 Thor 平台上相比固定视界基线,推理耗时最高可提升 2.3 倍,同时改善了任务成功率。
论文 SPECTRA-VLA 提出一种方法,在不重新训练视觉编码器或动作解码器的情况下,为预训练的视觉 - 语言 - 动作模型提供原生宽度的光谱升级。该方法通过学习到的连续残差丰富每个目标令牌,并利用投影、归一化控制和验证校准的注入来调节变化。
推荐理由:提出在冻结 VLA 接口上通过连续残差注入提升高光谱识别,无需重训编码器或动作解码器。
该论文提出 Eye, Robot 框架,利用异步视觉语言模型选择场景参照物,结合反应感知模块维持注视,并通过 Realistic Gaze Transformer(RGT)生成目标条件化的运动。
ICMC 将参数指定、指令生成与代码合成分离,使 UR5e 机械臂在 MuJoCo 仿真中执行结果可追溯至程序。相比 o1/o4-mini 的一次性生成,该方法通过 GRPO 训练出开放权重的指令策略,在方块放置任务上将正奖励率从 31.6% 提升至 35.3%。研究引入独立评估协议以区分控制与成功判定,确保结果可复现且未宣称真实部署或量产能力。
论文提出 PolyMorph 框架,将机器人 URDF 转换为关节连杆模块,结合循环编码器、基于图的 Transformer 和每关节解码器,生成适用于不同腿数和关节配置的单一运动策略。
推荐理由:PolyMorph 框架通过形态归一化奖励与图 Transformer,实现单策略跨双足、三足及四足机器人的通用迁移。
ForceBench 是一个用于评估六轴腕部力反馈集成的仿真基准,包含八个涵盖物理属性推断、阻力依赖交互及接触丰富装配的任务,并配有 1,600 次同步演示。研究在共享 backbone 上对比了无基线及六种集成设计,发现 Prompt Fusion 在仿真中平均成功率最高(35.31%),真实世界评估显示其所有任务均优于基线。
针对视觉语言动作(VLA)模型在长程移动操作中成功率骤降的问题,本文系统诊断了任务规划、导航定位及局部操作三大失效瓶颈,并提出失败引导的智能体干预方案。该方案通过演示规划指导、自适应视觉记忆、无障碍基座调整及末端执行器微调,将 RoboCasa365 基准的成功率从 19% 提升至 47%,在 BEHAVIOR-1K 和真机任务中亦取得显著改善。代码将于 arXiv 链接处发布。
该研究提出了 RoboSpan 平台及分层模块化框架(HMF),旨在解决全身移动操作中的运动异质性与误差累积问题。方法将 29 自由度动作空间解耦为手部精细操作、臂部姿态调整与移动基座空间配置分支,并引入协同模块具身 Transformer(COMET)实现跨模块信息交互。
论文介绍 Robota-Embed,据称是首个同时编码当前状态查询与记录的未来延续的视觉 - 语言 - 动作(VLA)嵌入模型。研究构建了包含 169.5 万条清洗后训练锚点的多源语料库及 Robota-Embed-Bench 基准。
该研究基于 LIBERO 数据集发现,Vision-language-action (VLA) 策略对特定指令字符串高度敏感,同义改写会导致基线 OpenVLA 成功率下降约 38.0 分。
推荐理由:揭示指令微调策略对 VLA 模型鲁棒性的影响,指出同义改写无法恢复因指令依赖导致的性能损失。
论文提出了$S^3$-Nav框架,旨在解决部分可观测环境下的语言引导机器人导航问题。该方法不预设完整环境表示,而是增量构建持久化的空间语义状态,仅向高层策略暴露容量可控的任务条件视图。
推荐理由:该工作提出结构化空间语义决策框架,通过分离持久状态与策略视图提升导航可靠性并降低推理成本。
LAMP 利用 Qwen3-VL-8B 在 Infinigen 测试集上实现点条件光源感知,将主导光源三维 [email protected] 从 0% 提升至 70.6%,且正确定位光源的方向误差中 94.5% 小于 12.5 度。该框架结合轻量网络预测密集 RGB 辐照度,在保持渲染质量的同时实现单个物理光源的三维定位与归因。研究基于程序控制的室内场景进行监督,代码与权重暂未提及开放许可。
论文提出 MIND(Maintenance via INstruction-conditioned Dependencies)框架,旨在让遵循持久语言指令的机器人在环境变化时避免重新评估所有房间判断。
针对机器人拆解末态产品需适应变异、遵循先决序列及精确接触的挑战,现有监督微调数据难以覆盖环境变化与不确定性。本文提出 PACER 框架,利用策略自身的尝试记录与人类的错误修正经验,通过基于进度和来源/结果的证据重加权机制优化 SFT 损失。该方法在 UR5e 母板上五类组件的拆解基准测试中,成功接近并移交次数达到 87/100,优于普通监督微调后的 54/100。
针对月球表面极端光照对比和部署时的感知干扰问题,本研究设计了一种用于自主月球车对接的端到端视觉语言动作(VLA)策略,并将其与模块化导航流水线进行对比。研究构建了一个可扩展的训练框架,在高保真月球仿真环境中生成了具备安全意识的专家演示数据。
FACT 是一种用于灵巧操作的多模态基础模型,通过级联前瞻性视觉规划与力觉感知细化来提升表现。该模型包含两个联合训练组件:Track-Guided Coarse Planner 预测动作、未来视频和视觉轨迹;Force-Action Joint Refiner 在粗粒度计划基础上联合预测未来力并细化动作。
该论文研究了在 VLA 模型零样本迁移之外,针对新任务进行适应时的最佳方法选择问题。研究对比了离线与在线数据场景、最优与非最优轨迹数据的影响。结果显示,在有失败数据时,基于评论家的引导方法优于监督微调;但在离线 RL 中,简单的蒙特卡洛方法表现不逊于复杂的评论家训练函数;在线设置下,基于评论家的引导样本效率更高但性能上限低于全量微调。
针对不同具身形态导致的状态转移动态不兼容问题,论文提出 PACE 两阶段框架:第一阶段利用离线轨迹预训练提取任务级上下文,第二阶段引入预测动力学适配器作为潜在正则器,在保持实时推理的同时将策略锚定在执行机器人的转移行为上。
论文提出了 SafeDriveVLA,这是首个将导航遵循与冲突感知结合评估的驾驶视觉语言动作(VLA)基准及模型。该模型通过显式预测三级导航合规模式并利用导航条件化的世界模型进行‘做梦’,以判断严格跟随导航信号是否安全。
该研究提出 VLX-Go 方法,旨在解决机器人从单一目标到存在干扰者时的跟踪难题。模型采用冻结视觉编码器、Transformer 骨干及轻量级头,训练分视觉语言对齐、多模态推理和跟踪专业化三阶段,在 19,532 个 oracle 集上实现 55.80% 的干扰跟踪成功率,优于早期 OmTrackVLA 模型的 41.54%。
SenseNova 联合研究团队发布了 GPT-6-Astra 的评估报告,指出该模型在机器人操作与导航任务中展现了挑战传统专用模型范式的竞争力。研究通过大规模基准测试发现,尽管上下文学习(ICL)能带来前所未有的性能提升,但在真实部署中存在演示采集成本高、物理约束下无法以更长执行换取更高成功率等显著差距。
该论文针对长程任务训练中终端奖励信号利用率低的问题,提出 CoPE 方法,通过引入多步动作目标实现智能体行动与预测的协同进化。在 ALFWorld、ScienceWorld 等五个基准测试中,该方法相比 GRPO 和 ECHO 基线实现了更高的样本效率和更强的综合性能,且无需额外模型或推理开销。代码已开源。
该论文针对长视界智能体强化学习中因策略探索失败导致无法有效分配信用的问题,提出 SERO 方法。该方法在恢复当前策略实际到达的状态后,利用仅用于训练的预言机与环境交互,获取下游观测与动作作为监督信号,并通过策略可达性加权优化损失函数。研究在 ALFWorld 和 WebShop 两个基准上验证了该方法的有效性,且推理阶段无需使用预言机。
推荐理由:提出 SERO 方法,利用可执行预言机续写解决长视界强化学习的监督难题。
针对语言模型智能体在长任务中频繁出现重复工具调用(循环)的问题,论文提出 DeLoop 方法。该方法利用智能体自身的 rollout 数据,将循环动作视为负样本、后续非循环动作为正样本,通过直接偏好优化进行自监督训练,无需外部奖励或人工评判。
推荐理由:提出利用自身循环行为进行自监督训练的 DeLoop 方法,无需奖励或人工评判即可降低长任务中的重复操作并提升成功率。
论文提出 Interlock 框架,旨在解决大语言模型智能体在处理碎片化证据和依赖关系时产生的局部正确但结果不完整的问题。该框架将每个任务表示为类型化的完成图,包含连接公共证据与决策的接地边、跨组件施加联合约束的超边以及连接决策与下游效果的实现边。
论文介绍 Socratic Skill Learning (SSL) 框架,该框架让智能体在专家指导下进行自我练习与技能编写,从而获得可复用的任务知识。研究构建了包含 35 个任务家族和 408 个执行案例的 SkillTransferBench 基准进行测试。
推荐理由:提出 Socratic Skill Learning 方法,通过 interleaved teaching 提升 Agent 技能复用性,并开源基准与代码。
针对微调后的视觉语言动作模型(VLAs)在分布外场景下行为不可预测的问题,本文提出 VLA-FAIL 框架,结合末层马氏距离与动作块一致性两种无需失败数据的检测方法。研究引入 AUCPDT 指标以平衡检测精度与时延,并通过大量真实世界与仿真实验证明该方法能有效捕捉互补的失效模式,显著优于计算昂贵的基线方法。
该论文研究了如何通过另一个代码智能体自动优化视觉界面机器人代理的 harness(提示词、工具与控制规则)。研究发现,optimizer agent 每轮看到的 rollout 数量决定了进化后的 harness 泛化能力:训练批次从 5 增至 100 时, held-out 成功率上升,小批次则过拟合。
MetaWild 数据集包含 20,890 张六种物种图像及环境元数据,配合轻量级 Meta-Feature Adapter (MFA) 模块可融入现有视觉语言模型。实验表明结合元数据的方案在 MetaWild 上表现优于仅用视觉信息,验证了引入温度、昼夜节律等生态关联特征对个体识别的有效性。该工作通过 arXiv:2609.34094v2 发布,旨在推动野生动物保护中的计算机视觉应用。
论文提出了 ARMS(Always-on Robot in Multi-modal Streams)框架,旨在解决机器人面对无限流任务时所需的持续观察、回忆过去动作及双臂并发执行挑战。
推荐理由:该工作提出 ARMS 架构,利用预训练骨干与轻量模块解决双臂并发下的持续感知、记忆与行动问题。
针对长程操作中多模态输入导致任务状态混淆的问题,论文提出了 TaskAnchor 这一轻量级适配器。该方法通过在预训练 VLA 的输入空间注入执行上下文,将语义执行阶段作为里程碑监督坐标前置到语言指令中,并利用残差更新融合细粒度历史视觉证据。
论文指出流匹配视觉语言动作(VLA)模型如 pi0 声称的抗干扰能力存在幻觉,源于以往攻击忽略了多步去噪常微分方程。作者提出 DRIFT 方法,通过在机器人夹爪上放置单个通用对抗补丁,仅攻击第一个去噪步骤即可破坏任务求解率。实验在四个 LIBERO 套件上的 pi0 和 pi0.5 模型验证了该方法的有效性,其效果远超动作空间和嵌入空间的攻击基线。
推荐理由:该工作揭示了流匹配 VLA 模型在去噪轨迹上的脆弱性,提出了一种仅需攻击首个去噪步骤的通用对抗补丁方法。
针对机器人传感器配置异构及意外失效的挑战,该研究提出 CoRE-VLA 框架,将动作生成表述为上下文感知的稀疏计算。通过模态可用性门控机制,模型可在利用辅助深度信息时提升性能,并在缺失传感器时实现优雅降级而不需重新训练;任务意图进一步路由至相关专家以增强多任务与长视界行为的专用性。
针对现有在线蒸馏方法在多模态推理中依赖静态教师路由、无法兼顾视觉 grounding 与抽象推理动态需求的问题,本文提出 H-OPD 框架。该方法通过令牌级教师仲裁机制,沿学生轨迹动态组合视觉语言教师与纯文本教师;同时利用视觉到语言的描述转移使纯文本教师获取关键视觉语义。在 11 个广泛使用的推理基准上的大量评估表明,该方法在多模态推理任务中表现出优越的性能。
针对当前机器人记忆基准多基于单集或短上下文的局限,该研究提出了 RoboMME-Interference 基准,通过为查询任务构建包含无关历史会话的长上下文环境来评估系统鲁棒性。实验发现,现有感知记忆变体在干扰下成功率显著衰减,而子目标记忆变体虽提升有限但保持更稳定;引入基于视觉相似度的检索步骤可有效恢复无干扰时的性能水平。
arXiv 预印本论文提出 w^2VLA 新架构,通过重构信息流将视觉、空间与技能信息以组合且可解释的方式调制机器人状态序列。该方法旨在解决当前 VLM 微调范式在零样本技能迁移到未见物体时的泛化瓶颈,实现声明性知识与程序性知识的解耦。材料为预印本版本,未报告真实部署结果或具体实验数据。
论文提出 HARP-VLA 框架,旨在通过人类 - 机器人成对演示作为跨本体桥梁,利用海量未配对视频进行动力学监督,训练出适配机器人的视觉编码器与潜在动作模型。
Easy-IIL 框架利用现成的基于模型的模仿方法作为助理专家,仅需单次演示初始化并在任务濒临失败时由人类干预,从而替代大部分数据采集阶段的人为操作。仿真与真实世界实验表明,该方法在保持性能主流基准相当的同时显著降低了人力负担,用户研究也证实了其能降低主观工作负荷。该成果已提交至 arXiv (arXiv:2603.12769),属于交互式模仿学习领域的预印本论文。
针对欠驱动软体机器人构型空间无限维且难以解析建模的问题,本文提出一种基于神经算子网络的闭环逆运动学算法。该方法将驱动到形变映射与形变到任务映射组合,利用无限维链式法则推导雅可比矩阵,并通过可微神经网络学习复杂的软体动力学模型。研究首先在恒定曲率段进行理论分析,随后在三纤维软体机械臂上验证了基于形态弹性理论和主动丝理论的算法有效性。
推荐理由:该文提出基于神经算子的无限维闭环逆运动学方法,解决欠驱动软体机器人的控制难题。
作者提出 Any House Any Task (AHAT) 框架与 TGPO 算法,利用大语言模型将指令映射为 PDDL 定义的可验证子目标以解决长视界规划难题。实验显示该方法在简短指令的复杂家庭任务中显著优于提示工程及现有学习基线。论文已撤回,作者决定停止当前形式的工作并无意发表手稿。