CoNav-UAV:基于 Stackelberg 学习的双高度空中协同导航
针对目标导向的空中视觉语言导航任务,本文提出 CoNav-UAV 方法,将高低空无人机建模为领导者与跟随者的 Stackelberg 博弈以解决感知与机动冲突。
针对目标导向的空中视觉语言导航任务,本文提出 CoNav-UAV 方法,将高低空无人机建模为领导者与跟随者的 Stackelberg 博弈以解决感知与机动冲突。
该论文提出 GLiBRL 框架,旨在解决现有深度贝叶斯强化学习方法依赖变分后验和证据下界导致的近似误差及表示不稳定问题。该方法将广义线性任务模型与可学习的非线性基函数相结合,利用共轭贝叶斯推断实现精确的序列后验更新和闭式边际似然,从而消除变分推断并支持策略算法的灵活集成。
推荐理由:该工作提出 GLiBRL 框架,通过共轭贝叶斯推断消除变分近似误差,在 MuJoCo 和 MetaWorld 基准上实现最高零样本性能。
针对视觉语言动作(VLA)策略在面对分布外物体时表现不佳的问题,该方法提出一种无需采集新数据的失败驱动数据增强框架。其核心在于直接操作 3D 空间,利用显式网格和时序一致的 6D 姿态轨迹锚定目标物体进行替换,从而保证多视角渲染的几何一致性。实验显示,在新型物体上微调 VLA 模型可使成功率相对最先进基线提升 16.5%,同时在真实机器人上将基础策略的成功率翻倍。
推荐理由:提出基于物理的物体替换框架,利用现有成功轨迹生成新演示以解决 VLA 模型在未知物体上的泛化问题。
该论文提出 Divergence-based Uncertainty-aware Adaptive Action Chunking (DUAC) 方法,利用预训练视觉语言动作模型(VLA)的向量场协方差公式,从单次生成的动作块中提取轨迹条件化的预测不确定性。
论文介绍 Z-sight,一种耦合视觉语言动作(VLA)与生成式潜在世界模型的统一机器人基础模型。该方法在 VLM 感知的视觉 token 空间直接预测未来,通过混合 Transformer 架构联合去噪未来空间 token 和动作,避免了像素重建或外部编码器。
论文介绍 Grana 视觉语言机器人奖励模型,旨在解决跨任务泛化及长周期操作进度追踪两大挑战。该方法利用开放词汇子任务描述识别未完成子任务并估计连续进度,结合预训练与子任务进度组合机制实现零样本预测。研究在 200 个多样化短周期任务上引入新标注协议进行预训练,无需人工分配数值分数即可将稀疏边界转化为密集目标,最终在五个长周期任务上验证了下游策略性能的提升。
arXiv 预印本论文《Communications-free Collective Intelligence Via Allocentric Belief》提出一种新范式,即通过锚定所有代理于单一共享外部观测者(共同见证者),利用其反应编码团队状态,使各代理能独立重构完整团队状态并实现无通信协同。
论文介绍 RoboMorpher,一种联合重建关节角度和连杆姿态的形态条件动作分词器,旨在解决相同关节值在不同机器人上产生不同空间配置的问题。研究通过 MorphGen 生成串联臂描述提供可扩展的运动学监督,并在 4000 万组形态状态对上预训练该分词器。
论文提出 SHAPE(Supervision from Human Action tokens with Parallel Executable streams)模型,旨在利用廉价的人类自视角记录进行机器人预训练和技能学习,解决人与机器人形态运动学差异导致的监督缺失问题。
论文介绍了一种名为 Homeward 的训练免费、即插即用观测适配器,旨在解决视觉 - 语言 - 动作(VLA)策略在部署相机发生位移或更换后性能急剧下降的问题。
推荐理由:针对冻结 VLA 策略在部署相机变动后性能骤降的问题,提出无需微调的观测适配器 Homeward,通过渲染已知运动学状态与估计未知场景深度来恢复训练视图。
针对视觉语言动作(VLA)模型因相机或机器人基座微小位移导致操作失败的问题,本文提出 WACO 世界锚定规范框架。该框架利用机械臂正运动学作为度量校准目标、静态场景作为世界锚点,无需真值外参即可从单帧 RGB-D 图像估计位姿偏移并规范化输入与策略。
论文提出 Set-valued Relabeling of Autonomous experience (SeRA) 框架,解决现有方法浪费自主经验或强化次优行为的问题。
该论文对 Qwen、InternVL 和 LLaVA-OneVision 三种视觉语言模型进行了实证评估,旨在判断其能否通过视频和里程计数据提前预测机器人故障。
Embodied models depend on real interaction data, yet collecting it on physical robots is slow and labor-intensive. Recent ego-to-robot pipelines retarget first-person view human videos to robot data via transferring hand and arm motion. They judge fidelity mainly by visual appearance. However, trajectories often fail in terms of physics: fingers hover beside objects, and grippers close on empty space. We argue that how the object moves and the contacts that drive the motion count. Thus, we present Ego2X, an object-centric framework that converts monocular egocentric video into physically executable robot data across dexterous hands and parallel grippers. Ego2X centers on CORE (Contact-centric Object-interaction REpresentation), which records each contact on the object by its surface anchor, as well as relative force, grasp mode, and interaction state. Throughout the pipeline, CORE corrects hand-object drift via object-relative constraints, steers inverse kinematics toward contacts the robot must realize, and preserves held objects during arm erasure and robot compositing. On HOT3D, contact-driven correction reduces in-contact hand depth error by 33.7%, while on EgoDex, contact-driven retargeting realizes 62.9% of annotated contacts, surpassing the official HuRo pipeline (27.9%). In RoboTwin 2.0, post-training X-VLA on Ego2X episodes alone, without simulator demonstrations, raises task success rate from 40.5% zero-shot to 67.0% across 200 paired scenes. We will publicly release our conversion pipeline and CORE-annotated dataset for dexterous hands and parallel grippers.
针对语言引导机器人控制的指令条件化难题,本文提出 JEPA Dots(Dynamics-Oriented Task Separation),这是一种紧凑的双潜变量框架,通过分离的动态和任务表示联合学习视觉动态与语言引导控制。
该论文提出 WAM-Policy 方法,旨在解决现有世界动作模型(WAMs)难以直接用于无臂四足机器人语言指令控制的问题。研究通过两阶段流程实现从臂中心模型到四足机器人的适配:第一阶段利用在线自蒸馏技术将预训练模型快速迁移至学生网络;第二阶段结合强化学习与多教师蒸馏进一步提升性能。
论文提出 CoRA-VTLA 框架,旨在提升预训练视觉语言动作模型在精密操作任务中的表现。该方法引入轻量级触觉模块,利用可查询的动作响应记忆消除单次触觉观测的歧义性,并通过接触引导注视监督集中视觉注意力于指尖接触区域。
该预印本提出 3DTouch,通过构建共享的 3D 视觉 - 触觉表征(包含 RGB-D 场景点与五指触觉测量),显式描述交互实体的相对排列。在 UR7e 机械臂配合 XHand 灵巧手的五个接触丰富任务中,该方法相比 VLA 基线平均成功率提升 42 个百分点,相比最强替代方案提升 20 个百分点。
针对大语言模型赋予机器人流畅语音但面部表情难以实时跟随对话的差距,论文提出了 Emo-H2A 范式,直接从 LLM 自回归解码过程中的隐藏状态驱动面部机器人。该方法实例化为无需训练的 EmoManifold,从每个隐藏状态提取 VAD 坐标并投影以在 token 粒度驱动面部。实验显示,该方法在回复内的表情方向匹配率达到 87.5%,首动延迟为 0.96 秒,显著优于基于整轮对话标签的传统方法。
该论文提出了 VLN-AR 框架,旨在让无人机在严格机载约束下实现语义推理、智能决策和长程导航。针对 3D 数据稀缺与域差距问题,作者构建了基于 3D Gaussian Splatting 的全自动管线生成逼真导航数据,并采用渐进式三阶段训练策略增强场景理解。
论文提出 GTI(Grounding Task Intent)框架,利用当前观测和执行历史定位活跃子任务及执行阶段,为同一局部子任务生成交互状态与完成状态两种阶段依赖的视觉目标。
针对原生移动 GUI 代理需要大规模覆盖单功能与跨应用工作流轨迹的问题,现有合成管线生成自由文本导致隐式子目标依赖关系缺失。本文提出 MobileWeave,将每个任务合成为源自可控制仿真器应用实现的执行程序,抽象为带语义类型的有向能力图,通过显式的值与对象依赖组合原子程序为单/跨应用复合程序,并通过原生执行验证指令与完成检查。
针对长视界机器人操作任务中 VLA 模型性能下降的问题,该研究提出 RePlan-VLA 框架,在不微调底层 VLA 策略的前提下,通过显式监测运动状态评估进度并自适应修订未来计划。在 RoboCasa365 和 CALVIN 基准测试上,该方法相比次强基线成功率分别提升 21.9% 和 10.4%,并在 Franka Research 3 真机平台上得到验证。
针对现有世界动作模型缺乏语义能力的挑战,本文提出 CoT-WAM 框架,通过可学习嵌入交换信息并采用两阶段策略实现 VLM 与 WAM 的联合优化。该方法在 LIBERO、CALVIN 和 RoboCasa-Kitchen 等基准上达到最先进性能,并在未微调情况下展现出更强的零样本泛化能力,同时在 RoboCasa365 上改善了长程规划效果。
针对零样本开放词汇多目标导航任务,本文提出 RPSI-Nav 递归策略自改进框架,旨在让机器人无需训练即可在未知环境中高效搜索多个物体。该方法不仅优化导航程序,还动态修订诊断与生成修订的机制本身:当现有观测无法区分竞争原因时请求诊断视图,并将后续目标搜索的反馈关联至产生修订的规则,从而指导诊断、观测获取及修订规划的更新。
论文提出 ZERITH V2.5 视频动作模型(VAM),研究在固定演示和更新次数下,何种视频预测训练方式能改善后续动作学习。实验表明,适配多种噪声水平的监督比仅适配部署噪声水平更有效;权重迁移显示增益保留于视频生成模型中而非仅作为策略初始化;联合训练初期的损失与梯度测量证实目标域预测训练改善了起始状态。
针对视觉语言动作(VLA)模型,现有对抗攻击多优化预测偏差或 rollout 偏差,却忽视了 VLA 预测指令需经下游控制与具身实现才能执行的特性。本文提出 ExecGap 框架,通过偏向低可执行性方向(基于运动学效率低下和动态弱驱动估计),诱导指令执行退化从而破坏任务完成。多项仿真实验显示该方法比现有补丁攻击产生更大的指令 - 执行失配;真机实验进一步验证了物理平台上的执行退化效果。
针对多指手遥操作数据稀缺难题,研究结合监督微调与扩散引导强化学习,在 LEAP 手及$\pi_{0.5}$上验证了冻结视觉语言模型、仅训练动作专家的策略效果最佳。实验表明监督微调成功率与后续强化学习成效相关性低,且低秩适应(LoRA)方法可塑性最差。该结论发表于 CoRL 2026 灵巧操作研讨会,建议摒弃以 SFT rollout 成功率为检查点选择指标的做法。
该论文提出 LoRN 方法,旨在不更新模型权重的情况下,通过学习选择预训练生成式机器人策略的初始噪声来改进其性能。研究发现世界 - 动作模型对视频噪声更敏感,但现有噪声导向方法难以扩展到高维输入。
论文提出 RageVLA 模型,通过解耦感知与动作并引入数据增强,在 LIBERO-PRO 基准上刷新了 VLA 策略的最优表现。该模型拥有 0.21B 参数,在对象移动或指令变更时仍保持高成功率,显著优于现有最佳模型。
推荐理由:该工作通过解耦感知与动作并引入增强训练,在 LIBERO-PRO 基准上刷新了 VLA 策略的最优表现。
针对现有动作分词器将双臂动作简单拼接导致运动模式无法共享及跨臂依赖纠缠的问题,本文提出 BiCAT 方法。该方法通过共享单一运动表示并利用对称交叉注意力机制使各臂条件于对方,实现并行预测。在 RoboTwin 2.0 的十个任务及三个实体上的六个真实世界任务中,BiCAT 取得了最高成功率;仿真环境下相比最强基线平均提升 17.6 个百分点,且每动作块推理耗时仅 40.5 毫秒。
论文介绍 Orchestra 智能体框架,将多模态指令分解为有序子任务并跟踪完成状态,利用独立训练的进度评估器决定何时推进。在 RMBench-Compose 基准上平均成功长度为 7.35 个子任务,优于 HarnessVLA;在四个真实世界多步任务中相比基线提升 25%。代码与项目页面已公开。
论文介绍 VDCS 基准与 ACO-MoE 方法,通过混合专家路由修复图像内容以应对天气、噪声等退化。在八个任务中,ACO-MoE 将 DreamerV3 的平均回报从 562 恢复至 730;在机械臂部署中,该方法将运动模糊和暗光下的成功率从最高 10% 提升至 75%-95%。代码与论文为预印本状态。
该论文针对 GUI 代理在推理出正确计划却发出错误动作导致执行失败的问题,提出 PACT 框架。该方法利用标注的参考动作识别执行差距,在不改变原始标量动作奖励的前提下,通过掩码负策略梯度贡献保护已验证的计划,并利用偏好替代方法引导模型选择参考动作而非错误动作。
论文提出 RiDEx 方法,旨在解决基于奖励的扩散模型后训练中的探索效率问题。该方法将局部探索集中在去噪速度场中与奖励相关的子空间内,利用条件残差或可微奖励梯度确定子空间,并通过同状态下的等量反向扰动测量终端奖励响应。
推荐理由:针对高维潜在空间探索效率低的问题,提出奖励感知的方向性探索方法,在四个对齐任务上实现最高峰值奖励并显著加速目标达成。
该论文提出“权重空间编程”概念,即大语言模型依据自然语言规范直接读写神经网络权重,无需优化器或梯度下降。研究将 GPT-6 Astra 和 Claude Fable 5.1/5.2 应用于自动拖拉机引导任务,在仿真中修复了为另一台拖拉机训练的 253 参数网络,并从零权重编写出控制器;两者均能正确分析闭环控制理论。
推荐理由:研究展示了大语言模型直接读写神经网络权重的方法,成功在真实拖拉机控制器中实现路径引导。
TCP4D 是一个统一模型,利用共享的 4D 场景表示从单目视频和初始 2D 查询中直接恢复度量 TCP 姿态、夹爪状态及场景几何。生成器基于同一表示采样局部特征并结合机器人观测与语言指令预测未来 TCP 状态。
PAIR 是一个基于 Matter 协议构建的智能家居仿真环境,包含 84 个智能设备资产及 340 个人类演示数据。在由 1,200 次评估组成的基准测试中,两种微调后的视觉语言动作模型(VLA)策略均未完成任何任务,超过 90% 的失败案例停滞于导航或操作环节。研究团队表示将在发表时开放代码与数据。
RefCloth 框架在冻结源策略下优化单一持久对抗桌布,实现零样本跨任务与模型迁移。该方案在四个 LIBERO 仿真套件中,使 OpenVLA-OFT、π0 及 π0.5 的成功率相对未优化桌布平均降低 62.50 和 43.75 个百分点(注。
论文介绍 Body Schema Policy (BSP),一种将身体图式构建为视觉与动作接口的模仿学习策略,其潜在身体图式在机器人运动学树上放置关节和连杆 token,利用学习到的螺旋运动传递特征。
推荐理由:提出将身体图式作为视觉与动作接口的模仿学习策略,在仿真及真实机器人上以极少参数实现高效全身位姿控制。