面向自适应 VLA 动作分块执行的策略对齐预测验证方法
针对视觉语言动作模型生成动作序列时如何决定执行步长的关键问题,本文提出一种策略对齐的预测验证器(PAV)。该方法不利用未来预测来生成新动作,而是在 VLA 的内部任务条件表示空间中评估候选前缀与成功延续的兼容性。
推荐理由:提出一种基于策略对齐的预测验证器,在 VLA 内部表示空间评估动作前缀兼容性以指导执行步长。
技术方向
机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。
1,139 条精选近 30 天 643 条共收录 4,549 条
针对视觉语言动作模型生成动作序列时如何决定执行步长的关键问题,本文提出一种策略对齐的预测验证器(PAV)。该方法不利用未来预测来生成新动作,而是在 VLA 的内部任务条件表示空间中评估候选前缀与成功延续的兼容性。
推荐理由:提出一种基于策略对齐的预测验证器,在 VLA 内部表示空间评估动作前缀兼容性以指导执行步长。
论文提出 Latent Transition Memory (LTM),将历史交互存储为连续观测间的紧凑潜在转换,实例化于π0.5模型(LTM-π)时利用冻结潜在动作编码器和轻量级适配器实现增量推理。
推荐理由:该方法在冻结动作编码器下实现增量推理,无需外部推理模型即可提升多步任务成功率与真实机器人计数能力。
该论文提出 AdaLoop 框架,解决现有视觉语言模型将视觉编码器视为静态特征提取器的局限。该方法根据问题自适应调整视觉计算深度并复用编码器的变换,同时冻结预训练权重。
推荐理由:提出 AdaLoop 框架,通过冻结预训练权重实现问题感知的视觉迭代计算,在 VisRO 数据集上超越微调与单次推理基线。
论文提出 ZoomCap 框架,将细粒度描述定义为在有限观测预算下获取缺失证据并转化为可复用监督的过程。该方法利用草稿描述路由条件知识检索、OCR 敏感阅读及自适应视觉缩放,仅对最复杂区域分配深层裁剪,并从几何关系推导空间信息。
推荐理由:提出 ZoomCap 框架与 FactCycle 评估器,以有限观测预算实现细粒度描述生成与证据路由,在持续预训练中显著优于强基线。
该研究提出 LICOA 框架,将投影光定义为具身动作,通过差速底盘与双自由度转向镜实现大范围移动与局部光束控制。作者构建了包含 150 个任务、7,500 个渲染集成的仿真语料库,并在真实环境中进行了 480 次闭环执行测试。
推荐理由:构建了移动空间增强现实平台与指令条件光动作模型,在真实环境中验证了将投影光作为具身动作的可行性。
论文提出 CLIS-MPPI 算法,通过建模规划延迟分布、从采样初始状态进行展开优化及执行阶段局部反馈修正,解决了传统 MPPI 在真实机器人系统中因执行延迟导致的状态失配问题。实验在 UR5e 机械臂窄通道避障任务中验证,该方法在 5 次运行中保持零碰撞(标准 MPPI 发生 2 次),并将平均任务完成时间从 25.4s 降至 24.4s,同时显著降低了关节位置与速度误差。
推荐理由:针对执行延迟导致的仿真与现实状态失配问题,提出闭环初始状态采样方法,在真实机械臂实验中显著降低碰撞率并提升运动平滑度。
针对双系统视觉语言动作模型(VLA)中慢模块调用缺乏统一目标与成本度量的问题,作者提出将调用形式化为校准后的决策问题,定义了价值干预(VoI)作为核心度量。研究通过 LIBERO 基准上的十四条闭环臂测试及真实部署轨迹分析,验证了自适应触发机制的阈值预测能力,并发现语言重写通道在特定条件下无法转化为成功,而撤销失败重写的执行器是唯一无净负面影响的干预手段。
推荐理由:该文提出慢模块调度的决策理论框架与价值干预度量标准,通过闭环实验验证了自适应触发机制在特定条件下的增益边界。
该论文提出了 MoCaP 框架,旨在将被动记录的人类日常活动视频转化为机器人端到端的移动操作策略指导。系统从视频中提取空间记忆与物体交互准备线索,以辅助导航并搜索可操作的配置。
推荐理由:提出利用被动人类视频提取空间记忆与先验,通过闭环代码策略解决移动操作任务。
该论文指出空间智能体在利用重建和分割工具时面临预测不一致和物体身份碎片化的瓶颈。作者提出 DeSpatial 框架,将空间理解明确分解为感知与推理两部分。其共享的 3D 感知工具包含联合分割深度共优化模块以消除单帧内的投影伪影,以及跨视角实例融合模块以整合多视角观测中的空间不连续片段。
推荐理由:提出将空间理解分解为感知与推理的新框架,通过联合分割深度优化解决多视角实例融合难题。
针对缺乏专用机械臂的四足机器人在不可预测环境中执行重型物理操作的挑战,本文提出了 SOMA 框架。该框架通过分层强化学习实现全身非抓持的多物体堆叠操作,整合了显式的机器人底座高度控制以解锁全三维推搡策略。
推荐理由:提出基于四足机器人的全身非抓持堆叠操作框架,在仿真中实现高成功率并验证了零样本仿真到现实迁移。
论文提出 TGrasp6D 方法,利用视觉语言模型推理任务语义先验并结合 6DoF 位姿优化进行碰撞避免,在 TaskGrasp 数据集上达到 94% 的零样本抓取成功率(基线为 74%),并在 Franka Research 3 机器人上验证了真实世界泛化能力。
推荐理由:提出 TGrasp6D 方法,利用视觉语言先验与位姿优化实现零样本任务导向抓取,在 TaskGrasp 数据集上成功率达 94%。
针对电子稳定控制系统难以处理打滑、水滑或急避导致的失控问题,该研究提出通过强化学习训练漂移策略并迁移至最小时间恢复任务的方法。作者定义了基于相平面的稳定平衡点作为恢复标准,开发了 Gym-Khana 用于控制器训练与评估。
推荐理由:该研究通过强化学习训练漂移策略并迁移至恢复控制,在物理 F1TENTH 平台上验证了比传统方法更优的失控恢复能力。
arXiv 发布了一篇关于视觉语言动作(VLA)模型的研究论文,作者通过受控扫描、自然 rollout 和线性探针等方法,建立了 VLA 模型中七个任务相关概念的几何分类体系。
推荐理由:该文通过受控实验揭示了 VLA 模型中任务相关概念的几何形态,证实了关节限制等物理约束会塑造激活空间的形状。
该论文提出 Terminal-RSI 框架,旨在将验证器结果转化为策略更新并实现从部分进展到完整任务解决的转化。
推荐理由:提出 Terminal-RSI 框架,通过递归自改写与策略优化提升终端代理任务完成率。
论文介绍 Athanor,这是一个在真实 GPU 上运行的开放智能体原生系统,旨在支持智能体的自主后训练研究(AutoPostTrain)。该系统赋予智能体完全的研究自主权,提供低摩擦工程工具、冻结评估服务、托管作业、去污染数据及持久化记录,且禁止使用外部教师模型。
推荐理由:Athanor 系统在沙箱环境中让 Claude Opus 5.5 智能体自主完成基座模型的后训练,首次演示了前沿智能体重组已知方法即可达到官方指令微调版本的效果。
该研究将四个 Gemini 4 Argon 智能体置于受控的 Minecraft 生存世界,赋予其唯一目标:击败末影龙。每个智能体通过开源库 Mineflayer 控制玩家,利用游戏内聊天和共享记忆进行协作,未分配角色或编写游戏逻辑。
推荐理由:该预印本报告了四个 Gemini 4 Argon 智能体在无预设种子和人工干预下,于 Minecraft 沙盒中自主击败末影龙的实验过程与策略。
HexaShell 系统展示了基于视觉语言模型(VLM)的智能体通过编写和修复代码来控制双臂机器人的能力,而非直接学习策略。该系统仅将智能体的指令转化为机器人运动,利用三个 RGB 相机进行三角测量以定位物体,并在 RoboDojo 基准的 42 个任务上取得了 39.7% 的成功率和 48.0 的进度分数,刷新了该基准记录。
推荐理由:HexaShell 系统展示了 VLM 智能体通过编写工具代码控制双臂机器人的能力,在 RoboDojo 基准上达到新 SOTA,并开源了演化出的工具集。
针对预训练视觉语言模型微调后的导航策略成功率低的问题,该研究诊断出核心瓶颈在于未能有效进行目标定位(goal grounding)。作者提出 StopWatch 方法显式地对导航目标进行定位,显著提升了任务成功率并在六个基准测试中达到最先进水平。
推荐理由:该工作诊断出目标定位是导航策略失败的主因,通过显式 grounding 在六个基准上达到 SOTA 并修正了标注缺陷。
奥比中光在广交会发布 Pulsar MH24 紧凑型 24 通道 3D 激光雷达,适用于割草机器人、AMR 及配送机器人等移动平台。该产品具备 66.6×62.1×66 mm 尺寸与 210 g 重量,支持 360°水平扫描和 0.1 m 最小探测距离,能在≥100,000 lux光照下工作并满足 IP6K6防护等级。
推荐理由:Orbbec 发布 Pulsar MH24 激光雷达,提供紧凑设计与多环境感知能力,并展示深度相机与代工服务。
斯坦福大学和哥伦比亚大学联合发布了基于自进化工具库的机器人灵巧操作框架DexAgent,由李飞飞、吴佳俊等参与研究。该框架能将单条人类第一视角视频转化为多样化的机器人训练数据,在仿真环境中重建物体物理交互并生成复合物理约束的运动轨迹。
推荐理由:斯坦福与哥伦比亚大学联合发布DexAgent框架,利用AI Agent将人类视频转化为符合物理规律的训练数据,在11项真实任务中平均成功率达63.6%,是基线模型的3.5倍。