面向自适应 VLA 动作分块执行的策略对齐预测验证方法
针对视觉语言动作模型生成动作序列时如何决定执行步长的关键问题,本文提出一种策略对齐的预测验证器(PAV)。该方法不利用未来预测来生成新动作,而是在 VLA 的内部任务条件表示空间中评估候选前缀与成功延续的兼容性。
推荐理由:提出一种基于策略对齐的预测验证器,在 VLA 内部表示空间评估动作前缀兼容性以指导执行步长。
技术方向
视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。
840 条精选近 30 天 569 条共收录 3,491 条
针对视觉语言动作模型生成动作序列时如何决定执行步长的关键问题,本文提出一种策略对齐的预测验证器(PAV)。该方法不利用未来预测来生成新动作,而是在 VLA 的内部任务条件表示空间中评估候选前缀与成功延续的兼容性。
推荐理由:提出一种基于策略对齐的预测验证器,在 VLA 内部表示空间评估动作前缀兼容性以指导执行步长。
论文提出 Latent Transition Memory (LTM),将历史交互存储为连续观测间的紧凑潜在转换,实例化于π0.5模型(LTM-π)时利用冻结潜在动作编码器和轻量级适配器实现增量推理。
推荐理由:该方法在冻结动作编码器下实现增量推理,无需外部推理模型即可提升多步任务成功率与真实机器人计数能力。
该论文提出 AdaLoop 框架,解决现有视觉语言模型将视觉编码器视为静态特征提取器的局限。该方法根据问题自适应调整视觉计算深度并复用编码器的变换,同时冻结预训练权重。
推荐理由:提出 AdaLoop 框架,通过冻结预训练权重实现问题感知的视觉迭代计算,在 VisRO 数据集上超越微调与单次推理基线。
论文提出 ZoomCap 框架,将细粒度描述定义为在有限观测预算下获取缺失证据并转化为可复用监督的过程。该方法利用草稿描述路由条件知识检索、OCR 敏感阅读及自适应视觉缩放,仅对最复杂区域分配深层裁剪,并从几何关系推导空间信息。
推荐理由:提出 ZoomCap 框架与 FactCycle 评估器,以有限观测预算实现细粒度描述生成与证据路由,在持续预训练中显著优于强基线。
该研究提出 LICOA 框架,将投影光定义为具身动作,通过差速底盘与双自由度转向镜实现大范围移动与局部光束控制。作者构建了包含 150 个任务、7,500 个渲染集成的仿真语料库,并在真实环境中进行了 480 次闭环执行测试。
推荐理由:构建了移动空间增强现实平台与指令条件光动作模型,在真实环境中验证了将投影光作为具身动作的可行性。
论文提出 CLIS-MPPI 算法,通过建模规划延迟分布、从采样初始状态进行展开优化及执行阶段局部反馈修正,解决了传统 MPPI 在真实机器人系统中因执行延迟导致的状态失配问题。实验在 UR5e 机械臂窄通道避障任务中验证,该方法在 5 次运行中保持零碰撞(标准 MPPI 发生 2 次),并将平均任务完成时间从 25.4s 降至 24.4s,同时显著降低了关节位置与速度误差。
推荐理由:针对执行延迟导致的仿真与现实状态失配问题,提出闭环初始状态采样方法,在真实机械臂实验中显著降低碰撞率并提升运动平滑度。
该研究开发了一套用于光驱动的立方体状赤铁矿/TiO2 Janus 微机器人的视觉引导闭环导航框架。系统集成了定制训练的 YOLOv11 目标检测模型进行实时视觉定位,并结合离散化路点磁导向技术,实现了复杂规定轨迹的精确导航,测试路径几何中超过 90% 的轨迹偏差低于 6 微米。
推荐理由:原文提出了一种结合视觉定位与磁导向的微米级机器人闭环导航框架,实现了复杂轨迹跟踪、动态避障及自主运输任务。
针对双系统视觉语言动作模型(VLA)中慢模块调用缺乏统一目标与成本度量的问题,作者提出将调用形式化为校准后的决策问题,定义了价值干预(VoI)作为核心度量。研究通过 LIBERO 基准上的十四条闭环臂测试及真实部署轨迹分析,验证了自适应触发机制的阈值预测能力,并发现语言重写通道在特定条件下无法转化为成功,而撤销失败重写的执行器是唯一无净负面影响的干预手段。
推荐理由:该文提出慢模块调度的决策理论框架与价值干预度量标准,通过闭环实验验证了自适应触发机制在特定条件下的增益边界。
该论文提出 RoPE-Flow 框架,利用 Keypoint-centered Feature Extractor、Graph-guided Condition Generator 及 Bone Length Loss 等方法,解决从单目图像恢复 3D 结构特征以估计机器人位姿的挑战。
推荐理由:提出基于条件 3D 流匹配的端到端框架,解决单目相机到机器人位姿估计难题。
该论文提出了 MoCaP 框架,旨在将被动记录的人类日常活动视频转化为机器人端到端的移动操作策略指导。系统从视频中提取空间记忆与物体交互准备线索,以辅助导航并搜索可操作的配置。
推荐理由:提出利用被动人类视频提取空间记忆与先验,通过闭环代码策略解决移动操作任务。
针对缺乏专用机械臂的四足机器人在不可预测环境中执行重型物理操作的挑战,本文提出了 SOMA 框架。该框架通过分层强化学习实现全身非抓持的多物体堆叠操作,整合了显式的机器人底座高度控制以解锁全三维推搡策略。
推荐理由:提出基于四足机器人的全身非抓持堆叠操作框架,在仿真中实现高成功率并验证了零样本仿真到现实迁移。
论文提出 TGrasp6D 方法,利用视觉语言模型推理任务语义先验并结合 6DoF 位姿优化进行碰撞避免,在 TaskGrasp 数据集上达到 94% 的零样本抓取成功率(基线为 74%),并在 Franka Research 3 机器人上验证了真实世界泛化能力。
推荐理由:提出 TGrasp6D 方法,利用视觉语言先验与位姿优化实现零样本任务导向抓取,在 TaskGrasp 数据集上成功率达 94%。
arXiv 发布了一篇关于视觉语言动作(VLA)模型的研究论文,作者通过受控扫描、自然 rollout 和线性探针等方法,建立了 VLA 模型中七个任务相关概念的几何分类体系。
推荐理由:该文通过受控实验揭示了 VLA 模型中任务相关概念的几何形态,证实了关节限制等物理约束会塑造激活空间的形状。
该研究将四个 Gemini 4 Argon 智能体置于受控的 Minecraft 生存世界,赋予其唯一目标:击败末影龙。每个智能体通过开源库 Mineflayer 控制玩家,利用游戏内聊天和共享记忆进行协作,未分配角色或编写游戏逻辑。
推荐理由:该预印本报告了四个 Gemini 4 Argon 智能体在无预设种子和人工干预下,于 Minecraft 沙盒中自主击败末影龙的实验过程与策略。
HexaShell 系统展示了基于视觉语言模型(VLM)的智能体通过编写和修复代码来控制双臂机器人的能力,而非直接学习策略。该系统仅将智能体的指令转化为机器人运动,利用三个 RGB 相机进行三角测量以定位物体,并在 RoboDojo 基准的 42 个任务上取得了 39.7% 的成功率和 48.0 的进度分数,刷新了该基准记录。
推荐理由:HexaShell 系统展示了 VLM 智能体通过编写工具代码控制双臂机器人的能力,在 RoboDojo 基准上达到新 SOTA,并开源了演化出的工具集。
斯坦福大学和哥伦比亚大学联合发布了基于自进化工具库的机器人灵巧操作框架DexAgent,由李飞飞、吴佳俊等参与研究。该框架能将单条人类第一视角视频转化为多样化的机器人训练数据,在仿真环境中重建物体物理交互并生成复合物理约束的运动轨迹。
推荐理由:斯坦福与哥伦比亚大学联合发布DexAgent框架,利用AI Agent将人类视频转化为符合物理规律的训练数据,在11项真实任务中平均成功率达63.6%,是基线模型的3.5倍。
Thinker-WM 是一种统一的多模态世界模型,通过共享中间层 Unified Dynamics Transformer 联合建模并生成 RGB、度量深度和机器人动作。
推荐理由:Thinker-WM 提出统一多模态世界模型,在共享动力学表示下联合生成 RGB、深度与动作,并在 EWMBench 等基准中表现领先。
论文介绍 EmbodiedEvo 框架,这是一种通过程序化机器人接口观察场景、执行控制并适应物理状态的自进化编码智能体。该方法将交互与推理预算转化为可复用的代码技能(Skills)和诊断教训(Lessons),在不更新模型权重的情况下冻结经验以支持未见场景中的独立智能体。
推荐理由:该工作提出无需微调的自进化编码智能体,将物理反馈蒸馏为可复用技能与诊断教训,在仿真环境中实现经验跨场景迁移。
论文提出 ILA(Interaction Latents as Actions)方法,通过可解码的交互潜变量联合捕捉运动、接触和力的演化过程,将其作为策略动作单元。
推荐理由:该工作提出用交互潜变量统一编码运动、接触与力演化,支持预训练 VLA 的后训练及从头训练流匹配策略。
针对现有类人机器人行为基础模型在执行运动时存在指令执行偏差的问题,该方法提出了一种无需重新训练即可通过测试时计算来改善执行的策略。首先引入测试时命令优化技术,利用闭环仿真对基础模型和机器人动力学进行基于采样的优化,从而调整输入命令以生成更接近期望轨迹的执行结果;在 AMASS 数据集上的三个基础模型实验中,该方法将平均全身位置误差降低了 79% 至 84%。
推荐理由:提出无需重训即可通过测试时计算优化命令以缩小执行偏差,并在仿真与真机上验证了提升全身定位精度的有效性。