PACE:基于动作分块的相位感知执行方法
论文提出 PACE(Phase-Aware Chunk Execution),一种无需训练的机器人策略在线执行方法。该方法利用预测速度曲线中的低速谷值作为重规划边界,以平衡反馈频率与运动连续性。
推荐理由:提出无需训练的 PACE 方法,利用预测速度曲线的低速谷值动态选择重规划边界,在 RoboTwin2.0 和 LIBERO 基准及真机实验中均优于固定或自适应策略。
论文提出 PACE(Phase-Aware Chunk Execution),一种无需训练的机器人策略在线执行方法。该方法利用预测速度曲线中的低速谷值作为重规划边界,以平衡反馈频率与运动连续性。
推荐理由:提出无需训练的 PACE 方法,利用预测速度曲线的低速谷值动态选择重规划边界,在 RoboTwin2.0 和 LIBERO 基准及真机实验中均优于固定或自适应策略。
论文介绍 DynaFLIP 框架,旨在解决传统机器人学习管道依赖静态视觉编码器、将运动理解推给下游策略的问题。该方法构建图像 - 语言-3D 流三元组作为训练监督,鼓励三种模态在共享超球空间中占据较小的单纯形体积以增强对齐,并结合余弦正则化与对比目标以避免几何歧义和平凡坍缩。
推荐理由:该工作提出将运动理解上移至感知层,通过多模态监督构建动力学感知表征,在跨分布场景下提升机器人泛化能力。
针对视频大语言模型在查询事件精确时间片段定位上的挑战,本文提出一种新的时序定位 Vid-LLM。该方法设计特殊<evt>token聚合多帧信息以保留语义连续性,引入 Savitzky-Golay 平滑抑制噪声并提升预测精度,同时聚合多粒度特征补偿压缩损失。实验表明该方法在主流基准上表现优异,尤其在单事件定位和边界完整性任务上改进显著。
ResponsibleRobotBench 是一个包含 23 种配置的操作任务基准,旨在评估大型多模态模型在风险感知、缓解行动选择及执行前提满足方面的能力。研究发现终端安全性与任务完成度可能分离,且防御提示对不同模型的影响方向各异;仅识别危险类别不足以保证可执行的缓解措施。该工作通过模仿学习与物理机器人序列实验,强调了协调缓解动作与目标行动的必要性,并提供了任务定义、检查条件及提示词附录。
论文提出 Aero-VPA 轻量级视觉预测动作架构,用于边缘硬件上的三维导航。该架构利用紧凑的 RGB-D Vision Transformer 和五头集成预测器在不进行像素重建的情况下预测下一潜状态,并通过条件流匹配求解器在两个欧拉步骤内生成速度和偏航率片段。
推荐理由:该工作提出 Aero-VPA 架构,在 PX4 仿真环境中实现四旋翼自主飞行闭环评估,公开代码、策略与基准数据集。
针对大规模视觉语言基础模型带来的计算延迟问题,本文提出异步机器人策略(ARP)框架,将高容量视觉语言模型的语义记忆更新与轻量级视觉动作专家的动作生成解耦为不同频率的异步过程。该方法在 Franka 操作任务上实现了比基线高 18% 的成功率和更短的执行时间,且在动态仿真环境中性能提升 3-5 倍;同时允许以远低于标称频率运行 VLM 而无需牺牲性能,显著提升了部署效率。
作者提出 LoopQ 基准,在相同检查点、层和引擎下对比 RTN、AWQ、GPTQ 等四种量化策略。基于 LIBERO 数据集超过 180,000 个回合的测试显示,通用 PTQ 方法在低比特(4 bit)下表现优于或持平于专用方法;标准 LIBERO 掩盖了损失,配对扰动下无显著损失的配置仍会丢失 1.5-4.3 分。
该研究引入 CRONOS 仿真基准,用于评估非回合制场景下对预训练视觉语言动作(VLA)模型的微调效果。实验表明,直接微调会导致因物体配置和末端执行器姿态偏移而失效;通过针对性重置分配可缓解此问题并提升长程操作泛化能力。
论文提出一种基于 3D 几何抽象的接口,将机器人场景的空间推理从原始图像转移到文本和符号上。该方法利用校准后的 RGB-D 数据对物体部件进行类型化和证据感知的符号引用,并在每次动作后返回包含度量残差的紧凑文本检查点。
推荐理由:提出通过几何抽象将空间推理从图像转为符号,减少多模态查询并提升多步操作成功率。
该论文针对预训练大模型在具身智能导航中缺乏物理落地与显式安全保证的问题,提出一种模块化系统:集成高层 VLA 规划器与低层物理感知层,利用 SDF 表示和离散指数障碍函数约束 MPPI 规划器,为腿部机器人提供可证明的碰撞避免保证。系统在双足和四足机器人上进行了广泛的真实世界实验,验证了其高效、安全且通用的视觉语言驱动导航能力。
推荐理由:本文提出通过障碍函数约束与 SDF 感知为双足及四足机器人的 VLA 导航提供可证明的碰撞避免保证,并在真实机器人上验证了安全性。
该研究针对复杂视觉问答中模型难以定位关键区域或获取充分证据的问题,提出 Observation Policy Optimization (OPO) 算法以优化工具增强的图像思考中的观察动作。
推荐理由:针对多模态模型在图像思考中的观察动作优化难题,提出 OPO 算法通过不确定性引导分支与证据归因机制提升视觉推理性能。
论文提出 ICIR-MCQ 探针方法,通过分析注意力质量识别指向目标图像的稀疏指针头,并通过训练轻量级检索器识别输出包含足够信息的写入头。研究发现两者选出的头部集合仅有少量重叠,且只有同时满足两种标准的头部对多图像推理具有最一致的因果效应。代码与数据已开源,该文已被 NeurIPS 2026 接收。
视频世界模型虽能评估候选动作的想象结果,但高预测奖励常偏向执行质量差的轨迹。本文提出 Trusting Imagined Futures (TIF),一种离线监督选择方法,利用多维奖励模型和不确定性审计器识别过估计模式。
推荐理由:该工作提出利用执行反馈审计想象奖励以筛选 VLA 后训练数据,在 LIBERO 基准上提升成功率并在真实机器人任务中提高完成度。
针对大视觉语言模型处理模糊指令时易过度自信的问题,本文提出 CLARA 框架,模仿人类行为主动向用户提问以获取关键细节,将模糊指令转化为结构化方案并生成目标场景渲染图作为理解确认。实验与用户研究证明该方法比现有最先进系统更准确一致,填补了模糊指令与具体任务规范之间的差距。
针对大视觉语言模型推理时计算开销大的问题,本文提出 BtsPruner 框架,该方法无需训练即可通过识别视觉 Token 从局部细节到全局代表的角色演变过程进行剪枝。实验表明,在 LLaVA-1.5-7B 等模型上,仅保留 32 个视觉 Token(占总数 5.6%)即可保持 91.6% 的原始性能,并在高分辨率设置下实现最高 5.95 倍的 CUDA 延迟加速。
推荐理由:提出无需训练的基于角色感知的视觉 Token 剪枝框架,在大幅减少输入 Token 数量下保持高性能并显著降低推理延迟。
论文提出 DreamFree,一种利用预训练视频扩散模型进行机器人控制的 World Action Model(WAM)。该方法通过表征蒸馏技术,使视觉编码器仅基于当前观测即可预测冻结的扩散模型内部表示,从而无需生成未来视频即可提取动作相关信息。
针对 VLA 模型依赖昂贵真实机器人数据的瓶颈,本文提出 Action-Intent Transfer (AIT) 方法,通过两阶段流程从人类视频中提取并解耦明确的动作意图,在共享意图空间对齐人机域并将其解码为可执行动作。实验表明该方法比现有基线更有效地迁移人类知识且表现一致。
针对通信受限下的自主水下车辆协调问题,该研究提出一种结合大语言模型(LLM)解释自然语言指令、混合整数线性规划(MILP)优化分配及分布式行为树(BT)执行的层级框架。
针对直接部署视觉基础模型(VFM)存在计算成本高、时序不一致及分布偏移等问题,本文提出 All-For-One 两阶段蒸馏框架。该方法在训练阶段利用 VFM 作为特权信息融合 RGB 观测以学习语义增强表示,随后将知识蒸馏至仅依赖 RGB 的轻量级学生策略网络。
RAFT 是一种针对视觉语言动作(VLA)策略的两阶段后训练方法,先在任务相关推理标注上训练低秩适配器并冻结,再在动作演示上微调策略。该方法在物理 DROID 机器人上实现了 75.0% 的分布外成功率,显著优于普通微调的 27.9%;在多阶段双手 YAM 任务中平均成功率为 70.0%,强基线为 36.0%。
论文提出 DiMuRe 框架,利用阶段证据和方法先决条件选择程序复用或预定义恢复技能(包括有界 VLA 抓取),并在原程序退出后通过多模态大语言模型生成修正代码。
推荐理由:提出诊断引导的多级恢复框架,在干扰场景下将任务成功率从 58.68% 提升至 77.65%,并开源了 LIBERO-Disturb 基准。
AIRoA-0 是一个从 16,151 小时手持演示中学习的双臂操作系统,训练全程未采集任何机器人数据。该系统利用开源 YUBI 手持夹爪录制数据,仅需手腕摄像头即可在未见过的场景执行分类零件、更换扫地机配件、解拉链和折叠毛巾等任务。
推荐理由:作者基于纯手持演示数据训练出跨本体双臂操作模型,在未见过的机器人上实现 78% 成功率,并开源数据集与权重。
11月3日,上海纬钛科技有限公司与腾讯云正式达成战略合作,围绕云计算算力、大模型MaaS平台及智能产业落地构建“数据采集—模型训练—应用部署”闭环。双方将依托腾讯云GPU算力支持视触觉多模态数据处理及VTLA、世界动作模型的训练仿真,并计划优先在腾讯云平台部署核心研发系统。合作后续将通过智能制造等具体项目明确实施节点与成效。
清华大学与加州大学伯克利分校联合提出并开源了面向训练搭建的跨环境统一框架uni-robot-agent。该工具旨在打通不同机器人及仿真环境的接口,为通用大模型操控机器人、采集数据及训练提供统一基础。
针对视觉语言动作模型在边缘设备因自回归解码导致的低延迟问题,该研究提出 ActionFlow 系统级推理框架。其核心是跨请求流水线策略,将内存受限的解码阶段与计算受限的预填充阶段智能批处理以最大化硬件利用率;同时引入跨请求状态打包前向算子和统一 KV 环缓冲区融合碎片化内存操作。实验显示,在 OpenVLA-7B 模型上无需重训即可实现 2.55 倍 FPS 提升,支持边缘硬件上的实时动态操作。
CAPT 提出一种结合类别感知与通用提示的双机制,解决非独立同分布数据与非均匀分布下视觉语言模型性能下降难题。该方法在 ImageNet-LT 和 Places-LT 基准上分别将整体准确率提升 6.1% 和 8.8%,显著优于现有最先进方法并增强尾部类别表现。该工作已获 ACM MM 2026 接收,相关代码与数据开放许可情况需查阅原文。
针对当前具身智能模型无法自主修复已知错误的局限,论文提出 Spotter 框架,反转传统 VLM 主导的架构,使具身模型连续执行而 VLM 并行监控并在错误时介入修正。实验表明,结合 Qwen 或 GPT 作为 VLM,该方案在 RoboCasa 基准上提升成功率,并将真机上的成功率从 53% 提升至 83%,且耗时仅比纯具身模型增加约 1.6 秒。代码已开源。
论文提出 2AM 框架,将多模态智能体设为唯一记忆持有者,负责编译交互历史为子任务语言及可选的抓取/放置提示;单通道 RGB 动作模型仅执行运动。通过在演示中增加结构化提示标签并在条件 dropout、空间噪声和时间抖动下训练,使 VLA 能够容忍不完美引导。
推荐理由:该工作将任务记忆置于 Agent 侧以引导动作模型,在无深度与规划器条件下实现显著性能提升。
大离散策略(LDiP)是一种全离散的行为建模框架,从大量物理合理的候选动作中选择动作,而非扰动动作。它通过空间中的随机性逐步重新评分和剪枝候选项,实现细粒度排序与探索,同时保留显式的决策过程。在端到端规划、闭环驾驶、机器人操作及视觉语言动作设置中,LDiP 在自动驾驶任务上优于强离散和连续基线,在机器人操作中超越或匹配连续生成策略。
论文研究了多数据集训练及 BEV-Forcing 辅助目标,旨在提升视觉语言动作模型在自动驾驶中的跨载体泛化能力。通过引入鸟瞰图空间接口共享物体位置表示,该方法在小规模相机配置下能同时改善分布内与分布外性能;但随着训练载体数量增加,辅助任务的收益逐渐减弱。该研究为理解数据扩展对 VLA 迁移学习的影响提供了新视角。
针对视觉语言模型(如 CLIP)易受对抗攻击的问题,本文提出 CARE 协作对抗鲁棒性微调框架。该方法在训练过程中维护多个具有不同鲁棒特性的专家模型,通过嵌入空间对齐促进知识交换与整合,最终汇聚成单一统一模型以继承互补的鲁棒属性。实验表明,CARE 在经典图像分类及下游视觉语言任务中均能超越单独学习的模型专家,验证了跨模型专家协作学习在提升对抗鲁棒性方面的潜力。
该研究针对冻结的视觉语言模型(VLM)中常见的可学习门控机制进行了实验,发现跨熵微调下优化器总是将门关闭。通过双曲视觉关系图实验,作者归因于梯度死亡和负效用两种机制。消融测试表明,未归一化的门控前缀在推理时有害,而规范对齐设计行为上关闭但保留生成能力。研究开源了实现、检查点和结果文件。
论文提出 DAMI 框架以解决机器人模仿学习中数据稀缺与环境泛化问题。该方法结合元学习构建共享技能空间,引入视觉 - 运动轨迹模块捕捉时空动态,并利用任务条件特征调制机制协调多模态观测。实验表明其在仿真与真实环境中均优于现有基线,具备在未见任务上通过少样本微调快速适应的能力。
针对资源受限机器人无法在端侧部署大参数 VLM 的问题,本文提出 LocalNav 框架。通过蒸馏前沿模型(如 Qwen3.5-4B)的推理痕迹并配合可验证奖励的具身强化学习微调,将 HM3D OVON 基准成功率从 25.97% 提升至 37.36%,接近云端基线水平。
论文提出了 OpenHLM 这一开源方案,旨在构建将语言和图像直接映射到人形机器人所有自由度的全身原生视觉语言动作模型。研究通过分阶段实验发现,基于关节的全身遥操作接口优于部分暴露自由度的替代方案;在静态和轮式双臂平台上预训练的 VLA 模型能意外地良好迁移至人形机器人的全动作空间;与 HuMI(UMI 的人形类比)协同训练可拓展策略以处理新物体和指令。
推荐理由:提出全身原生视觉语言动作模型构建路线图,在长周期任务中用更少演示时间优于现有基线。
该研究提出 GazeVLA 方法,利用人类行为中的注视线索同时编码高层任务语义并与低层动作协同耦合,构建中层表征以解决具身智能的载体差异挑战。实验表明,该方法使机器人能在无自身意图标注的情况下内化人类意图,结合推理范式执行长程与精细操作任务,在仿真及真实世界实验中均优于基线并具备泛化能力。
论文提出 HaltNav 分层导航框架,耦合基于 osmAG 的稳健全局规划与 VLN 本地执行能力。通过 MLLM 大脑模块将全局路线转化为局部指令,并利用反应式视觉制动机制检测异常、更新拓扑并触发重规划以应对环境变化。研究引入生成模型合成障碍物的数据管道来增强困难样本训练,实验表明该方法无需繁琐语言指令即可在环境变化下显著提升长视界导航鲁棒性。
OmniGuide 提出利用任意来源的引导(如 3D 基础模型、语义推理 VLM)作为可微能量函数,显著提升 VLA 模型在复杂任务中的成功率与安全率。实验涵盖仿真与真实环境,证实该框架能匹配或超越此前针对特定引导源的方法,有效增强 $\pi_{0.5}$、GR00T N1.6 等最先进泛化策略的表现。论文已接受 CoRL 2026,项目页面提供相关代码与资源。
当前具身视频生成模型多侧重视觉质量而忽视物理保真度与动态一致性。本文提出 ReWorld 框架,利用强化学习对齐视频生成以匹配物理真实感、任务完成能力、具身合理性与视觉质量。研究构建了约 23.5 万条的视频偏好数据集,训练了分层奖励模型以捕捉多维人类偏好,并提出了基于高效 PPO 风格算法的后训练流程。实验表明该方法在物理保真度、逻辑连贯性、具身性及视觉质量上均优于先前方法。
论文 MAESTRO 提出一种新路线,利用视觉语言模型(VLM)作为代码代理,从预 curated 的工具库中编写机器人程序以执行多步感知与动作任务。该方法通过 plan-act-replan 循环结合视觉反馈来验证结果并恢复故障。