TIDE:一种用于机器人操作的基于人机回环的在线后训练方法
论文提出了 TIDE 系统,这是一种无需学习评论家、奖励模型或动作评分器的在线后训练框架。该方法通过源条件监督学习,利用部署过程中收集的人机交互数据和策略生成的轨迹来更新策略。
推荐理由:该工作提出无需奖励模型或价值函数的在线后训练框架,利用部署中的人机交互数据快速更新策略。
技术方向
视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。
840 条精选近 30 天 569 条共收录 3,491 条
论文提出了 TIDE 系统,这是一种无需学习评论家、奖励模型或动作评分器的在线后训练框架。该方法通过源条件监督学习,利用部署过程中收集的人机交互数据和策略生成的轨迹来更新策略。
推荐理由:该工作提出无需奖励模型或价值函数的在线后训练框架,利用部署中的人机交互数据快速更新策略。
本文研究视觉语言模型(VLM)产生错误的原因,将其分解为视觉表征失败和视觉利用失败两类。作者提出了基于排名的 VELens 探针,用于追踪目标对象及其属性在模型各层的视觉证据,并估计视觉利用失败率。实验显示,该方法能准确诊断错误来源,发现视觉利用不足是 VLM 的主要瓶颈,建议未来改进方向在于开发更好的机制来定位、路由和使用已编码的视觉信息。
推荐理由:提出 VELens 探针量化 VLM 错误来源,发现视觉利用不足是主要瓶颈。
论文 NavBind 提出一种方法,用于诊断视觉语言动作(VLA)导航模型是否真正遵循指令而非仅依赖视觉线索或历史轨迹。研究构建了包含 3,252 个路线分叉场景的数据集,通过对比不同分支下的动作序列、概率分布及注意力变化,发现高导航成功率并不等同于对指令的忠实执行。材料为预印本,未报告真实机器人部署结果。
推荐理由:该工作通过构建路线分叉数据集,揭示导航 VLA 模型高成功率可能未忠实遵循指令的现象。
论文提出 SMR,一种基于语义条件的流式神经运动重定向方法。该方法将人类动作转换为机器人感知的任务空间目标,利用在仿真中受接触、动力学和执行器约束的物理专家直接跟踪这些目标,并训练单因果 Transformer 对执行后的状态轨迹进行建模。实验表明,相比直接优化和物理修正基线,该方法在保持语义保真度和物理有效性的同时,实现了更优的闭环控制性能。
推荐理由:提出 SMR 方法,利用语义条件物理专家在仿真中生成符合动力学约束的运动轨迹,并通过因果 Transformer 实现流式重定向。
论文提出了 Real2Sem2Real (R2Sem2R) 方法,旨在解决现有方法依赖深度传感或仅针对演示对象生成数据的局限。该方法利用 DINOv3-distilled Gaussian splats 跟踪 SE(3) 姿态,结合语义对齐将数字孪生体与演示物体匹配,并将人类手部动作映射为可行的机器人抓取策略。
推荐理由:该方法利用单个人类 RGB 演示生成跨语义实例的机器人数据,在真实机器人上验证了策略泛化能力。
针对视觉问答中的视觉绑定问题,本文通过固定图像与陈述的对照实验,分析了对象角色、关系等字段标签在不同模型上的差异化效果。研究发现,添加对象角色标签对 Qwen3 有利但对 Qwen2 有害,且保留提示词的优势主要源于避免错误互换;更清晰的提示词虽提升文本匹配但未必改善视觉判断,而直接选择图像中的关系则能部分降低特定提示下的误差。
推荐理由:该研究通过控制变量实验揭示了结构化提示中不同标签对视觉绑定任务的具体影响,为优化多模态模型指令提供了实证依据。
论文介绍 AW-0 框架,通过统一架构联合建模代码、未来视频和机器人动作,利用代码专家生成可复用的技能程序以连接规划与执行。作者还提出了自动化策展流程来构建技能库。在 RoboTwin 2.0 及物理双手操作任务上的评估显示,该方法在任务性能、语言遵循、语义推理及鲁棒性方面均优于 VLA 和 WAM 基线。材料为预印本论文,未提及同行评审状态或具体开源代码仓库。
推荐理由:该工作提出结合代码规划与视频预测的代理世界动作模型,在仿真及物理任务上优于基线。
针对连续控制强化学习中 Critic 预测回报无法准确导出动作梯度的问题,本文提出 Forward Entropy-Regularized Policy Optimization (FERPO)。
推荐理由:提出无需对 Critic 求导的策略优化新算法 FERPO,通过前向 KL 正则化提升探索与样本效率。
论文提出 DriveVLA-M0,一种带失败感知隐式记忆的检索增强视觉语言动作模型。该方法构建存储失败案例及场景结构表示的记忆池,设计专用检索模型解耦静态道路结构与动态交互以支持结构化检索。
推荐理由:提出带失败感知隐式记忆的检索增强 VLA,在 NAVSIMv1/v2 基准上提升性能且仅增加 26.44ms 推理开销。
论文介绍了一种名为 Flow Control 的方法,用于实时引导视觉语言动作(VLA)模型的动作输出。该方法将用户输入的键盘指令写入 VLA 流匹配动作专家的初始条件,无需重新训练或微调即可实现高保真且符合原分布的引导。
推荐理由:提出无需微调的流控制方法,利用通用输入实时引导 VLA 动作,提升任务成功率与完成速度。
该论文提出了一种名为 Latent Projection 的方法,旨在解决世界模型中潜变量包含无信号噪声的问题。作者利用 SIGReg 正则化将潜边际驱动为标准高斯分布的特性,假设潜序列为 Gauss-Markov 过程,通过拟合状态动力学矩阵 A 同时获得协方差结构。
推荐理由:该方法利用世界模型训练中的正则化结构,以零额外成本拟合状态动力学矩阵来剪除潜空间噪声,在导航任务中将成功率提升最高 54.7 个百分点。
arXiv 论文提出一种模型,直接为任意提供的骨架(rig)协同生成视频和 3D 运动,并注册相机以将动作置于 3D 场景中。该方法将 3D 运动建模独立于视频模型,支持非人形骨架,利用少量交叉注意力层连接预训练视频模型。
推荐理由:提出联合生成视频与任意骨架 3D 运动的新方法,支持非人形资产动画化及场景配准。
针对现有强化学习与运动追踪方法在泛化性与自然性上的权衡问题,论文提出 AdaDex 框架。该框架核心为 Hybrid Dexterous Mimicking,通过在密集运动追踪环境与稀疏奖励泛化环境并行训练共享策略,将数秒的人类动作转化为具备功能抓取、物体重定向及投掷等能力的灵巧技能。实验表明该方法在仿真与真实世界中均优于基线,并实现了跨模拟器迁移。
推荐理由:提出 AdaDex 框架,利用混合模仿策略将少量人类动作转化为可泛化的灵巧技能,并在仿真与真实世界验证了跨平台迁移能力。
论文介绍 UniWALM,一种将视频、动作与语言统一在单一混合 Transformer 骨干中的世界 - 动作 - 语言模型。该架构通过同步去噪解码子任务与文本记忆,无需外部规划器或记忆库即可实现语言作为记忆的闭环。
推荐理由:UniWALM 在统一架构下实现语言记忆闭环,无需预训练语言或推理模型即可提升操作成功率。
AgenticRoboRL 是一个针对机器人规划器的后训练框架,结合监督微调与多轮强化学习,通过适配不同执行机制(如 VLA 技能调用与控制代码生成)提升规划能力。在 LIBERO-PRO 基准上,该方法使 9B 参数规划器在无外部记忆条件下的成功率从 18.1% 提升至 71.0%,接近带外部记忆的 Codex (GPT-5.5) 的 72.1% 水平。作者将开源该框架及训练好的规划器检查点。
推荐理由:该框架通过微调与强化学习结合,在不依赖外部记忆的情况下将 9B 参数规划器成功率从 18.1% 提升至 71.0%,接近带外部记忆的基线水平。
论文提出 REACT 框架,旨在从人机演示中学习可部署的人形机器人交互策略。该方法利用视觉语言模型(VLM)进行语义接触建模与重定向,将人类伙伴的遮挡状态转化为生成式预测目标以弥补感知缺失。研究在仿真及宇树 G1 真机平台上验证了该框架在五种高接触密度交互任务中的有效性,证明其能仅凭机载传感器完成操作。
推荐理由:提出 REACT 框架,利用 VLM 进行接触重定向与生成式伙伴建模,解决人形机器人与人类交互中的严重遮挡问题。
针对对象 - 目标导航任务中检测器易误判及候选体被遮挡的问题,该研究提出 CLOSER 框架。该方法微调开源 VLM 对多视角候选体进行目标、非目标或不确定标注,利用嵌入多样性门控选择互补视角并融合概率;若仍不确定则驱动智能体仅凭掩码和深度信息接近候选体直至决策明确。
推荐理由:该工作提出证据感知的主动验证框架,通过微调开源 VLM 与扩散策略结合,在不重新训练现有导航系统的前提下提升目标导航成功率。
针对大规模人形运动捕捉数据在迁移到不同机器人时面临的挑战,论文提出了 FRDV 框架。该框架包含快速约束运动学重定向阶段和额外的动力学验证管道,利用自定义求解器实现高达每秒 9156 帧的处理速度,约为 GMR 和 ProtoMotions 的 136 倍。
推荐理由:提出 FRDV 框架,结合快速运动学重定向与动力学验证,显著提升人形机器人动作迁移效率并减少物理冲突。
论文针对世界动作模型在长程操作中易出现‘阶段混淆’的问题,提出了 TaskWAM 框架。该框架利用 Mode Tokens 表征细粒度任务需求,结合 State Tokens 追踪执行进度,形成结构化任务状态以引导生成预期的未来轨迹。研究构建了 StageBench 基准并在仿真与真实世界中验证了该方法能有效减少混淆且具备跨异构机器人架构的即插即用能力。
推荐理由:提出 TaskWAM 框架解决长程操作中的阶段混淆问题,并通过 StageBench 基准验证了其在异构机器人架构上的通用性。
论文提出强化迭代学习控制(RILC)框架,旨在解决顺从机器人轨迹跟踪中非线性动力学与建模不确定性的挑战。该方法通过耦合传统迭代学习控制器与强化学习策略,在保留被动顺从性的同时实现快速适应和理论收敛保证。
推荐理由:提出强化迭代学习控制框架,结合传统方法与强化学习优势,在仿真与欠驱动弹性关节机器人实验中验证了跨轨迹泛化能力。