通用稠密奖励用于长周期机器人任务研究
针对现有机器人基础策略在长周期任务中因分布偏移和误差累积而表现不佳的问题,该研究提出 VLLR 框架。该方法结合大语言模型(LLMs)与视觉语言模型(VLMs)生成外显奖励以识别任务进度,并利用策略自确定性提供内隐奖励指导强化学习微调。
推荐理由:该工作提出 VLLR 框架,利用大模型分解任务与视觉语言模型初始化价值函数,结合策略自确定性奖励,在无需人工设计奖励的情况下提升长程任务的泛化成功率。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
针对现有机器人基础策略在长周期任务中因分布偏移和误差累积而表现不佳的问题,该研究提出 VLLR 框架。该方法结合大语言模型(LLMs)与视觉语言模型(VLMs)生成外显奖励以识别任务进度,并利用策略自确定性提供内隐奖励指导强化学习微调。
推荐理由:该工作提出 VLLR 框架,利用大模型分解任务与视觉语言模型初始化价值函数,结合策略自确定性奖励,在无需人工设计奖励的情况下提升长程任务的泛化成功率。
论文提出了 SimToolReal 框架,旨在解决机器人灵巧工具操作难题。该方法通过在仿真中程序化生成大量工具类原语,训练单一强化学习策略以实现通用目标位姿操作,无需针对特定对象或任务进行额外训练。
推荐理由:提出 SimToolReal 方法,通过仿真生成工具原语实现零样本灵巧操作,在真实世界多任务中优于现有基线。
论文介绍 LHM-Humanoid 方法,旨在实现物理仿真中无需重置的连续长视界物体搬运任务。该方法通过两个控制器协作,学习将每个周期的终端状态引导至可恢复区域,从而解决端到端强化学习在非常规姿态下失效的问题。实验显示,在跨越四种房间类型的 350 个杂乱布局场景中,该方法在已知和未知场景下的成功率和稳定性均优于端到端 RL、分层 RL 及先前的物理仿真方法。
推荐理由:该工作提出 LHM-Humanoid,通过学习释放与后退行为解决长视界连续搬运中的状态切换难题。
该研究评估了微调对预训练模型在分布外任务上鲁棒性的影响,发现微调会导致灾难性遗忘和泛化能力丧失。实验表明,基于 LAION-2B 等最大规模数据集预训练的模型在微调小数据集后,其绝对鲁棒性和鲁棒性损失均高于小规模预训练模型。
推荐理由:研究发现大模型微调后鲁棒性下降,且预训练规模越大损失越严重。
论文提出“视觉回避”概念,定义当视觉变换在任务规则下不可能时,模型应识别并拒绝生成。作者构建了包含 1,050 对可行与不可行请求的 Draw-or-Decline (DoD) 基准,评估了 8 个统一多模态模型(UMMs),发现现有模型编辑能力与回避能力分离,且常因未察觉冲突而强行生成错误内容。
推荐理由:提出 VisTA-BAGEL 方法,使模型在无提示下将不可行请求拒答率从 0.4% 提升至 93%,同时保持编辑准确率领先。
针对大规模模型合并时搜索最优参数系数成本高昂的问题,本文提出αTransfer范式。该方法利用同一家族内不同尺寸模型在合并系数上的性能分布高度一致的特性,在小代理模型上完成搜索后直接将系数迁移至大目标模型。实验表明,该方法在视觉Transformer和大型语言模型上分别实现了6倍和20倍的加速以及70%和85%的显存减少,同时保持了相当的性能水平。
推荐理由:提出αTransfer方法,在小代理模型上搜索合并系数并直接迁移至大模型,实现视觉与语言模型的推理速度提升及显存大幅降低。
论文介绍了 QF3(Fast Flow RL with Filtered Q-Gradients),这是一种在线离线强化学习算法,用于训练流匹配策略以改进预训练行为或从零开始学习机器人动作。
推荐理由:该工作提出 QF3 算法,实现了对流匹配策略的在线离线强化学习训练,并在人形移动和抓取任务上验证了从演示到硬件的零样本迁移能力。
针对预训练机器人策略在部署时面对分布外条件性能下降的问题,该研究提出 PEARS 框架,利用视觉语言模型编码的物理先验诊断失败原因并更新接触力边界,同时通过触觉条件的扩散引导调整冻结策略的潜在噪声以修正运动与接触时序错误。
推荐理由:该工作提出结合物理先验推理与扩散引导的策略适应框架,在触觉操作任务中显著降低试错成本并提升成功率。
针对现有视频世界模型缺乏一致 3D 几何的问题,作者提出一种结合学习到的立体深度与联合因子图的校准流程,从同一物理机器人收集的数据集中恢复共享运动学参数及场景外参。
推荐理由:论文提出结合立体深度与因子图的校准流程,构建支持多视角几何推理的 3D 世界模型。
该研究针对交互式视频世界模型中每块生成需多次昂贵去噪的问题,提出无需训练的 CtrlCache 框架。该方法利用控制信号提前到达的特性,分析相邻块在动作变化处的结构相似性差异,将块标记为初始、过渡、转向或稳态阶段。
推荐理由:提出无需训练的 CtrlCache 框架,通过控制感知调度与频率混合先验指导,在保持交互响应度的同时显著降低视频世界模型的推理成本。
针对端点合并难以区分预训练差异与后训练获取能力的局限,本文提出Selective-RL方法,隔离强化学习阶段的参数更新并保留其主导矩阵方向以进行跨模型迁移。实验在三个模型家族和五个视觉推理基准上验证,该方法在全量更新插值的15组比较中提升了12组的性能,其中Qwen接收者在MathVision任务上提升8.55个百分点。研究区分了后训练获取内容与可跨模型转移内容,代码已开源。
推荐理由:提出Selective-RL方法,通过筛选强化学习更新中的主导方向实现跨模型能力迁移,在多项基准测试中优于全量更新插值。
论文介绍 RIWANav 框架,将世界模型与动作模型(策略)的联合适应定义为任务特定的递归自改进过程。该框架交替进行两轮更新:世界模型通过预测候选动作的视觉后果提供想象反馈以优化策略;改进后的策略构建基于行为新颖性和预测误差的自我课程,筛选专家一致的动作 - 视频对。实验表明该方法优于基线及现有方法,真实世界测试也验证了其实际适用性。
推荐理由:提出 RIWANav 框架,通过策略与世界模型的递归自改进循环解决长程导航误差累积问题。
论文提出 Coordinated Multi-Agent Diffusion Steering (CMDS) 框架,将冻结的预训练扩散模型作为可复用的生成原语,通过学习的控制策略协调其反向过程。
推荐理由:提出 CMDS 框架,通过随机最优控制协调冻结的预训练扩散模型,实现多智能体协同生成与空间约束满足。
该研究提出冻结的视频语言模型(VideoLLMs)内部天然携带关于‘是否已收集足够证据’的可线性读取信号,且该信号独立于模型输出并受问题条件调制。实验显示,在严格采样下 AUROC 介于 0.733-0.905,即使回答错误时该信号仍有效(AUROC 0.722)。
推荐理由:研究发现冻结视频语言模型内部存在可线性读取的证据就绪信号,将其转化为门控策略可在匹配时长下提升准确率。
针对通用剪枝标准不适用于闭环动作行为的问题,本文提出 Loss-Conditioned Activation-Moment (LCAM) 剪枝算法。该方法无需恢复训练或仿真 rollout,通过行归一化权重贡献、校准演示中的激活矩以及输出方向对动作预测损失的敏感度来排序连接,并设计自递归粗到细的稀疏度分配流程。
推荐理由:提出无需重训的 LCAM 剪枝算法,在 LIBERO 与 OpenVLA 上验证了高稀疏度下的策略性能保持能力。
论文介绍了 WareFly-VLA,这是一个用于智能仓库中语言引导的人体搜索、定位和跟踪的光真实感无人机 VLA 框架及数据集。该数据集包含 507 次人工遥操作飞行片段和 8,504 个高分辨率 RGB 过渡帧,均在 NVIDIA Isaac Sim 中采集,并配有人工撰写的目标外观描述与同步的四自由度控制指令。
推荐理由:该工作填补了仓库环境下无人机语言引导控制的基准空白,揭示了当前基础模型在空载平台迁移的局限。
针对视觉语言动作(VLA)策略频繁调用推理导致的高能耗问题,该研究提出 ActTune 框架,通过层间精度分配与基于负载的 GPU 工作点选择来优化能效。该方法利用轻量决策树从配置误差中学习,在每次策略调用前选择最佳精度,并异步应用校准后的 GPU 工作点以控制延迟预算。
推荐理由:ActTune 框架通过感知动作的量化敏感度与动态调整 GPU 工作点,在保持任务成功率的同时显著降低能耗并提升推理速度。
针对高逼真度唇同步生成技术带来的社会风险,本文提出 LipDA 框架,通过量化真实与伪造视频中口型与头部姿态特征的不一致性进行检测,并捕捉模型特有的时序动态实现溯源。实验在两个挑战数据集及自建大规模多生成器数据集上验证,检测 AUC 超 97%,模型归因准确率达 97.5%。代码与 LipSync-A 数据集已开源。
推荐理由:提出 LipDA 框架,利用口型与头部姿态的不一致性检测唇同步伪造并溯源模型。
针对现有视觉语言模型过度依赖文本而忽视视觉信息的问题,本文提出了 GeoPID,这是一个无需训练即可应用的框架。该方法从几何视角分析多模态信息,将信息分解为冗余、模态独有和协同三个部分。研究在 22 个 VLM 和 14 个基准测试上验证了正确预测具有更强的视觉独有分量,并引入干预技术在推理阶段选择性放大视觉独有子空间中的表征,实现了平均相对准确率提升 7.63%。
推荐理由:该工作提出无需微调的几何干预框架,通过放大视觉独有表征提升 VLM 的视觉定位能力。
该论文研究固定词汇表下的免图像查询多类别计数任务,提出 UniCounting 方法将计数建模为过完备提案集上的实例感知结构推理。系统使用冻结的 SAM~2.1 生成掩码、DINOv2 和 OpenCLIP 提供关系与类别特征,仅训练一个共享关系的头部来预测同一实例的亲和性。
推荐理由:提出 UniCounting 方法,在无需文本查询下实现多类别实例计数,并在 COCO 等基准上优于现有模型。