HumanX:从人类视频迈向敏捷通用的类人形交互技能
HumanX 是一个统一框架,无需针对每个任务设计奖励函数,即可将人类视频编译为具身智能机器人的通用交互技能。该框架包含两个核心组件:XGen 用于从单目视频生成物理合理的交互数据并扩充数据集;XMimic 则利用秒级演示学习可泛化的交互技能。
推荐理由:该框架将人类视频转化为可泛化的机器人交互技能,在五项任务中实现零样本迁移至物理机器人。
HumanX 是一个统一框架,无需针对每个任务设计奖励函数,即可将人类视频编译为具身智能机器人的通用交互技能。该框架包含两个核心组件:XGen 用于从单目视频生成物理合理的交互数据并扩充数据集;XMimic 则利用秒级演示学习可泛化的交互技能。
推荐理由:该框架将人类视频转化为可泛化的机器人交互技能,在五项任务中实现零样本迁移至物理机器人。
该工作针对现有文本到动作生成模型在长序列中易出现漂移及对同义改写敏感的问题,提出 T2M Mamba。该方法利用增强密度峰值聚类估计关键帧权重、通过 FFT 加速自相关捕捉运动周期性,并构建周期差分跨模态对齐模块以增强文本与动作嵌入的鲁棒性。
针对最大熵和受约束行为强化学习中最优策略采样困难的问题,本文提出了固定点流匹配(FFM)这一无需训练数据的方法。该方法利用目标流恒等式将演员更新构建为固定点迭代,以评论器的动作梯度作为回归目标进行流匹配风格的优化。实验表明,FFM 能有效微调预训练流策略并支持从零开始的在线强化学习训练,确立了其在不依赖训练数据情况下学习表达性流策略的原则性方法地位。
推荐理由:提出无需训练数据的固定点流匹配方法,解决在线强化学习中策略分布采样难题。
该方法在冻结的 Qwen3-VL 骨干网络中间层构建线性头,仅需数千参数即可在 VL-RewardBench 基准上领先 GPT-4o 6.6 分。相比 curated RLAIF-V 对,扰动数据以同等预算使冻结头多学 3 至 5 分;重训后幻觉降低 5.1 CHAIR 点且图像生成通过率提升 5.4%。该方案无需标注者,成本仅为微调的千分之一,由比较而非基准排名定义奖励。
针对通用操作策略在用户家中零成功率且采集演示成本高昂的问题,该研究提出 Splat2Act 自动化实到仿再到实流程。该方法利用手持设备扫描与物体图片构建包含碰撞几何的逼真数字孪生,自动发现收纳位并生成成功演示。在 101 个校园环境中,策略经两阶段微调后,目标场景整体拾取成功率达 62.5%,真实机器人部署子集任务成功率为 63.9%。
推荐理由:该工作提出自动化实到仿再到实的流程,仅凭手机扫描与物体图片即可将通用 VLA 策略个性化至特定场景。
Noise Space Learning for VLA Adaptation 方法将噪声空间学习作为接口适配不同算法,并实例化 PPO、SAC 和 AWR 三种策略。研究在 LIBERO、RoboTwin 及四项真实机器人操作任务中验证了该方法在交互、计算和执行约束下的有效性,同时提供了信息论分析与资源部署建议。
论文提出了 BT-Agent 架构,旨在在计算和内存受限的移动机器人上实现语言模型智能体的机载运行。该架构结合大语言模型驱动的任务决策与预定义的行为树技能,后者强制执行执行条件并返回结构化失败反馈。
MC-EvoBench 是一个受控基准,旨在解决具身递归自改进中能力迁移的评估难题。该基准构建了包含 19 条进化链(含 12 条主评估链和 7 条校准探测链)的固定 Minecraft 环境,将任务表示为任务状态图并定义阶段级验证器。
OccludeBench 基准测试显示,五款视觉语言模型在直接线索(如阴影)恢复被遮挡物体时平均准确率为 42.7%,远低于推断类任务的 62.7%。引入的 OccludeTrace 诊断工具揭示瓶颈在于从全图投影中定位目标仅成功 50%。针对具备图像生成能力的模型,采用“先补全候选再验证线索”的干预策略可将差距降至统计无显著差异水平。
针对大规模具身交互数据采集成本高且标注噪声大的问题,本文提出 LAPT-Scale 范式,包含两个组件:LAPT-Scale-LAM 通过解释第一人称视频中帧间视觉过渡学习连续潜在动作作为隐式监督;LAPT-Scale-Policy 结合感知、语义和光流对齐信号进行预训练与目标机器人本体对齐。
针对 VLA 策略输出稀疏目标导致的延迟和不规则到达引发的突兀动作问题,该研究提出 JitterVLA 基准,通过回放相同指令和到达轨迹至替代控制器以隔离控制器效应。
针对预训练机器人策略(如 VLA)在新任务少样本适应中易发生表示漂移的问题,本文提出 RARA 方法。该方法分两阶段进行:首先从预训练数据中检索具有相似意图和动作的特征并进行对齐;其次在目标演示上微调策略时限制检索特征的变化。实验表明,RARA 在 RoboTwin、RoboCasa 及真实机器人上的平均成功率分别提升 9.5 个点和 13.6 个点,优于所有对比基线。
该论文介绍 RESCUE 框架,用于评估机器人策略运行时监控器报警是否值得采取行动。通过在检查点恢复仿真器和策略状态,该方法比较替代动作并识别满足恢复标准的最新检查点,以量化干预对任务完成成本的降低效果。
Reflect-VLA 模型利用双路径在线自蒸馏技术,将反思引导转化为训练时的特权信息,实现单次推理生成轨迹。该方法在 NAVSIM v1/v2 和 Bench2Drive 基准上展现出具有竞争力的规划性能,同时将训练时间较强化学习减少超过 90%。该研究作为预印本发布于 arXiv,代码与权重尚未开放。
论文介绍 PartiGen,这是一个将解剖结构融入全身运动表示的部件感知潜在扩散框架。模型通过特定部位的注意力处理掩码帧特征并融合局部肢体信息与全身上下文,基于文本和运动历史自回归生成运动原语。
推荐理由:提出 Part-Aware 潜在扩散框架,在 Unitree G1 上实现肢体级 FID 降低与时长预测误差减少。
针对现有现实世界强化学习方法中经验价值参差不齐的问题,本文提出了 Evo-RL 方法,该方法结合人工修正与来自成功轨迹的优势引导经验选择来迭代优化策略。研究引入了 RW-RL-Dataset 数据集,涵盖超过 1000 小时的四种机器人本体数据。在真实世界的高精度操作任务上,Evo-RL 相比 RECAP 将尝试成功率提升了 30.46%。代码、模型检查点和数据集已公开。
针对现有视觉语言模型(VLM)在同策略蒸馏中过度依赖文本答案提示而忽略真实视觉证据的缺陷,本文提出 Contrastive Vision On-policy Distillation (CV-OPD) 方法。
推荐理由:提出对比式同策略蒸馏方法,通过引入负样本教师与差异感知门控机制,解决现有 VLM 后训练依赖答案捷径、忽视视觉证据的问题。
该论文针对依赖记忆的机械操作任务,提出一种双流记忆架构以追踪执行状态并恢复不可观测的视觉证据。模型包含一个无任务特定的门控 DeltaNet 用于压缩历史为时间令牌,以及一个任务条件化的检索器保留高相关帧并通过线性多尺度融合编码空间令牌。
研究利用 PyBullet 重构的 e-puck 机器人发现,当无指南针时,参照性信号在扩大竞技场中表现最佳且随信息价值增加而涌现。内嵌动作选择架构(EASA)中的先天反射会限制网络并降低性能,演化过程则持续削弱这些反射。代码与数据已公开,论文为 arXiv 预印本状态。
针对 Qwen3-VL-8B-Instruct,研究发现注意力来源和查询类型比语料库更能重塑选出的头部,其中指代 + 查询跨度组合在必要性上显著优于其他配置。然而,该模型未发现具有特定可引导性的头部,其表现与随机匹配头部无差异。研究据此提出了一套报告视觉头部发现的标准化协议以规避评估陷阱。
VLN-AIEP 框架通过耦合进度估计与导航决策,利用地标锚定轨迹表示抑制已执行内容干扰,在 R2R、RxR、CVDN 及 R2R-CE 数据集上取得优异性能。该方法无需显式进度标注或昂贵在线推理,使智能体能直接依据导航标签学习进度估计。相关代码与论文已在 arXiv 提交待注册 DOI。
论文介绍 Evo-World,这是一个轻量级视觉语言动作(VLA)模型,通过光流监督增强策略学习中的未来运动预测能力,从而提供专注于运动而非外观的预测信号。
CaptchaAgent 提出结构化视觉推理框架,通过构建显式记录实体与关系的 V-IR 及 ASCII 协议解决端到端模型在细粒度感知上的脆弱性。该框架在 Open CaptchaWorld 上相比商用浏览器代理基线将 Pass@1 提升 21.3-25.8 个百分点,并在 Oedipus-data 基准上平均提升 9.2-12.3 个百分点。
论文指出预训练视觉语言动作(VLA)策略在处理依赖长时观察事件的记忆任务时表现不佳,因训练数据多为马尔可夫式且难以将情节记忆直接映射为动作。作者提出 GAMMA 架构,构建由空间定位工具(SAM-3)、蒸馏文本的 VLM 写入器、追加仅文本记忆库及带机械视觉证据校验的 VLM 推理器组成的双智能体协作系统。
针对大语言模型生成的符号计划在几何落地后可能因时空约束冲突而不可行的问题,该研究提出了一种由几何验证器介导的多 LLM 协调架构。实验在 CARLA 仿真环境和 Crazyflie 空中机器人上评估了任务复杂度增加时的协调性能,对比了集中式推理与去中心化协调策略在语义规划与物理可执行性间的权衡。
针对现有 VLA 评估忽视空间描述可靠性的问题,作者发布了 Spa-Bench 真实机器人基准,涵盖物体状态、相对大小等六类桌面任务。研究在 SO-101 机械臂上收集了 4,092 个回合数据,对比发现模型在分布内配置成功率为 67.5%-73.3%,而在分布外配置降至 40.7%-52.0%,表明当前 VLA 虽能执行操作但缺乏稳健的空间定位能力。
针对需满足访问点顺序的无人机 - 地面车团队,该研究提出联合规划路线与时序的多项式时间算法。系统在考虑无人机续航限制、移动充电及传输任务时,通过允许减速机制确保顺序约束,并在有界扰动下最小化任务完成时间。数值对比验证了该方法在解决 NP-hard 问题上的可行性与计算复杂度优势。
研究人员利用 Stroop 范式基准测试发现,视觉语言模型(VLM)在处理图文冲突时存在持续偏向文本特征的偏差。嵌入空间分析显示文本线索比颜色线索更具可分性,导致干预文本方向更容易成功。该预印本论文揭示了同一图像内不同特征对 VLM 行为的不等影响力,为理解下游应用中的提示词特异性显著性提供了证据。
论文提出 PINT 模型,通过在视觉语言模型序列中插入可学习的意图令牌来统一协调语义推理、世界建模与动作生成。该方法在冻结视频生成模型的预训练阶段学习预测意图,随后适配各专家路径。
论文指出当前视觉 - 语言模型(VLM)在判断相机是向左还是向右移动时表现接近随机猜测。作者提出 CameraVLM,该模型通过引入运动状态表示并让语言模型直接解释离屏运动与在屏流动态态,而非单独训练姿态估计器。实验显示,仅用 90 亿参数,CameraVLM 在三个基准测试和二十多个基线中均大幅领先开源及专用相机运动模型,并在包含 48 名参与者的研究中表现媲美人类观察者。
论文提出 EAU 元智能体框架,用于解决大语言模型智能体在多轮交互训练中因用户模拟器不稳定或环境不可靠导致的信号依赖问题。该框架通过监控轨迹、工具痕迹和奖励等数据诊断失败原因,对模拟器、环境和奖励设计进行针对性修改并热更新,使训练系统随策略共同进化。
面壁智能与鹿明机器人近日正式达成战略合作,将面壁智能 MiniCPM 系列端侧大模型部署于鹿明机器人本体实现本地化实时运行。双方依托各自在高效基座模型、具身本体及产业场景的优势,共同推动具身智能从技术验证走向规模化落地。
针对构建视觉语言模型(VLM)时选择大语言模型(LLM)骨干缺乏原则的问题,本文提出能力驱动的多模态扩展定律。该框架首次通过主成分分析提取低维文本能力分数,结合每骨干迁移率与吸收率,准确预测 VLM 基准准确率及训练轨迹。
论文介绍 HIL-UMI 框架,实现无需实体机器人部署的策略引导型人类在环视觉语言动作模型后训练。该方法通过手持演示查询当前策略而不执行预测,利用能量分数检测分布外区域并触发数据收集,同时基于优势估计器优化行为克隆。实验显示其在长程与精细操作任务上优于监督微调及 HG-DAgger 方法,且每帧采集时间更低。
论文介绍 LM-X,这是一个将可解释状态(任务进度、下一语义事件、局部指令可靠性)联合预训练到控制策略中的 VLA 基础模型。研究基于生物感觉运动组织原理,在超过 20,000 小时的异构真实机器人轨迹上进行预训练,包含逾 1,000 小时失败演示。
推荐理由:该工作提出将任务进度、事件预测与不确定性估计联合预训练到 VLA 模型中,旨在解决黑盒控制问题并提升长程任务可靠性。
针对现有 VLA 模型在面对新型任务分布时表现脆弱的问题,本文提出 RA-VLA 框架,通过整合行为对齐的上下文检索与落地执行流程,解决因浅层检索机制和行为惯性导致的适应瓶颈。实验在 LIBERO 基准测试及真实 UR5e 机器人环境中进行,结果显示该框架在免训练条件下实现了更优的任务成功率与计算效率,为机器人免训练适应提供了稳健方案。
该论文研究视觉语言动作(VLA)模型如何遵循指令指定的细粒度执行约束。作者提出 ExecVLA 框架,通过双层动作表示将目标导向组件与执行特定组件分离,并引入显式的目标不变性与执行可预测性目标。
该研究在 LIBERO 仿真环境中对 DeepThinkVLA 模型进行了反事实干预实验,验证了将推理链作为控制表面的有效性。当推理链被错误指令污染时,用正确生成的推理链替换可恢复 47.8% 的成功率;而若推理链仅复述视觉信息则无影响。实验证实文本编辑能直接修正或破坏机器人行为,为部署时的接口暴露决策提供了量化依据。
论文针对现有动作分词器仅关注重建保真度而忽视 VLA 优化的问题,提出最大化时间重叠、最小化词汇冗余等四大设计原则,并据此推出 ActionCodec。在 LIBERO 基准上,基于 SmolVLM2-2.2B 微调的模型在无机器人预训练下达到 95.5% 成功率,架构增强后提升至 97.4%,刷新无预训练 VLA 模型 SOTA。
推荐理由:提出从 VLA 优化视角的 ActionCodec,在 LIBERO 基准上实现无预训练新 SOTA。
针对非马尔可夫环境中策略需处理长视界上下文信息的难题,本文提出 Keyframe Mnemonics 自监督方法,通过随机采样过去观测学习目标以发现关键信息观测(mnemonics)作为奖励进行关键帧选择。
推荐理由:提出自监督关键帧发现方法,解决非马尔可夫环境下的行为克隆长视界依赖问题。