跳到正文
10月12日周一
  1. arXiv · 机器人与计算机视觉78

    HumanX:从人类视频迈向敏捷通用的类人形交互技能

    HumanX 是一个统一框架,无需针对每个任务设计奖励函数,即可将人类视频编译为具身智能机器人的通用交互技能。该框架包含两个核心组件:XGen 用于从单目视频生成物理合理的交互数据并扩充数据集;XMimic 则利用秒级演示学习可泛化的交互技能。

    推荐理由:该框架将人类视频转化为可泛化的机器人交互技能,在五项任务中实现零样本迁移至物理机器人。

  2. arXiv · 机器人与计算机视觉62

    T2M Mamba:用于稳定文本驱动动作生成的周期性 - 显著性耦合方法

    该工作针对现有文本到动作生成模型在长序列中易出现漂移及对同义改写敏感的问题,提出 T2M Mamba。该方法利用增强密度峰值聚类估计关键帧权重、通过 FFT 加速自相关捕捉运动周期性,并构建周期差分跨模态对齐模块以增强文本与动作嵌入的鲁棒性。

  3. arXiv · 机器人与计算机视觉78

    基于固定点流匹配的强化学习方法

    针对最大熵和受约束行为强化学习中最优策略采样困难的问题,本文提出了固定点流匹配(FFM)这一无需训练数据的方法。该方法利用目标流恒等式将演员更新构建为固定点迭代,以评论器的动作梯度作为回归目标进行流匹配风格的优化。实验表明,FFM 能有效微调预训练流策略并支持从零开始的在线强化学习训练,确立了其在不依赖训练数据情况下学习表达性流策略的原则性方法地位。

    推荐理由:提出无需训练数据的固定点流匹配方法,解决在线强化学习中策略分布采样难题。

  4. arXiv · 机器人与计算机视觉42

    Unsupervised Multimodal Reward Modeling:无需标注的视觉语言奖励模型新方法

    该方法在冻结的 Qwen3-VL 骨干网络中间层构建线性头,仅需数千参数即可在 VL-RewardBench 基准上领先 GPT-4o 6.6 分。相比 curated RLAIF-V 对,扰动数据以同等预算使冻结头多学 3 至 5 分;重训后幻觉降低 5.1 CHAIR 点且图像生成通过率提升 5.4%。该方案无需标注者,成本仅为微调的千分之一,由比较而非基准排名定义奖励。

  5. arXiv · 机器人与计算机视觉82

    Splat2Act:从捕获场景到个性化 VLA 操作

    针对通用操作策略在用户家中零成功率且采集演示成本高昂的问题,该研究提出 Splat2Act 自动化实到仿再到实流程。该方法利用手持设备扫描与物体图片构建包含碰撞几何的逼真数字孪生,自动发现收纳位并生成成功演示。在 101 个校园环境中,策略经两阶段微调后,目标场景整体拾取成功率达 62.5%,真实机器人部署子集任务成功率为 63.9%。

    推荐理由:该工作提出自动化实到仿再到实的流程,仅凭手机扫描与物体图片即可将通用 VLA 策略个性化至特定场景。

  6. arXiv · 机器人与计算机视觉43

    Noise Space Learning for VLA Adaptation 提出一种在保持预训练视觉语言动作模型固定的前提下,通过学习条件噪声分布进行高效任务适应的方法

    Noise Space Learning for VLA Adaptation 方法将噪声空间学习作为接口适配不同算法,并实例化 PPO、SAC 和 AWR 三种策略。研究在 LIBERO、RoboTwin 及四项真实机器人操作任务中验证了该方法在交互、计算和执行约束下的有效性,同时提供了信息论分析与资源部署建议。

  7. arXiv · 机器人与计算机视觉38

    OccludeBench 评测 VLMs 缺失物体推理能力,发现直接线索任务准确率仅 42.7% 且 inpaint-then-confront 干预可消除差距

    OccludeBench 基准测试显示,五款视觉语言模型在直接线索(如阴影)恢复被遮挡物体时平均准确率为 42.7%,远低于推断类任务的 62.7%。引入的 OccludeTrace 诊断工具揭示瓶颈在于从全图投影中定位目标仅成功 50%。针对具备图像生成能力的模型,采用“先补全候选再验证线索”的干预策略可将差距降至统计无显著差异水平。

  8. arXiv · 机器人与计算机视觉73

    LAPT-Scale:基于人类视频潜在动作预训练的具身策略扩展方法

    针对大规模具身交互数据采集成本高且标注噪声大的问题,本文提出 LAPT-Scale 范式,包含两个组件:LAPT-Scale-LAM 通过解释第一人称视频中帧间视觉过渡学习连续潜在动作作为隐式监督;LAPT-Scale-Policy 结合感知、语义和光流对齐信号进行预训练与目标机器人本体对齐。

  9. arXiv · 机器人与计算机视觉72

    RARA:基于检索锚定表示对齐的鲁棒策略微调

    针对预训练机器人策略(如 VLA)在新任务少样本适应中易发生表示漂移的问题,本文提出 RARA 方法。该方法分两阶段进行:首先从预训练数据中检索具有相似意图和动作的特征并进行对齐;其次在目标演示上微调策略时限制检索特征的变化。实验表明,RARA 在 RoboTwin、RoboCasa 及真实机器人上的平均成功率分别提升 9.5 个点和 13.6 个点,优于所有对比基线。

  10. arXiv · 机器人与计算机视觉42

    Reflect-VLA:通过双路径在线自蒸馏内化反思引导以提升自动驾驶规划性能

    Reflect-VLA 模型利用双路径在线自蒸馏技术,将反思引导转化为训练时的特权信息,实现单次推理生成轨迹。该方法在 NAVSIM v1/v2 和 Bench2Drive 基准上展现出具有竞争力的规划性能,同时将训练时间较强化学习减少超过 90%。该研究作为预印本发布于 arXiv,代码与权重尚未开放。

  11. arXiv · 机器人与计算机视觉78

    PartiGen:面向语言条件的人形运动生成的部件感知表示

    论文介绍 PartiGen,这是一个将解剖结构融入全身运动表示的部件感知潜在扩散框架。模型通过特定部位的注意力处理掩码帧特征并融合局部肢体信息与全身上下文,基于文本和运动历史自回归生成运动原语。

    推荐理由:提出 Part-Aware 潜在扩散框架,在 Unitree G1 上实现肢体级 FID 降低与时长预测误差减少。

  12. arXiv · 机器人与计算机视觉75

    Evo-RL:基于选择性经验的迭代机器人强化学习方法

    针对现有现实世界强化学习方法中经验价值参差不齐的问题,本文提出了 Evo-RL 方法,该方法结合人工修正与来自成功轨迹的优势引导经验选择来迭代优化策略。研究引入了 RW-RL-Dataset 数据集,涵盖超过 1000 小时的四种机器人本体数据。在真实世界的高精度操作任务上,Evo-RL 相比 RECAP 将尝试成功率提升了 30.46%。代码、模型检查点和数据集已公开。

  13. arXiv · 机器人与计算机视觉82

    CV-OPD:一种解决视觉语言模型后训练中视觉捷径问题的对比式同策略蒸馏方法

    针对现有视觉语言模型(VLM)在同策略蒸馏中过度依赖文本答案提示而忽略真实视觉证据的缺陷,本文提出 Contrastive Vision On-policy Distillation (CV-OPD) 方法。

    推荐理由:提出对比式同策略蒸馏方法,通过引入负样本教师与差异感知门控机制,解决现有 VLM 后训练依赖答案捷径、忽视视觉证据的问题。

  14. arXiv · 机器人与计算机视觉72

    Dual-Stream Memory for Vision-Language-Action Policies

    该论文针对依赖记忆的机械操作任务,提出一种双流记忆架构以追踪执行状态并恢复不可观测的视觉证据。模型包含一个无任务特定的门控 DeltaNet 用于压缩历史为时间令牌,以及一个任务条件化的检索器保留高相关帧并通过线性多尺度融合编码空间令牌。

  15. arXiv · 机器人与计算机视觉23

    e-puck 机器人演化通信研究:信息价值驱动与架构影响

    研究利用 PyBullet 重构的 e-puck 机器人发现,当无指南针时,参照性信号在扩大竞技场中表现最佳且随信息价值增加而涌现。内嵌动作选择架构(EASA)中的先天反射会限制网络并降低性能,演化过程则持续削弱这些反射。代码与数据已公开,论文为 arXiv 预印本状态。

  16. arXiv · 机器人与计算机视觉45

    Qwen3-VL-8B-Instruct 视觉注意力头发现研究揭示源与任务对选择的影响

    针对 Qwen3-VL-8B-Instruct,研究发现注意力来源和查询类型比语料库更能重塑选出的头部,其中指代 + 查询跨度组合在必要性上显著优于其他配置。然而,该模型未发现具有特定可引导性的头部,其表现与随机匹配头部无差异。研究据此提出了一套报告视觉头部发现的标准化协议以规避评估陷阱。

  17. arXiv · 机器人与计算机视觉28

    VLN-AIEP 模型实现指令执行进度感知的鲁棒视觉语言导航

    VLN-AIEP 框架通过耦合进度估计与导航决策,利用地标锚定轨迹表示抑制已执行内容干扰,在 R2R、RxR、CVDN 及 R2R-CE 数据集上取得优异性能。该方法无需显式进度标注或昂贵在线推理,使智能体能直接依据导航标签学习进度估计。相关代码与论文已在 arXiv 提交待注册 DOI。

  18. arXiv · 机器人与计算机视觉43

    CaptchaAgent:面向验证码求解的可验证视觉推理框架

    CaptchaAgent 提出结构化视觉推理框架,通过构建显式记录实体与关系的 V-IR 及 ASCII 协议解决端到端模型在细粒度感知上的脆弱性。该框架在 Open CaptchaWorld 上相比商用浏览器代理基线将 Pass@1 提升 21.3-25.8 个百分点,并在 Oedipus-data 基准上平均提升 9.2-12.3 个百分点。

  19. arXiv · 机器人与计算机视觉74

    GAMMA:具备机械审计的 grounded 多智能体记忆系统

    论文指出预训练视觉语言动作(VLA)策略在处理依赖长时观察事件的记忆任务时表现不佳,因训练数据多为马尔可夫式且难以将情节记忆直接映射为动作。作者提出 GAMMA 架构,构建由空间定位工具(SAM-3)、蒸馏文本的 VLM 写入器、追加仅文本记忆库及带机械视觉证据校验的 VLM 推理器组成的双智能体协作系统。

  20. arXiv · 机器人与计算机视觉45

    Verifier-Mediated Multi-LLM Coordination for Multi-Robot Path Planning 研究多机器人路径规划

    针对大语言模型生成的符号计划在几何落地后可能因时空约束冲突而不可行的问题,该研究提出了一种由几何验证器介导的多 LLM 协调架构。实验在 CARLA 仿真环境和 Crazyflie 空中机器人上评估了任务复杂度增加时的协调性能,对比了集中式推理与去中心化协调策略在语义规划与物理可执行性间的权衡。

  21. arXiv · 机器人与计算机视觉66

    Spa-Bench:面向视觉语言动作模型的实体空间定位基准

    针对现有 VLA 评估忽视空间描述可靠性的问题,作者发布了 Spa-Bench 真实机器人基准,涵盖物体状态、相对大小等六类桌面任务。研究在 SO-101 机械臂上收集了 4,092 个回合数据,对比发现模型在分布内配置成功率为 67.5%-73.3%,而在分布外配置降至 40.7%-52.0%,表明当前 VLA 虽能执行操作但缺乏稳健的空间定位能力。

  22. arXiv · 机器人与计算机视觉35

    UAV-UGV 协同规划算法:在能耗与顺序约束下实现高效空中监测

    针对需满足访问点顺序的无人机 - 地面车团队,该研究提出联合规划路线与时序的多项式时间算法。系统在考虑无人机续航限制、移动充电及传输任务时,通过允许减速机制确保顺序约束,并在有界扰动下最小化任务完成时间。数值对比验证了该方法在解决 NP-hard 问题上的可行性与计算复杂度优势。

  23. arXiv · 机器人与计算机视觉28

    VLMs 在 Stroop 任务中偏向文本特征及表征起源研究

    研究人员利用 Stroop 范式基准测试发现,视觉语言模型(VLM)在处理图文冲突时存在持续偏向文本特征的偏差。嵌入空间分析显示文本线索比颜色线索更具可分性,导致干预文本方向更容易成功。该预印本论文揭示了同一图像内不同特征对 VLM 行为的不等影响力,为理解下游应用中的提示词特异性显著性提供了证据。

  24. Hugging Face Daily Papers73

    CameraVLM:一种能准确判断相机左右移动的视觉 - 语言模型

    论文指出当前视觉 - 语言模型(VLM)在判断相机是向左还是向右移动时表现接近随机猜测。作者提出 CameraVLM,该模型通过引入运动状态表示并让语言模型直接解释离屏运动与在屏流动态态,而非单独训练姿态估计器。实验显示,仅用 90 亿参数,CameraVLM 在三个基准测试和二十多个基线中均大幅领先开源及专用相机运动模型,并在包含 48 名参与者的研究中表现媲美人类观察者。

  25. Hugging Face Daily Papers59

    EAU:面向用户中心智能体的环境 - 智能体 - 用户协同进化框架

    论文提出 EAU 元智能体框架,用于解决大语言模型智能体在多轮交互训练中因用户模拟器不稳定或环境不可靠导致的信号依赖问题。该框架通过监控轨迹、工具痕迹和奖励等数据诊断失败原因,对模拟器、环境和奖励设计进行针对性修改并热更新,使训练系统随策略共同进化。

10月10日周六
10月9日周五
  1. arXiv · 机器人与计算机视觉70

    HIL-UMI:将视觉语言动作模型的类人环后训练引入通用操作接口

    论文介绍 HIL-UMI 框架,实现无需实体机器人部署的策略引导型人类在环视觉语言动作模型后训练。该方法通过手持演示查询当前策略而不执行预测,利用能量分数检测分布外区域并触发数据收集,同时基于优势估计器优化行为克隆。实验显示其在长程与精细操作任务上优于监督微调及 HG-DAgger 方法,且每帧采集时间更低。

  2. arXiv · 机器人与计算机视觉83

    LM-X:通过进度、事件和不确定性预测的可解释视觉 - 语言 - 动作建模

    论文介绍 LM-X,这是一个将可解释状态(任务进度、下一语义事件、局部指令可靠性)联合预训练到控制策略中的 VLA 基础模型。研究基于生物感觉运动组织原理,在超过 20,000 小时的异构真实机器人轨迹上进行预训练,包含逾 1,000 小时失败演示。

    推荐理由:该工作提出将任务进度、事件预测与不确定性估计联合预训练到 VLA 模型中,旨在解决黑盒控制问题并提升长程任务可靠性。

  3. arXiv · 机器人与计算机视觉67

    RA-VLA:一种用于测试时适应的检索增强型视觉语言动作模型

    针对现有 VLA 模型在面对新型任务分布时表现脆弱的问题,本文提出 RA-VLA 框架,通过整合行为对齐的上下文检索与落地执行流程,解决因浅层检索机制和行为惯性导致的适应瓶颈。实验在 LIBERO 基准测试及真实 UR5e 机器人环境中进行,结果显示该框架在免训练条件下实现了更优的任务成功率与计算效率,为机器人免训练适应提供了稳健方案。

  4. arXiv · 机器人与计算机视觉72

    推理链作为视觉语言动作策略的控制表面:修复与腐蚀效应的量化评估

    该研究在 LIBERO 仿真环境中对 DeepThinkVLA 模型进行了反事实干预实验,验证了将推理链作为控制表面的有效性。当推理链被错误指令污染时,用正确生成的推理链替换可恢复 47.8% 的成功率;而若推理链仅复述视觉信息则无影响。实验证实文本编辑能直接修正或破坏机器人行为,为部署时的接口暴露决策提供了量化依据。

  5. arXiv · 机器人与计算机视觉78

    ActionCodec:面向 VLA 优化的动作分词器设计原则与新模型发布

    论文针对现有动作分词器仅关注重建保真度而忽视 VLA 优化的问题,提出最大化时间重叠、最小化词汇冗余等四大设计原则,并据此推出 ActionCodec。在 LIBERO 基准上,基于 SmolVLM2-2.2B 微调的模型在无机器人预训练下达到 95.5% 成功率,架构增强后提升至 97.4%,刷新无预训练 VLA 模型 SOTA。

    推荐理由:提出从 VLA 优化视角的 ActionCodec,在 LIBERO 基准上实现无预训练新 SOTA。

  6. arXiv · 机器人与计算机视觉83

    Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning

    针对非马尔可夫环境中策略需处理长视界上下文信息的难题,本文提出 Keyframe Mnemonics 自监督方法,通过随机采样过去观测学习目标以发现关键信息观测(mnemonics)作为奖励进行关键帧选择。

    推荐理由:提出自监督关键帧发现方法,解决非马尔可夫环境下的行为克隆长视界依赖问题。