跳到正文
10月12日周一
  1. arXiv · 机器人与计算机视觉72

    CoRE-VLA:面向可扩展与鲁棒的视觉语言动作建模的条件路由专家框架

    针对机器人传感器配置异构及意外失效的挑战,该研究提出 CoRE-VLA 框架,将动作生成表述为上下文感知的稀疏计算。通过模态可用性门控机制,模型可在利用辅助深度信息时提升性能,并在缺失传感器时实现优雅降级而不需重新训练;任务意图进一步路由至相关专家以增强多任务与长视界行为的专用性。

  2. arXiv · 机器人与计算机视觉70

    H-OPD:一种面向多模态推理的置信度感知异构多教师在线蒸馏方法

    针对现有在线蒸馏方法在多模态推理中依赖静态教师路由、无法兼顾视觉 grounding 与抽象推理动态需求的问题,本文提出 H-OPD 框架。该方法通过令牌级教师仲裁机制,沿学生轨迹动态组合视觉语言教师与纯文本教师;同时利用视觉到语言的描述转移使纯文本教师获取关键视觉语义。在 11 个广泛使用的推理基准上的大量评估表明,该方法在多模态推理任务中表现出优越的性能。

  3. arXiv · 机器人与计算机视觉68

    RoboMME-Interference:受干扰条件下的机器人跨会话记忆基准测试

    针对当前机器人记忆基准多基于单集或短上下文的局限,该研究提出了 RoboMME-Interference 基准,通过为查询任务构建包含无关历史会话的长上下文环境来评估系统鲁棒性。实验发现,现有感知记忆变体在干扰下成功率显著衰减,而子目标记忆变体虽提升有限但保持更稳定;引入基于视觉相似度的检索步骤可有效恢复无干扰时的性能水平。

  4. arXiv · 机器人与计算机视觉70

    w^2VLA:一种解耦声明性与程序性知识的视觉语言动作模型

    arXiv 预印本论文提出 w^2VLA 新架构,通过重构信息流将视觉、空间与技能信息以组合且可解释的方式调制机器人状态序列。该方法旨在解决当前 VLM 微调范式在零样本技能迁移到未见物体时的泛化瓶颈,实现声明性知识与程序性知识的解耦。材料为预印本版本,未报告真实部署结果或具体实验数据。

  5. arXiv · 机器人与计算机视觉31

    Easy-IIL 框架通过助理专家减少交互式模仿学习的人力负担

    Easy-IIL 框架利用现成的基于模型的模仿方法作为助理专家,仅需单次演示初始化并在任务濒临失败时由人类干预,从而替代大部分数据采集阶段的人为操作。仿真与真实世界实验表明,该方法在保持性能主流基准相当的同时显著降低了人力负担,用户研究也证实了其能降低主观工作负荷。该成果已提交至 arXiv (arXiv:2603.12769),属于交互式模仿学习领域的预印本论文。

  6. arXiv · 机器人与计算机视觉82

    通过神经算子实现软体机器人的无限维闭环逆运动学

    针对欠驱动软体机器人构型空间无限维且难以解析建模的问题,本文提出一种基于神经算子网络的闭环逆运动学算法。该方法将驱动到形变映射与形变到任务映射组合,利用无限维链式法则推导雅可比矩阵,并通过可微神经网络学习复杂的软体动力学模型。研究首先在恒定曲率段进行理论分析,随后在三纤维软体机械臂上验证了基于形态弹性理论和主动丝理论的算法有效性。

    推荐理由:该文提出基于神经算子的无限维闭环逆运动学方法,解决欠驱动软体机器人的控制难题。

  7. arXiv · 机器人与计算机视觉15

    TGPO:通过可验证子目标生成实现机器人任务规划的强化学习算法

    作者提出 Any House Any Task (AHAT) 框架与 TGPO 算法,利用大语言模型将指令映射为 PDDL 定义的可验证子目标以解决长视界规划难题。实验显示该方法在简短指令的复杂家庭任务中显著优于提示工程及现有学习基线。论文已撤回,作者决定停止当前形式的工作并无意发表手稿。

  8. arXiv · 机器人与计算机视觉78

    HumanX:从人类视频迈向敏捷通用的类人形交互技能

    HumanX 是一个统一框架,无需针对每个任务设计奖励函数,即可将人类视频编译为具身智能机器人的通用交互技能。该框架包含两个核心组件:XGen 用于从单目视频生成物理合理的交互数据并扩充数据集;XMimic 则利用秒级演示学习可泛化的交互技能。

    推荐理由:该框架将人类视频转化为可泛化的机器人交互技能,在五项任务中实现零样本迁移至物理机器人。

  9. arXiv · 机器人与计算机视觉62

    T2M Mamba:用于稳定文本驱动动作生成的周期性 - 显著性耦合方法

    该工作针对现有文本到动作生成模型在长序列中易出现漂移及对同义改写敏感的问题,提出 T2M Mamba。该方法利用增强密度峰值聚类估计关键帧权重、通过 FFT 加速自相关捕捉运动周期性,并构建周期差分跨模态对齐模块以增强文本与动作嵌入的鲁棒性。

  10. arXiv · 机器人与计算机视觉78

    基于固定点流匹配的强化学习方法

    针对最大熵和受约束行为强化学习中最优策略采样困难的问题,本文提出了固定点流匹配(FFM)这一无需训练数据的方法。该方法利用目标流恒等式将演员更新构建为固定点迭代,以评论器的动作梯度作为回归目标进行流匹配风格的优化。实验表明,FFM 能有效微调预训练流策略并支持从零开始的在线强化学习训练,确立了其在不依赖训练数据情况下学习表达性流策略的原则性方法地位。

    推荐理由:提出无需训练数据的固定点流匹配方法,解决在线强化学习中策略分布采样难题。

  11. arXiv · 机器人与计算机视觉42

    Unsupervised Multimodal Reward Modeling:无需标注的视觉语言奖励模型新方法

    该方法在冻结的 Qwen3-VL 骨干网络中间层构建线性头,仅需数千参数即可在 VL-RewardBench 基准上领先 GPT-4o 6.6 分。相比 curated RLAIF-V 对,扰动数据以同等预算使冻结头多学 3 至 5 分;重训后幻觉降低 5.1 CHAIR 点且图像生成通过率提升 5.4%。该方案无需标注者,成本仅为微调的千分之一,由比较而非基准排名定义奖励。

  12. arXiv · 机器人与计算机视觉82

    Splat2Act:从捕获场景到个性化 VLA 操作

    针对通用操作策略在用户家中零成功率且采集演示成本高昂的问题,该研究提出 Splat2Act 自动化实到仿再到实流程。该方法利用手持设备扫描与物体图片构建包含碰撞几何的逼真数字孪生,自动发现收纳位并生成成功演示。在 101 个校园环境中,策略经两阶段微调后,目标场景整体拾取成功率达 62.5%,真实机器人部署子集任务成功率为 63.9%。

    推荐理由:该工作提出自动化实到仿再到实的流程,仅凭手机扫描与物体图片即可将通用 VLA 策略个性化至特定场景。

  13. arXiv · 机器人与计算机视觉43

    Noise Space Learning for VLA Adaptation 提出一种在保持预训练视觉语言动作模型固定的前提下,通过学习条件噪声分布进行高效任务适应的方法

    Noise Space Learning for VLA Adaptation 方法将噪声空间学习作为接口适配不同算法,并实例化 PPO、SAC 和 AWR 三种策略。研究在 LIBERO、RoboTwin 及四项真实机器人操作任务中验证了该方法在交互、计算和执行约束下的有效性,同时提供了信息论分析与资源部署建议。

  14. arXiv · 机器人与计算机视觉38

    OccludeBench 评测 VLMs 缺失物体推理能力,发现直接线索任务准确率仅 42.7% 且 inpaint-then-confront 干预可消除差距

    OccludeBench 基准测试显示,五款视觉语言模型在直接线索(如阴影)恢复被遮挡物体时平均准确率为 42.7%,远低于推断类任务的 62.7%。引入的 OccludeTrace 诊断工具揭示瓶颈在于从全图投影中定位目标仅成功 50%。针对具备图像生成能力的模型,采用“先补全候选再验证线索”的干预策略可将差距降至统计无显著差异水平。

  15. arXiv · 机器人与计算机视觉73

    LAPT-Scale:基于人类视频潜在动作预训练的具身策略扩展方法

    针对大规模具身交互数据采集成本高且标注噪声大的问题,本文提出 LAPT-Scale 范式,包含两个组件:LAPT-Scale-LAM 通过解释第一人称视频中帧间视觉过渡学习连续潜在动作作为隐式监督;LAPT-Scale-Policy 结合感知、语义和光流对齐信号进行预训练与目标机器人本体对齐。

  16. arXiv · 机器人与计算机视觉72

    RARA:基于检索锚定表示对齐的鲁棒策略微调

    针对预训练机器人策略(如 VLA)在新任务少样本适应中易发生表示漂移的问题,本文提出 RARA 方法。该方法分两阶段进行:首先从预训练数据中检索具有相似意图和动作的特征并进行对齐;其次在目标演示上微调策略时限制检索特征的变化。实验表明,RARA 在 RoboTwin、RoboCasa 及真实机器人上的平均成功率分别提升 9.5 个点和 13.6 个点,优于所有对比基线。

  17. arXiv · 机器人与计算机视觉42

    Reflect-VLA:通过双路径在线自蒸馏内化反思引导以提升自动驾驶规划性能

    Reflect-VLA 模型利用双路径在线自蒸馏技术,将反思引导转化为训练时的特权信息,实现单次推理生成轨迹。该方法在 NAVSIM v1/v2 和 Bench2Drive 基准上展现出具有竞争力的规划性能,同时将训练时间较强化学习减少超过 90%。该研究作为预印本发布于 arXiv,代码与权重尚未开放。

  18. arXiv · 机器人与计算机视觉78

    PartiGen:面向语言条件的人形运动生成的部件感知表示

    论文介绍 PartiGen,这是一个将解剖结构融入全身运动表示的部件感知潜在扩散框架。模型通过特定部位的注意力处理掩码帧特征并融合局部肢体信息与全身上下文,基于文本和运动历史自回归生成运动原语。

    推荐理由:提出 Part-Aware 潜在扩散框架,在 Unitree G1 上实现肢体级 FID 降低与时长预测误差减少。

  19. arXiv · 机器人与计算机视觉75

    Evo-RL:基于选择性经验的迭代机器人强化学习方法

    针对现有现实世界强化学习方法中经验价值参差不齐的问题,本文提出了 Evo-RL 方法,该方法结合人工修正与来自成功轨迹的优势引导经验选择来迭代优化策略。研究引入了 RW-RL-Dataset 数据集,涵盖超过 1000 小时的四种机器人本体数据。在真实世界的高精度操作任务上,Evo-RL 相比 RECAP 将尝试成功率提升了 30.46%。代码、模型检查点和数据集已公开。

  20. arXiv · 机器人与计算机视觉82

    CV-OPD:一种解决视觉语言模型后训练中视觉捷径问题的对比式同策略蒸馏方法

    针对现有视觉语言模型(VLM)在同策略蒸馏中过度依赖文本答案提示而忽略真实视觉证据的缺陷,本文提出 Contrastive Vision On-policy Distillation (CV-OPD) 方法。

    推荐理由:提出对比式同策略蒸馏方法,通过引入负样本教师与差异感知门控机制,解决现有 VLM 后训练依赖答案捷径、忽视视觉证据的问题。

  21. arXiv · 机器人与计算机视觉72

    Dual-Stream Memory for Vision-Language-Action Policies

    该论文针对依赖记忆的机械操作任务,提出一种双流记忆架构以追踪执行状态并恢复不可观测的视觉证据。模型包含一个无任务特定的门控 DeltaNet 用于压缩历史为时间令牌,以及一个任务条件化的检索器保留高相关帧并通过线性多尺度融合编码空间令牌。

  22. arXiv · 机器人与计算机视觉23

    e-puck 机器人演化通信研究:信息价值驱动与架构影响

    研究利用 PyBullet 重构的 e-puck 机器人发现,当无指南针时,参照性信号在扩大竞技场中表现最佳且随信息价值增加而涌现。内嵌动作选择架构(EASA)中的先天反射会限制网络并降低性能,演化过程则持续削弱这些反射。代码与数据已公开,论文为 arXiv 预印本状态。

  23. arXiv · 机器人与计算机视觉45

    Qwen3-VL-8B-Instruct 视觉注意力头发现研究揭示源与任务对选择的影响

    针对 Qwen3-VL-8B-Instruct,研究发现注意力来源和查询类型比语料库更能重塑选出的头部,其中指代 + 查询跨度组合在必要性上显著优于其他配置。然而,该模型未发现具有特定可引导性的头部,其表现与随机匹配头部无差异。研究据此提出了一套报告视觉头部发现的标准化协议以规避评估陷阱。

  24. arXiv · 机器人与计算机视觉28

    VLN-AIEP 模型实现指令执行进度感知的鲁棒视觉语言导航

    VLN-AIEP 框架通过耦合进度估计与导航决策,利用地标锚定轨迹表示抑制已执行内容干扰,在 R2R、RxR、CVDN 及 R2R-CE 数据集上取得优异性能。该方法无需显式进度标注或昂贵在线推理,使智能体能直接依据导航标签学习进度估计。相关代码与论文已在 arXiv 提交待注册 DOI。

  25. arXiv · 机器人与计算机视觉43

    CaptchaAgent:面向验证码求解的可验证视觉推理框架

    CaptchaAgent 提出结构化视觉推理框架,通过构建显式记录实体与关系的 V-IR 及 ASCII 协议解决端到端模型在细粒度感知上的脆弱性。该框架在 Open CaptchaWorld 上相比商用浏览器代理基线将 Pass@1 提升 21.3-25.8 个百分点,并在 Oedipus-data 基准上平均提升 9.2-12.3 个百分点。

  26. arXiv · 机器人与计算机视觉74

    GAMMA:具备机械审计的 grounded 多智能体记忆系统

    论文指出预训练视觉语言动作(VLA)策略在处理依赖长时观察事件的记忆任务时表现不佳,因训练数据多为马尔可夫式且难以将情节记忆直接映射为动作。作者提出 GAMMA 架构,构建由空间定位工具(SAM-3)、蒸馏文本的 VLM 写入器、追加仅文本记忆库及带机械视觉证据校验的 VLM 推理器组成的双智能体协作系统。

  27. arXiv · 机器人与计算机视觉45

    Verifier-Mediated Multi-LLM Coordination for Multi-Robot Path Planning 研究多机器人路径规划

    针对大语言模型生成的符号计划在几何落地后可能因时空约束冲突而不可行的问题,该研究提出了一种由几何验证器介导的多 LLM 协调架构。实验在 CARLA 仿真环境和 Crazyflie 空中机器人上评估了任务复杂度增加时的协调性能,对比了集中式推理与去中心化协调策略在语义规划与物理可执行性间的权衡。

  28. arXiv · 机器人与计算机视觉66

    Spa-Bench:面向视觉语言动作模型的实体空间定位基准

    针对现有 VLA 评估忽视空间描述可靠性的问题,作者发布了 Spa-Bench 真实机器人基准,涵盖物体状态、相对大小等六类桌面任务。研究在 SO-101 机械臂上收集了 4,092 个回合数据,对比发现模型在分布内配置成功率为 67.5%-73.3%,而在分布外配置降至 40.7%-52.0%,表明当前 VLA 虽能执行操作但缺乏稳健的空间定位能力。

  29. arXiv · 机器人与计算机视觉35

    UAV-UGV 协同规划算法:在能耗与顺序约束下实现高效空中监测

    针对需满足访问点顺序的无人机 - 地面车团队,该研究提出联合规划路线与时序的多项式时间算法。系统在考虑无人机续航限制、移动充电及传输任务时,通过允许减速机制确保顺序约束,并在有界扰动下最小化任务完成时间。数值对比验证了该方法在解决 NP-hard 问题上的可行性与计算复杂度优势。

  30. arXiv · 机器人与计算机视觉28

    VLMs 在 Stroop 任务中偏向文本特征及表征起源研究

    研究人员利用 Stroop 范式基准测试发现,视觉语言模型(VLM)在处理图文冲突时存在持续偏向文本特征的偏差。嵌入空间分析显示文本线索比颜色线索更具可分性,导致干预文本方向更容易成功。该预印本论文揭示了同一图像内不同特征对 VLM 行为的不等影响力,为理解下游应用中的提示词特异性显著性提供了证据。

  31. Hugging Face Daily Papers73

    CameraVLM:一种能准确判断相机左右移动的视觉 - 语言模型

    论文指出当前视觉 - 语言模型(VLM)在判断相机是向左还是向右移动时表现接近随机猜测。作者提出 CameraVLM,该模型通过引入运动状态表示并让语言模型直接解释离屏运动与在屏流动态态,而非单独训练姿态估计器。实验显示,仅用 90 亿参数,CameraVLM 在三个基准测试和二十多个基线中均大幅领先开源及专用相机运动模型,并在包含 48 名参与者的研究中表现媲美人类观察者。

  32. Hugging Face Daily Papers59

    EAU:面向用户中心智能体的环境 - 智能体 - 用户协同进化框架

    论文提出 EAU 元智能体框架,用于解决大语言模型智能体在多轮交互训练中因用户模拟器不稳定或环境不可靠导致的信号依赖问题。该框架通过监控轨迹、工具痕迹和奖励等数据诊断失败原因,对模拟器、环境和奖励设计进行针对性修改并热更新,使训练系统随策略共同进化。

10月10日周六