跳到正文
10月21日周三
  1. arXiv · 机器人与计算机视觉58

    KPHarness:面向长周期游戏任务的知识与探测共进化框架

    arXiv 论文 KPHarness 提出一种框架,通过知识探测共进化适应冻结的视觉语言动作模型的外部执行机制。该方法利用恢复知识生成干预假设并指导主动探测,依据探测结果修正知识库与策略选择,实现了快速策略执行与慢速研究循环的分离。实验在 Minecraft 任务上显示,该框架相比裸策略执行、固定手动 harness 及非自适应探测的知识进化方法,均提升了任务覆盖率和未见任务的完成率。

  2. arXiv · 机器人与计算机视觉84

    UniWALM:面向具身机器人控制的统一世界动作语言模型

    论文介绍 UniWALM,一种将视频、动作与语言统一在单一混合 Transformer 骨干中的世界 - 动作 - 语言模型。该架构通过同步去噪解码子任务与文本记忆,无需外部规划器或记忆库即可实现语言作为记忆的闭环。

    推荐理由:UniWALM 在统一架构下实现语言记忆闭环,无需预训练语言或推理模型即可提升操作成功率。

  3. arXiv · 机器人与计算机视觉85

    AgenticRoboRL:将代码智能体后训练引入具身机器人规划

    AgenticRoboRL 是一个针对机器人规划器的后训练框架,结合监督微调与多轮强化学习,通过适配不同执行机制(如 VLA 技能调用与控制代码生成)提升规划能力。在 LIBERO-PRO 基准上,该方法使 9B 参数规划器在无外部记忆条件下的成功率从 18.1% 提升至 71.0%,接近带外部记忆的 Codex (GPT-5.5) 的 72.1% 水平。作者将开源该框架及训练好的规划器检查点。

    推荐理由:该框架通过微调与强化学习结合,在不依赖外部记忆的情况下将 9B 参数规划器成功率从 18.1% 提升至 71.0%,接近带外部记忆的基线水平。

  4. arXiv · 机器人与计算机视觉82

    VLM-Guided Contact Retargeting and Generative Partner Modeling for Humanoid-Human Interaction

    论文提出 REACT 框架,旨在从人机演示中学习可部署的人形机器人交互策略。该方法利用视觉语言模型(VLM)进行语义接触建模与重定向,将人类伙伴的遮挡状态转化为生成式预测目标以弥补感知缺失。研究在仿真及宇树 G1 真机平台上验证了该框架在五种高接触密度交互任务中的有效性,证明其能仅凭机载传感器完成操作。

    推荐理由:提出 REACT 框架,利用 VLM 进行接触重定向与生成式伙伴建模,解决人形机器人与人类交互中的严重遮挡问题。

  5. arXiv · 机器人与计算机视觉85

    CLOSER:一种用于具身对象 - 目标导航的证据感知主动视觉验证方法

    针对对象 - 目标导航任务中检测器易误判及候选体被遮挡的问题,该研究提出 CLOSER 框架。该方法微调开源 VLM 对多视角候选体进行目标、非目标或不确定标注,利用嵌入多样性门控选择互补视角并融合概率;若仍不确定则驱动智能体仅凭掩码和深度信息接近候选体直至决策明确。

    推荐理由:该工作提出证据感知的主动验证框架,通过微调开源 VLM 与扩散策略结合,在不重新训练现有导航系统的前提下提升目标导航成功率。

  6. arXiv · 机器人与计算机视觉72

    GPT-6-Astra 理解触觉并超越视觉——触觉语言动作模型研究

    该论文提出 GPT-as-Tactile-Policy 方法,利用 GPT-6-Astra 结合多模态观测与交互历史生成控制指令以调整操作。在无需额外机器人专用预训练或任务微调的情况下,该方法在五项 UniVTAC 接触丰富操作中实现 93.8% 平均成功率,其中插入孔洞任务成功率从 31% 提升至 99%。

  7. arXiv · 机器人与计算机视觉64

    VisualEvolve:一种面向视觉推理的技能自进化框架

    论文提出了 VisualEvolve 框架,旨在解决预定义视觉操作和训练习得的工具使用策略限制 VLM 有效性的问题。该框架通过 Select-Execute-Evolve-Evaluate 循环,利用技能库快照选择机制在独立验证集上筛选有效历史快照以限制性能回退,并通过渐进式证据访问(PEA)引导能力差距诊断。

  8. arXiv · 机器人与计算机视觉48

    CAPSafe:具身智能体情境动作与计划安全推理基准评测

    CAPSafe 是首个评估具身智能体在复杂危险家庭任务中安全推理能力的基准,包含测试单步动作安全性的行动级数据集和评估长程规划的计划级数据集。对九款闭源及开源大语言模型的评测显示,最佳模型识别不安全动作准确率超 90%,但 Gemini-3-pro 以 78.19% 的最高成功率仍难完全解决长序列安全规划难题。该研究揭示了从危险识别到稳健长期规划之间存在显著差距,相关预印本已公开于 arXiv。

  9. arXiv · 机器人与计算机视觉48

    Gated Prototype Transfer for Zero-Support Medical Vision Language Model 实现无标签支持的医疗 VLM 少样本适应

    针对低患病率类别缺乏标注数据的问题,GProtoT 模块在无需梯度或验证数据的情况下,将支持类的视觉残差转移至缺失类。该方法在 MESSIDOR 数据集的 50 次单样本试验中,使缺失类召回率提升 5.23 个百分点,同时将无门控转移的负向转移频率从 46-48% 降至 2%,为临床监督不完整场景下的模型适应提供了低成本的安全路径。

  10. arXiv · 机器人与计算机视觉73

    GPT-6 Astra 直接控制机器人的能力评估与新基准 LIBERO-GeoMotion

    该研究对 GPT-6 Astra 模型进行系统评估,发现其在 RoboDojo 和 RoboTwin 2.0 等基准上表现尚可,但在几何约束任务、精确动作规划及物理安全方面存在明显短板。作者提出了新基准 LIBERO-GeoMotion 以考察空间理解向可行运动的转化难度,并通过真实实验证实了模型在运动可行性与控制精度上的不足。

  11. arXiv · 机器人与计算机视觉82

    感知却不停车:推理驱动 VLA 中的感知 - 行动绑定差距研究

    该论文指出,尽管增强的视觉语言动作(VLA)驾驶模型能感知危险并推理安全,但轨迹生成仍受自身速度历史主导,导致无法及时制动。作者通过在冻结的流匹配采样器中注入条件化能量,在不修改权重的情况下成功修复了 Alpamayo-1.5 模型的制动失效,将障碍物侵入率从 58.1% 降至 14.5%,并在闭环测试中消除了碰撞。

    推荐理由:原文揭示了感知与行动解耦问题,并通过注入条件能量在无需重训的情况下修复了 Alpamayo-1.5 模型的制动失效。

  12. arXiv · 机器人与计算机视觉74

    从预测几何到动作:学习用于具身操作的互补预测表征

    针对现有方法未能明确如何表示预测几何以生成动作的问题,本文提出一种两阶段框架。预训练阶段利用冻结的 3D 基础模型提取密集几何特征并压缩为预测几何表征;下游微调阶段通过动作监督从几何过渡中提取强调动作相关变化的互补运动表征。

  13. arXiv · 机器人与计算机视觉73

    FIT-MAC:一种用于增强 VLA 模型鲁棒性的故障感知闭环多智能体框架

    论文提出 FIT-MAC 框架,旨在解决视觉语言动作(VLA)模型在任务条件偏离标准设置时可靠性下降的问题。该框架通过引入推理时间控制层,利用规划、接地、验证和修正四个智能体协同工作:解析指令并绑定视觉目标,区分执行失败类型,并在必要时路由至重绑定或受控抓取等干预策略;若无故障则默认使用预训练 VLA 模型。

  14. arXiv · 机器人与计算机视觉73

    PACT-VLA:基于预提交观测的推测性动作块验证

    论文提出 PACT-VLA,一种无需训练的动作策略优化框架,旨在解决 VLA 模型在异步推理中因观测滞后导致任务成功率下降的问题。该方法利用推理延迟作为决策时间,通过 FlowRes 评分函数从候选动作中选择最适配当前观测的序列,并在 Kinetix 和 LIBERO 基准上显著提升了平均成功率。

  15. arXiv · 机器人与计算机视觉78

    EventSync:面向历史依赖操作的基于事件的任务记忆更新方法

    针对当前观测不足以确定下一步动作的历史依赖型机器人操作难题,本文提出 EventSync 层级框架。该框架利用视觉语言模型生成子目标,由视觉语言动作模型执行,并引入轻量级事件监测器结合视觉观测与末端轨迹判断子目标完成状态,仅在获得完成证据后记录至历史并触发后续推理。

    推荐理由:提出基于事件驱动的层级框架,通过轻量级监测器解决任务记忆更新时机问题,在 RoboMME 基准上显著超越现有基线。

  16. arXiv · 机器人与计算机视觉61

    关键点位手部视觉表征对遥操作演示的影响:一项用户研究

    该论文通过 PointHand 遥操作界面研究了渲染方式(真实形状、全关键点强调或仅拇指食指强调)如何影响新手演示及后续策略训练。在模拟任务中,展示拇指和食指的新手收集到的成功演示更多且质量更高;基于这些演示训练的扩散策略在共享表征下成功率显著提升。材料为预印本,未报告真实机器人部署结果。

  17. arXiv · 机器人与计算机视觉73

    Gaze2HOI:基于注视感知的自我中心手物交互意图消歧与预测研究

    论文提出 Gaze2HOI 框架,将手物交互预测分解为意图推理、接触定位和耦合运动生成三个层级。该方法利用注视强度和时间权重调制视觉语言模型以消除语义歧义,并通过前瞻性接触定位模块明确接触与支持几何信息,进而驱动扩散模型生成六自由度物体轨迹及手部关节运动。

  18. arXiv · 机器人与计算机视觉73

    RoboCasa-Shift:面向长程家庭操作任务的阶段感知 VLA 策略鲁棒性评估基准

    作者提出 RoboCasa-Shift 基准,基于 RoboCasa365 构建受控单因素扰动与匹配洁净 - 扰动 rollout 对。该研究在四个长程任务上评估了 GR00T N1.5 模型,共执行 1,040 次正式 rollout,发现鲁棒性响应随因素和任务变化显著,且增加扰动严重程度并不总是导致单调性能下降。

  19. arXiv · 机器人与计算机视觉82

    基于多视角潜在动作预训练的跨具身机器人视频学习

    针对单视角模型无法解决深度与遮挡问题导致 6D 动作解析模糊的局限,该研究提出一种利用同步多相机视图和交叉注意力机制压缩为潜在动作的模型架构。实验显示,双视角预训练相比单视角将真实 6D 动作的可解码性提升 17%,下游策略成功率提升幅度从 +6.2% 增至 +13.5%。

    推荐理由:该研究提出多视角潜在动作预训练方法,在跨具身迁移和硬件部署上均验证了视频数据对提升机器人操作成功率的有效性。

  20. arXiv · 机器人与计算机视觉65

    RoboJudge:作为具身视频生成裁判的多模态大语言模型

    该研究构建了 RoboJudge-Bench 基准,包含来自 8 个语料库的 800 条人工标注视频,覆盖机械臂、人手及灵巧手等场景。实验发现通用多模态大语言模型在物理一致性判断上与人类评分对齐度较低,而专为通用领域设计的视频裁判模型未能稳定迁移至具身场景。

  21. arXiv · 机器人与计算机视觉82

    CovNav:基于共形预测的物体目标导航自适应推理方法

    论文提出 CovNav 框架,解决具身智能体在未见环境中寻找目标时大语言模型的效率与精度权衡问题。该方法将空间查询转化为结构化二元决策,利用局部小模型快速判断并引入共形预测量化不确定性,仅对模糊查询调用慢速思维链推理。

    推荐理由:该工作提出无需训练的框架,利用共形预测引导大模型在具身任务中自适应切换快慢推理模式。

  22. arXiv · 机器人与计算机视觉45

    Progressive Subset Selection and Cascaded Consistency 实现无监督视觉语言模型自适应

    针对预训练视觉语言模型在目标域性能下降问题,该框架结合渐进式基于边界的子集选择与级联一致性学习,在无标签数据下提升分类器表现。实验显示,该方法在 CLIP 和 SigLIP 骨干网络上均优于零样本基线,且仅更新归一化参数以保留嵌入结构。arXiv:2610.27515 论文表明这是一种轻量有效的无监督自适应策略。

  23. arXiv · 机器人与计算机视觉48

    异构多机器人任务分配中的任务适用性研究:十种确定性方法与两种大语言模型变体对比分析

    针对异构多机器人任务分配中任务适用性定义差异问题,研究对比了涵盖规则、相似度及语义等方法的十种确定性算法与两种大语言模型变体。实验发现尽管面对相同场景,各方法在评分排名与可行性识别上常存在分歧,且通用相似度度量可能违背单侧需求满足预期,LLM 打分则引入额外随机性与语言敏感性。结果证实任务适用性应作为显式建模选择,需在分配前考量其假设、鲁棒性及决策后果。

  24. arXiv · 机器人与计算机视觉85

    拒绝提问、行动服从:机器人控制环路的运行时安全检查

    该研究指出前沿模型在通过代理 harness 控制机器人时存在安全隐患,即便面对常识性危险(如将刀放入玩具篮)也会尝试执行且从不引用风险。作者提出一种可选的运行时安全检查方法:在执行首次动作前,利用相同相机帧询问模型是否会执行指令。

    推荐理由:作者提出一种运行时安全检查机制,通过在动作执行前询问模型是否应执行指令来拦截有害操作。

  25. arXiv · 机器人与计算机视觉58

    Look Before You Reason:面向高效多模态推理的隐式视觉思考框架

    针对现有基于图像的思考方法存在多轮交互冗余、计算开销大及区域检测与推理分离的问题,本文提出 LoRe 框架。该框架在单轮 VLM 交互中预测相关图像区域并强化 KV cache,使解码过程能直接利用选定的视觉线索而无需额外输入或显式工具调用;同时采用强化学习引导模型识别信息丰富的区域以辅助推理。

  26. arXiv · 机器人与计算机视觉78

    面向 VLA 模型的故障归因:评估去除视觉噪声的收益

    针对视觉语言动作(VLA)模型对视觉干扰敏感但难以判断去除干扰是否有益的问题,提出一种无需成对策略回滚的因子化风险模型。该方法通过潜在干预从当前图像和任务指令中估计去除收益,在 OpenVLA 与 pi_0.5 仿真及 Franka 机器人上验证了优于单体模型和视觉语言模型基线的效果,误差约为前沿 VLM 的三分之一,并支持在线故障监控。

    推荐理由:提出一种无需成对数据即可估计去除图像噪声收益的因子化风险模型,在仿真与硬件上优于基线。

  27. arXiv · 机器人与计算机视觉36

    Learning to Be Different:组件专业化提升组合扩散策略的多任务机器人学习性能

    针对现有扩散策略训练目标未鼓励因子专业化导致预测平均化的问题,研究提出一种基于投影组合理论的 drop-in score-decorrelation 辅助损失。该方法通过直接惩罚组件噪声预测间的重叠,在几乎无架构改动或计算开销的情况下,显著降低了组件间的双重计数并改善了任务分解。实验表明,该策略在多基准测试中实现了行为上有意义的专业化,同时保持了多任务性能不下降。

  28. arXiv · 机器人与计算机视觉35

    视觉任务建模与自闭症教育机器人自动规划方法发布

    该方法使搭载摄像头的半自主机器人能通过视觉大语言模型将鞋盒任务照片转化为 PDDL 表示并生成行动计划。系统已集成至 Nao 机器人,可自主执行任务并通过动作演示、语音或手势提示下一步骤或信号故障。无需编程知识即可由教师使用,旨在强化自闭症学生机器人辅助教学机会并激发其对机器人的兴趣。

  29. arXiv · 机器人与计算机视觉35

    VLM 内部信号幻觉检测鲁棒性分析:位置启发式捷径与多模态局限

    针对视觉语言模型(VLM)的幻觉问题,研究分析了利用生成词 token 位置等内部信号进行检测的方法。实验发现,仅凭 token 位置的基线表现竟具竞争力,且部分方法依赖此捷径导致视觉根基薄弱、鲁棒性下降;集成多种互补信号虽能提升性能,但现有利用内部信号的检测手段仍存在显著局限。

  30. arXiv · 机器人与计算机视觉58

    基于可验证交互的具身 VLM 重规划:通过动作分组 Turn-GSPO 进行错误恢复

    针对具身视觉语言模型在执行复杂操作时出现错误导致环境状态异常的问题,本文提出 ERR-Env 环境与 ERR-Bench 基准,用于评估任务进展与执行可靠性。研究提出了结合任务进度奖励、错误状态奖励及动作分组优势估计的在线强化学习方法 AGT-GSPO,并训练出紧凑的 2B 参数具身 VLM(ERR-VLM)。