KPHarness:面向长周期游戏任务的知识与探测共进化框架
arXiv 论文 KPHarness 提出一种框架,通过知识探测共进化适应冻结的视觉语言动作模型的外部执行机制。该方法利用恢复知识生成干预假设并指导主动探测,依据探测结果修正知识库与策略选择,实现了快速策略执行与慢速研究循环的分离。实验在 Minecraft 任务上显示,该框架相比裸策略执行、固定手动 harness 及非自适应探测的知识进化方法,均提升了任务覆盖率和未见任务的完成率。
arXiv 论文 KPHarness 提出一种框架,通过知识探测共进化适应冻结的视觉语言动作模型的外部执行机制。该方法利用恢复知识生成干预假设并指导主动探测,依据探测结果修正知识库与策略选择,实现了快速策略执行与慢速研究循环的分离。实验在 Minecraft 任务上显示,该框架相比裸策略执行、固定手动 harness 及非自适应探测的知识进化方法,均提升了任务覆盖率和未见任务的完成率。
Preference-PCA Pluralistic Learning (P3L) 框架无需标注者身份,即从异构众包反馈中联合学习轨迹嵌入与偏好方向基。实验表明该方法在多种具身控制任务上实现了超越离线数据集的泛化能力,显著降低计算成本并支持可变查询预算。
论文介绍 UniWALM,一种将视频、动作与语言统一在单一混合 Transformer 骨干中的世界 - 动作 - 语言模型。该架构通过同步去噪解码子任务与文本记忆,无需外部规划器或记忆库即可实现语言作为记忆的闭环。
推荐理由:UniWALM 在统一架构下实现语言记忆闭环,无需预训练语言或推理模型即可提升操作成功率。
AgenticRoboRL 是一个针对机器人规划器的后训练框架,结合监督微调与多轮强化学习,通过适配不同执行机制(如 VLA 技能调用与控制代码生成)提升规划能力。在 LIBERO-PRO 基准上,该方法使 9B 参数规划器在无外部记忆条件下的成功率从 18.1% 提升至 71.0%,接近带外部记忆的 Codex (GPT-5.5) 的 72.1% 水平。作者将开源该框架及训练好的规划器检查点。
推荐理由:该框架通过微调与强化学习结合,在不依赖外部记忆的情况下将 9B 参数规划器成功率从 18.1% 提升至 71.0%,接近带外部记忆的基线水平。
论文提出 REACT 框架,旨在从人机演示中学习可部署的人形机器人交互策略。该方法利用视觉语言模型(VLM)进行语义接触建模与重定向,将人类伙伴的遮挡状态转化为生成式预测目标以弥补感知缺失。研究在仿真及宇树 G1 真机平台上验证了该框架在五种高接触密度交互任务中的有效性,证明其能仅凭机载传感器完成操作。
推荐理由:提出 REACT 框架,利用 VLM 进行接触重定向与生成式伙伴建模,解决人形机器人与人类交互中的严重遮挡问题。
针对对象 - 目标导航任务中检测器易误判及候选体被遮挡的问题,该研究提出 CLOSER 框架。该方法微调开源 VLM 对多视角候选体进行目标、非目标或不确定标注,利用嵌入多样性门控选择互补视角并融合概率;若仍不确定则驱动智能体仅凭掩码和深度信息接近候选体直至决策明确。
推荐理由:该工作提出证据感知的主动验证框架,通过微调开源 VLM 与扩散策略结合,在不重新训练现有导航系统的前提下提升目标导航成功率。
该论文提出 GPT-as-Tactile-Policy 方法,利用 GPT-6-Astra 结合多模态观测与交互历史生成控制指令以调整操作。在无需额外机器人专用预训练或任务微调的情况下,该方法在五项 UniVTAC 接触丰富操作中实现 93.8% 平均成功率,其中插入孔洞任务成功率从 31% 提升至 99%。
论文提出了 VisualEvolve 框架,旨在解决预定义视觉操作和训练习得的工具使用策略限制 VLM 有效性的问题。该框架通过 Select-Execute-Evolve-Evaluate 循环,利用技能库快照选择机制在独立验证集上筛选有效历史快照以限制性能回退,并通过渐进式证据访问(PEA)引导能力差距诊断。
CAPSafe 是首个评估具身智能体在复杂危险家庭任务中安全推理能力的基准,包含测试单步动作安全性的行动级数据集和评估长程规划的计划级数据集。对九款闭源及开源大语言模型的评测显示,最佳模型识别不安全动作准确率超 90%,但 Gemini-3-pro 以 78.19% 的最高成功率仍难完全解决长序列安全规划难题。该研究揭示了从危险识别到稳健长期规划之间存在显著差距,相关预印本已公开于 arXiv。
针对低患病率类别缺乏标注数据的问题,GProtoT 模块在无需梯度或验证数据的情况下,将支持类的视觉残差转移至缺失类。该方法在 MESSIDOR 数据集的 50 次单样本试验中,使缺失类召回率提升 5.23 个百分点,同时将无门控转移的负向转移频率从 46-48% 降至 2%,为临床监督不完整场景下的模型适应提供了低成本的安全路径。
该研究对 GPT-6 Astra 模型进行系统评估,发现其在 RoboDojo 和 RoboTwin 2.0 等基准上表现尚可,但在几何约束任务、精确动作规划及物理安全方面存在明显短板。作者提出了新基准 LIBERO-GeoMotion 以考察空间理解向可行运动的转化难度,并通过真实实验证实了模型在运动可行性与控制精度上的不足。
该论文指出,尽管增强的视觉语言动作(VLA)驾驶模型能感知危险并推理安全,但轨迹生成仍受自身速度历史主导,导致无法及时制动。作者通过在冻结的流匹配采样器中注入条件化能量,在不修改权重的情况下成功修复了 Alpamayo-1.5 模型的制动失效,将障碍物侵入率从 58.1% 降至 14.5%,并在闭环测试中消除了碰撞。
推荐理由:原文揭示了感知与行动解耦问题,并通过注入条件能量在无需重训的情况下修复了 Alpamayo-1.5 模型的制动失效。
研究提出 Generative Plan Latent(GPL),将 VLA 模型的中间决策表示为低维条件分布,支持在不重训情况下对多方案进行采样、按需选择及结果自适应。
针对现有方法未能明确如何表示预测几何以生成动作的问题,本文提出一种两阶段框架。预训练阶段利用冻结的 3D 基础模型提取密集几何特征并压缩为预测几何表征;下游微调阶段通过动作监督从几何过渡中提取强调动作相关变化的互补运动表征。
论文提出 FIT-MAC 框架,旨在解决视觉语言动作(VLA)模型在任务条件偏离标准设置时可靠性下降的问题。该框架通过引入推理时间控制层,利用规划、接地、验证和修正四个智能体协同工作:解析指令并绑定视觉目标,区分执行失败类型,并在必要时路由至重绑定或受控抓取等干预策略;若无故障则默认使用预训练 VLA 模型。
论文提出 PACT-VLA,一种无需训练的动作策略优化框架,旨在解决 VLA 模型在异步推理中因观测滞后导致任务成功率下降的问题。该方法利用推理延迟作为决策时间,通过 FlowRes 评分函数从候选动作中选择最适配当前观测的序列,并在 Kinetix 和 LIBERO 基准上显著提升了平均成功率。
PRAISE 提出一种面向 VLM 的重识别测试时适应框架,利用属性提示库构建属性条件子空间以重塑查询与图库间的亲和度。该方法在多个 I2I 和 T2I-ReID 基准上持续改进检索骨干网性能,且优于通用及重识别专用的测试时适应基线。
针对当前观测不足以确定下一步动作的历史依赖型机器人操作难题,本文提出 EventSync 层级框架。该框架利用视觉语言模型生成子目标,由视觉语言动作模型执行,并引入轻量级事件监测器结合视觉观测与末端轨迹判断子目标完成状态,仅在获得完成证据后记录至历史并触发后续推理。
推荐理由:提出基于事件驱动的层级框架,通过轻量级监测器解决任务记忆更新时机问题,在 RoboMME 基准上显著超越现有基线。
该论文通过 PointHand 遥操作界面研究了渲染方式(真实形状、全关键点强调或仅拇指食指强调)如何影响新手演示及后续策略训练。在模拟任务中,展示拇指和食指的新手收集到的成功演示更多且质量更高;基于这些演示训练的扩散策略在共享表征下成功率显著提升。材料为预印本,未报告真实机器人部署结果。
论文提出 Gaze2HOI 框架,将手物交互预测分解为意图推理、接触定位和耦合运动生成三个层级。该方法利用注视强度和时间权重调制视觉语言模型以消除语义歧义,并通过前瞻性接触定位模块明确接触与支持几何信息,进而驱动扩散模型生成六自由度物体轨迹及手部关节运动。
该论文在 RoboColiseum 基准上对 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5 和 Gemini 4 Argon 四款模型进行了多维度的比较评估。
作者提出 RoboCasa-Shift 基准,基于 RoboCasa365 构建受控单因素扰动与匹配洁净 - 扰动 rollout 对。该研究在四个长程任务上评估了 GR00T N1.5 模型,共执行 1,040 次正式 rollout,发现鲁棒性响应随因素和任务变化显著,且增加扰动严重程度并不总是导致单调性能下降。
针对单视角模型无法解决深度与遮挡问题导致 6D 动作解析模糊的局限,该研究提出一种利用同步多相机视图和交叉注意力机制压缩为潜在动作的模型架构。实验显示,双视角预训练相比单视角将真实 6D 动作的可解码性提升 17%,下游策略成功率提升幅度从 +6.2% 增至 +13.5%。
推荐理由:该研究提出多视角潜在动作预训练方法,在跨具身迁移和硬件部署上均验证了视频数据对提升机器人操作成功率的有效性。
该研究构建了 RoboJudge-Bench 基准,包含来自 8 个语料库的 800 条人工标注视频,覆盖机械臂、人手及灵巧手等场景。实验发现通用多模态大语言模型在物理一致性判断上与人类评分对齐度较低,而专为通用领域设计的视频裁判模型未能稳定迁移至具身场景。
针对混合质量的人类示教数据,本文提出 Advantage-Weighted Latent Steering (AWLS),这是一种离线后训练方法,旨在改进冻结的一步生成式机器人操作策略而无需更新其解码器。
VLA-Retain 基准在 LIBERO-Plus 数据集上评测了五个开源 VLA 模型,揭示针对 Camera-view 或 Sensor-noise 数据的视觉微调会导致 8/10 种配置出现负向离靶增益。
论文提出 CovNav 框架,解决具身智能体在未见环境中寻找目标时大语言模型的效率与精度权衡问题。该方法将空间查询转化为结构化二元决策,利用局部小模型快速判断并引入共形预测量化不确定性,仅对模糊查询调用慢速思维链推理。
推荐理由:该工作提出无需训练的框架,利用共形预测引导大模型在具身任务中自适应切换快慢推理模式。
针对现有世界 - 动作模型计算成本高或压缩过度丢失细节的问题,提出 PLaCA 框架,直接从多模态输入预测空间结构化的局部未来潜变量变化,并将其显式融入动作生成。
针对预训练视觉语言模型在目标域性能下降问题,该框架结合渐进式基于边界的子集选择与级联一致性学习,在无标签数据下提升分类器表现。实验显示,该方法在 CLIP 和 SigLIP 骨干网络上均优于零样本基线,且仅更新归一化参数以保留嵌入结构。arXiv:2610.27515 论文表明这是一种轻量有效的无监督自适应策略。
针对异构多机器人任务分配中任务适用性定义差异问题,研究对比了涵盖规则、相似度及语义等方法的十种确定性算法与两种大语言模型变体。实验发现尽管面对相同场景,各方法在评分排名与可行性识别上常存在分歧,且通用相似度度量可能违背单侧需求满足预期,LLM 打分则引入额外随机性与语言敏感性。结果证实任务适用性应作为显式建模选择,需在分配前考量其假设、鲁棒性及决策后果。
该研究评估了 Gemini Robotics-ER 在 SHREC 基准(真实人机社交互动)上的社会推理能力,并与通用 VLM 基线进行对比。结果显示,具身化模型在错误与能力检测上优于 GPT-4o-mini,但在详细社会属性判断上表现较差;增加视觉帧对一项任务有益却损害另一项。
该研究评估了四个模型家族的 19 个模型在八个多模态基准上的表现,发现 VLM 在特定子任务上存在反规模效应,即大模型在某些问题类别上的表现不如同家族的小模型。
该研究指出前沿模型在通过代理 harness 控制机器人时存在安全隐患,即便面对常识性危险(如将刀放入玩具篮)也会尝试执行且从不引用风险。作者提出一种可选的运行时安全检查方法:在执行首次动作前,利用相同相机帧询问模型是否会执行指令。
推荐理由:作者提出一种运行时安全检查机制,通过在动作执行前询问模型是否应执行指令来拦截有害操作。
针对现有基于图像的思考方法存在多轮交互冗余、计算开销大及区域检测与推理分离的问题,本文提出 LoRe 框架。该框架在单轮 VLM 交互中预测相关图像区域并强化 KV cache,使解码过程能直接利用选定的视觉线索而无需额外输入或显式工具调用;同时采用强化学习引导模型识别信息丰富的区域以辅助推理。
针对视觉语言动作(VLA)模型对视觉干扰敏感但难以判断去除干扰是否有益的问题,提出一种无需成对策略回滚的因子化风险模型。该方法通过潜在干预从当前图像和任务指令中估计去除收益,在 OpenVLA 与 pi_0.5 仿真及 Franka 机器人上验证了优于单体模型和视觉语言模型基线的效果,误差约为前沿 VLM 的三分之一,并支持在线故障监控。
推荐理由:提出一种无需成对数据即可估计去除图像噪声收益的因子化风险模型,在仿真与硬件上优于基线。
针对现有扩散策略训练目标未鼓励因子专业化导致预测平均化的问题,研究提出一种基于投影组合理论的 drop-in score-decorrelation 辅助损失。该方法通过直接惩罚组件噪声预测间的重叠,在几乎无架构改动或计算开销的情况下,显著降低了组件间的双重计数并改善了任务分解。实验表明,该策略在多基准测试中实现了行为上有意义的专业化,同时保持了多任务性能不下降。
该方法使搭载摄像头的半自主机器人能通过视觉大语言模型将鞋盒任务照片转化为 PDDL 表示并生成行动计划。系统已集成至 Nao 机器人,可自主执行任务并通过动作演示、语音或手势提示下一步骤或信号故障。无需编程知识即可由教师使用,旨在强化自闭症学生机器人辅助教学机会并激发其对机器人的兴趣。
针对现有基准忽视复杂方法论图表中细粒度内容与跨模块关系的不足,该研究构建了 SciFigBench 基准,包含来自真实论文的 4,352 张科学方法图及 40,670 个问答对。
针对视觉语言模型(VLM)的幻觉问题,研究分析了利用生成词 token 位置等内部信号进行检测的方法。实验发现,仅凭 token 位置的基线表现竟具竞争力,且部分方法依赖此捷径导致视觉根基薄弱、鲁棒性下降;集成多种互补信号虽能提升性能,但现有利用内部信号的检测手段仍存在显著局限。
针对具身视觉语言模型在执行复杂操作时出现错误导致环境状态异常的问题,本文提出 ERR-Env 环境与 ERR-Bench 基准,用于评估任务进展与执行可靠性。研究提出了结合任务进度奖励、错误状态奖励及动作分组优势估计的在线强化学习方法 AGT-GSPO,并训练出紧凑的 2B 参数具身 VLM(ERR-VLM)。