H-GRPO:基于置换不变强化学习提升视觉语言模型空间 grounded 推理
H-GRPO 框架引入匈牙利匹配优化结构化三元组,使视觉语言模型在语义与空间维度同步评估中间推理步骤。实验表明该方法显著提升了分解性能与答案准确率,证实了局部区域信息对预测的重要性。研究推动了对超越单纯答案准确率的 VLM 评估范式。
H-GRPO 框架引入匈牙利匹配优化结构化三元组,使视觉语言模型在语义与空间维度同步评估中间推理步骤。实验表明该方法显著提升了分解性能与答案准确率,证实了局部区域信息对预测的重要性。研究推动了对超越单纯答案准确率的 VLM 评估范式。
LaWAM 是一种潜在世界动作模型,通过预训练视觉基础模型的潜在空间训练动作模型并复用其前向解码器来预测场景演化的未来观测特征,从而为机器人策略提供动力学感知能力。该方法在 LIBERO、RoboTwin 及真实操作任务中取得了具有竞争力的成功率,且每步推理延迟仅为 187ms,比像素空间方法低约 24 倍。材料已接受于 CoRL 2026。
推荐理由:该工作提出利用潜在视觉子目标替代视频生成,在保持低延迟的同时实现动力学感知的机器人控制。
该研究提出了语义自主堆栈(SAS),这是一个六层集成框架,旨在连接人类指令与空间目的地并保留操作经验。系统采用‘确定性优先’级联架构,结合路线图、语义对象和状态信息处理任务,仅在必要时将未决案例升级至预训练的视觉语言模型(VLM)。
论文介绍 SentryVLA,这是一个针对冻结的预训练视觉语言动作(VLA)策略的轻量级运行时包装器。该方法在动作层面利用校准分位数回归估计动作偏差上界以优化候选动作选择,在执行监测层面基于马氏距离计算异常分数以检测闭环控制中的非正常状态。实验表明,该框架无需修改底层模型架构或重新训练即可提升动作选择质量并提供运行时的异常预警信号。
针对通用机器人操作数据稀缺且采集成本高的问题,论文提出 RoboGene 框架,结合多样性采样、智能体自反评估与人验证反馈记忆,自动生成单臂、双臂及移动机器人的多样化操作任务。
推荐理由:提出 RoboGene 框架,通过多样性驱动采样与智能体自反机制生成高质量操作任务,显著提升 VLA 模型泛化能力。
针对现有视觉语言动作模型在手物交互结构表示上的不足,该研究提出 FlowHOI 框架,通过两阶段流匹配生成语义 grounded、时序连贯的手物交互序列。该方法解耦几何抓取与语义操作,利用紧凑的 3D 场景 token 和运动文本对齐损失进行条件控制,并引入重建管道从大规模第一人称视频中恢复手物轨迹以解决高保真监督稀缺问题。
UniManip 是一个统一的机器人操作框架,核心是代理操作图(AOG),用于任务编排、状态跟踪和闭环故障恢复。该框架将高层语义意图转化为可执行原语,通过物理感知的场景图和局部规划器生成无碰撞轨迹,并利用结构化记忆自主诊断失败。
推荐理由:该框架通过代理操作图统一任务编排与物理交互,在 LIBERO-Pro 基准及真实场景中实现零样本泛化,优于主流 VLA 模型。
针对机器人操作失败检测中高质量失败数据稀缺的问题,本文提出自动框架在仿真与现实环境中生成多样化规划与执行失败轨迹,构建 GuardianFail-36k 大规模推理数据集。基于此训练的多视角推理 VLM(Guardian)在三类未见现实基准上达到最先进水平,并与先进 LLM 操作策略集成后显著提升任务成功率。代码、数据及模型已开源。
推荐理由:提出自动框架生成多样化机器人规划与执行失败数据,构建大规模推理数据集并训练多视角 VLM 以统一验证规划与执行。
针对端到端自动驾驶中思维链(CoT)推理在简单场景下引入不必要计算开销的问题,本文提出了 AdaThinkDrive 框架。该框架受快慢思考启发,采用双模式推理机制,先在大规模驾驶数据上预训练获取世界知识,再通过监督微调让模型区分需要推理的场景。
推荐理由:提出双模式推理框架,在 Navsim 基准上提升决策质量并降低推理耗时。
该方法引入目标冲突系数并设计路由集成策略,在 Meta-World 和 MO-Gymnasium 在线环境中平均性能较基线提升 4.3%。基于核函数的轨迹归因算法使留一法分析相关性优于现有基线 50%,且应用于轨迹选择时奖励提升 27%。该工作共 30 页,拟发表于 NeurIPS 2026(扩展版)。
针对大视觉语言模型推理成本高、视觉 Token 数量大的问题,本文提出 Query-Vision Decomposition (QViD),一种无需训练的查询感知视觉 Token 剪枝方法。
EBench 评估了前沿多模态大模型 GPT-6-Astra 在机器人操控任务中的表现,对比其直接生成航点与调用后训练 VLA/WAM 策略两种配置。结果显示该智能体在短时任务领先且泛化稳定,但在长时及高精度接触任务上逊于专用策略;结合 harness 虽能提升成功率并降低 token 成本,但受限于次优调用机制仍低于组件上限。
该论文介绍 MiniWeb,一个包含 65 个互联网站的现实微型网络环境,涵盖 37 个可复用交互原语和 7 类技能家族。基准测试发现拖拽与手势操作是最弱环节。
论文介绍 Zero-real Agent Policy (ZAP) 方法,利用预训练的 27B 参数模型进行世界理解推理,再通过仿真任务监督微调与 GRPO 训练运动策略。该方法无需真实机器人数据即可在现实任务中达到 96.7% 成功率,并展现出对新物体、目标及未见物理形态的泛化能力。
推荐理由:提出 ZAP 方法,利用预训练大模型理解任务并通过仿真学习运动策略,在无真实数据训练下实现高成功率与强泛化。
论文介绍 TrySee,这是一个集成通用 VLM 推理与专用感知组件的模块化闭环机器人任务规划管道。系统通过内在反应式循环规划流程,结合领域特定的视觉预处理模块提供在线定位(grounding),并利用动态预处理选择机制提升可扩展性。
针对现有基于大语言模型的机器人任务规划方法依赖自主探索、易在早期交互中积累错误经验的问题,本文提出 FISRF 框架。该框架采用智能体 - 导师架构,估算机器人的最近发展区并自适应选择反思策略与导师指导。实验表明,该方法将平均错误修正轮次减少 37%,冗余推理减少 25.1%,整体任务成功率提升 8%。
FERRET 提出通过保持机器人运动不变而仅编辑场景,以此作为区分特征与学习偏好的互补反馈形式。该方法结合机器人与环境修正痕迹,解决了单一动作修正无法表达物体属性偏好及关系的问题。研究已接受至 CoRL 2026 Workshop on Learning from Corrections,论文编号 arXiv:2610.35659。
该研究探索了利用大语言模型和视觉语言模型的通用与文化知识,建立跨模态交互式对齐过程,将人类自然语言表达的目的转化为机器人的任务与驱动以引导其行为。系统分为语义对齐、任务生成和驱动建模三层结构,支持双向交互循环:人类输入定义高层目的,机器人利用多模态信息将其扩展为可执行任务并维持意图对齐。在仿真和物理机器人上的实验表明该过程能产生有效任务和行为,支持交互式场景下的人机对齐。
针对电子垃圾拆解等复杂场景中视觉语言动作(VLA)策略学习的数据收集瓶颈及数字孪生建模困难,本文提出基于3D高斯泼溅(3DGS)的腕部相机数据生成管线。该方法通过重建真实工作空间并渲染机器人对齐姿态下的观测,配合平滑结构化的到达轨迹,为VLA微调提供机器人对齐的视觉 - 动作监督;同时引入指令条件到达验证器以估计目标接近度并提供可靠的物理交互前终止。
推荐理由:针对电子垃圾拆解等复杂场景,提出基于3D高斯泼溅的腕部相机数据生成管线与指令条件到达验证器,在仅需少量遥操作演示下实现高精度抓取。
该研究提出一种新方法,利用多模态(文本、音频、视频)上下文描述自动生成交互中复杂的全身手势序列。方法基于动态运动原型的统一数学实现,结合多模态基础模型生成参数化且高度上下文感知的动作变体。系统已集成到连续控制框架中,并通过知识蒸馏学习出更小、更高效的模型。用户研究表明,生成的运动在交互上下文中对齐度优于非调制或 API 级条件,且在不同机器人构型上展示了通用性。
推荐理由:提出基于动态运动原型的上下文感知生成方法,在类人平台上验证了交互对齐优势并展示了跨构型通用性。
RoboDoctor 是一个免训练框架,通过连接诊断、 grounded action 与持久经验实现机器人策略的运行时自适应。在包含 54 个任务的 RoboDojo-Sim 基准上,该框架取得五维均分 57.10,原生成功率为 49.44%。记录显示其具备策略调整、选择性修正及抓握修订能力,但跨集经验贡献仍需受控实验验证。
PI FR 基准引入单级、重复及嵌套中断设置,评估智能体在原子任务完成后的插入执行与序列恢复表现。实验显示不同中断条件下恢复性能存在差异,且聚合成功率可能掩盖处理细节。研究提出轻量候选排序基线以提升中断后目标重定位效果,为长视界导航提供系统框架。
论文介绍EmbodiedLab基准,旨在评估机器人能否通过改变物理状态来探索并理解环境(即‘行动以认知’)。该基准包含30个跨学科的定量科学实验,参数随机采样且结果不可预知。研究测试了六款前沿模型在原生控制、感知规划及灵巧操作增强下的表现,发现即使最强模型成功率也不足一半,主要失败源于与设备的交互,而灵巧操作技能对较弱模型的帮助大于感知与规划能力。
作者提出 Labference 基准,旨在评估物理实验结果如何引导后续决策并转化为机器人动作。该协议通过控制证据变化测试行为适应性,独立测量操作选择、物理执行和任务完成,并利用共享检查点的 Oracle 辅助评估支持形式的影响。初步结果显示,现有 VLA 策略在物体转移成功时仍存在目标选择错误,而 GPT 驱动的控制虽能正确选择却面临执行失败和高计算成本,揭示了连接合理推理与可靠及时行动的必要性。
针对开放视觉语言模型在科学图表问答中准确率低的痛点,研究在不改变冻结模型的前提下,利用自主进化方法搜索并优化推理程序代码。实验在三款 VLM 及四个基准测试上显示,描述性问题的精确匹配率从初始程序的 16.6% 提升至进化后的 41.3%,最大增幅达 55.2 个百分点。此外,进化后的程序因生成短答案更易评分,推理速度比初始程序快 3.8 倍。
该论文提出 MemVLN 框架,旨在解决基于 VLM 的智能体在长视野导航中维持持续情景记忆的难题。方法上,系统维护一个有界压缩感知特征库(标注时间戳与动作相对姿态),并通过交叉注意力生成紧凑记忆 token;结合冻结预训练几何编码器及掩码轨迹总结任务进行训练。
推荐理由:提出 MEMVLN 框架,通过压缩感知特征与冻结几何编码器实现长视野导航中的持续记忆,物理实验显示成功率从基线 17% 提升至 47%。
论文提出 LOCUS 框架,利用回归头作为推测器生成坐标 token,并通过共享骨干网络进行 Jacobi 迭代验证,将平均解码步数从 18.46 降至约 5.60。在 RefCOCO、RefCOCO+ 和 RefCOCOg 数据集上,该方法使 Locus-2B 的 [email protected] 从 54.87% 提升至 59.13%,且在参数不超过 3B 的模型中优于 Florence-2-L。
VISTA 提出一种元代理框架,将事后回放反思转化为具身 harness 的主动自我探索。该框架维护 harness 图谱以记录谱系,避免重复探索失败方向,并在 LIBERO-Pro、RoboCasa 和 RoboTwin 基准上验证了其在更少仿真回放下提升任务成功率的效果。代码与项目页面已公开。
针对视觉语言动作(VLA)策略的离散候选选择与连续运动控制问题,本文提出 JevVLA 轻量级能量基适应框架。该框架在冻结预训练策略的基础上,利用执行反馈或专家修正学习可微标量能量函数以建模动作提案的相对质量:其值用于比较离散候选项,梯度则用于校正或引导连续动作生成。
针对基于视觉语言模型的 GUI 智能体在连续演化界面中重复计算的问题,本文提出了 GUIFlow 框架。该框架通过位置对齐的历史 KV 状态注入、变化信号引导的视觉编码器与语言模型状态选择性更新,以及利用早期动作响应作为目标模型验证的推测草稿,实现了跨步骤的增量推理复用。
推荐理由:提出 GUIFlow 框架,在无额外训练下实现多步交互的增量推理,显著降低计算成本。
论文提出了 VLA-HWBench 基准,评估了 18 个开源 VLA 模型在 NVIDIA Jetson AGX Thor 和 AMD Ryzen AI Max+ PRO 395 等边缘硬件上的推理延迟。研究发现动作生成策略比模型大小更关键,长动作块生成优于逐 token 解码;4 位权重与内核融合能显著加速特定模型但兼容性有限;优化后内存带宽和 CPU 预处理成为主要瓶颈。
针对仅用文本信息选择视觉语言模型(VLM)的评估协议,研究指出排名指标无法直接反映选定模型性能。新方法 Target-Conditioned Expected Source Regret (TC-ESR) 在 22 个目标任务和 43 个 VLM 上实现了最低的均后悔值与异常鲁棒归一化后悔值。此外,研究修正了先前协议中导致目标性能泄露的两个来源。
该研究引入 OSMA-Bench 基准和语义敏感性指数(SSI),用于评估 VLM 及视觉语言动作策略在家庭环境下的安全导航能力。实验发现,即便有明确的安全提示,现有策略也无法将障碍物的语义风险等级一致地转化为连续的运动参数调整;针对 VLM 策略,增加显式的参数推断步骤可改善其适应性。该工作揭示了从语义理解到运动控制映射中的关键差距,并提出了相应的改进方向。
推荐理由:OSMA-Bench 基准揭示 VLA 策略虽能语义区分障碍物却难以将其转化为连续运动参数,为物理 AI 中的语义到运动映射提供新评估视角。
论文介绍 RobotAgentBench(RAB),这是一个用于评估机器人智能体在真实开放世界家庭环境中自主性的综合基准。研究团队通过人环闭环的真实到仿真管线,构建了包含 50 种多样布局、90 个原子任务及多种长短期任务的场景。
推荐理由:该基准通过人环闭环构建真实家庭场景,系统评估机器人智能体在任务发现、推理与恢复等维度的能力差距。
该论文通过理论证明与跨七个医疗数据集的实验表明,在少样本和全样本设置下,视觉语言异常检测器的性能仅取决于提示词向量的有效尺度(scale)和排列方式,而非其语义内容。研究证实,只要保持锚点向量差值的长度一致,替换文本不会改变概率图;打破尺度匹配会引入性能差距,而恢复该尺度即可消除差距,无需依赖具体文本含义。
推荐理由:研究证明少样本与全样本异常检测器仅读取提示词的尺度与排列,而非语义内容。
FastWAM 和 OpenWAM 在已知任务清洁条件下,引入未来视频预测监督使成功率分别提升 24.38 和 72.91 个百分点。然而模型在环境随机化等分布偏移下表现不佳,未见一致优势。研究还向 π₀.₅ 引入轻量 Transformer 预测器作为训练目标,使其成功率从 82.94% 升至 89.19%,证明无需大型预训练视频扩散模型即可实现有效辅助监督。
Recursive CLIP 通过复用少量 Transformer 块构建递归骨干网络,在保持 ViT-B/16 教师模型计算深度的同时提升参数效率。该研究基于 CC3M 和 CC12M 数据集进行知识蒸馏,并在零样本分类、跨模态检索及少样本学习等任务中验证了其在视觉语言模型中的可行性与适应性。
针对医疗视觉问答(VQA)数据稀缺且缺乏推理标注的问题,本文提出 GRASP 方法,将强化学习与监督微调结合于每次更新中,利用 RL 探索模型自身推理并由 SFT 提供金标准答案进行直接监督。该方法仅微调约 1% 参数,在 Qwen3-VL-8B、InternVL3-8B 和 Gemma 3-4B 等模型上均优于对比基线。论文开源了包含 12.9K 短答案问题的 MedTerse 数据集及代码。
推荐理由:提出 GRASP 方法,结合 RL 探索与 SFT 监督解决医疗 VQA 数据稀缺且无推理标注的难题。
该研究提出整合语音、视觉与触觉的多模态框架,以生成适配上下文的机器人语动。实验在包含五个社交场景的虚拟现实中,由 18 名参与者评估其表现,并与人工遥操作基线对比。结果显示自主系统在自然度与社会适宜性评分上虽高于中性点,但显著低于人工遥操作基线,揭示了当前自主机器人在多模态社会交互中面临的挑战。
针对无法连接工作站的移动操作机器人和类人机器人,本文提出 TRIAGE 方法以解决视觉语言动作模型在端侧部署时的实时性瓶颈。研究通过 token 级诊断发现,缓存有效性取决于 token 的漂移程度:低漂移时复用缓存优于剪枝,高漂移时则相反。