SpatialScout:VLM 智能体能否主动探索并构建三维场景?基准评测与代码开源
SpatialScout 是一个包含 80 个室内场景和 3140 个目标物体的基准,用于评估视觉语言模型(VLM)智能体在受限交互预算下进行主动物体级三维建图的能力。
SpatialScout 是一个包含 80 个室内场景和 3140 个目标物体的基准,用于评估视觉语言模型(VLM)智能体在受限交互预算下进行主动物体级三维建图的能力。
针对通用视觉语言动作策略难以适应人形机器人高维全身运动控制的挑战,本文提出 HAF-VLA 分层动作流框架。该方法基于预训练流匹配 VLA,通过可学习阶段嵌入和跨阶段 KV-cache 条件机制,将动作生成分解为移动与头部指令、腰部细化及全身操作三个渐进去噪阶段。实验在六个真实世界任务上验证了该框架能显著提升现有模型在人形机器人运动操作任务中的性能。
为降低视觉语言动作模型在机器人端的推理成本,该方法对大语言模型骨干网络的隐藏层和前馈中间维度进行感知剪枝,随后利用强化学习恢复操作策略性能。实验基于π0.5模型,将语言骨干参数从23.4亿降至9000万、全模型从33.7亿降至11.2亿,移除约96%和67%的参数。在LIBERO基准测试中,压缩后模型的四个套件平均成功率由84.55%提升至93.45%,推理速度提升1.98倍。
该论文提出 ALIGN 框架,旨在解决混合质量机器人数据中成功、重试与失败共存的问题。该方法直接预测类别化对偶条件并注入 DiT 动作专家,在 ARX X5 碗堆叠和 Franka 钥匙悬挂任务上,分别实现了 90.0% 和 56.7% 的闭环成功率,优于最强基线。材料为预印本论文,未提及开源代码或模型权重下载。
RoboPhoto-VLA 提出统一框架,联合感知、推理与相机控制实现自主机器人摄影。该系统引入 PhotoCoT 进行结构化规划及 ADPO 对齐审美偏好,并构建 OpenPhotography 数据集支持训练评估。真实实验表明其在未见主体、视角及复杂指令下均能生成符合人类审美的照片。
针对 3D VLM 在处理 CT/MRI 体积时因训练数据有限而表现落后的问题,该方法提出利用 2D X 光片上的疾病条件重要性图(源自与语言对齐的放射科医生注视)来预测诊断相关的轴向切片顺序。
论文提出了 FocusGUI,这是一种针对全模态 GUI 智能体的轻量级适配器,旨在解决因统一暴露所有上下文导致的序列分心问题。该方法通过动态优先处理多模态通道并将关键证据压缩注入冻结解码器的嵌入中,引导模型注意力而不改变其原生参数空间。
该研究识别出技能增强语言模型代理中的程序性暴露偏差(PEB),即模型倾向于过度依赖重复出现的动作模式。实验表明,将相同内容以视觉形式呈现能显著减弱这种由文本暴露引起的偏好偏移,且该效应延伸至可执行动作选择与任务成功率评估中。
FR-VLA 是一种集成力感知能力的视觉语言动作模型,旨在解决现有模型固定注入力信号而缺乏对当前任务相关性的显式判定问题。该模型利用视觉语言上下文估计物理反馈的相关性,生成力准入信号以调节外部令牌化力路径的动作生成过程。
论文针对 VLA 模型执行效率低的问题,提出 PaceVLA 框架,利用共享动作专家构建多粒度解码器,并通过可量化性引导的模式选择与上下文路由机制,在仿真基准和真实世界任务中实现高效且可靠的灵巧操作。
推荐理由:提出 PaceVLA 框架,通过自适应时间量化在保持任务成功率的同时提升 VLA 模型执行效率。
论文提出 CondenseVLA,一种具备可学习解码端历史压缩模块的多帧 VLA 策略,旨在解决单纯扩大时间窗口带来的计算冗余与采样僵化问题。该方法利用 VLM 骨干网络缓存的每帧特征,通过可学习查询和多头交叉注意力将观测历史蒸馏为固定数量的 slot token,并辅以正则化项抑制槽位重叠与相关性。
推荐理由:该工作提出可学习的历史压缩模块,在保持计算效率的同时提升多帧视觉上下文对动作解码的利用效果。
针对视觉语言模型在精确时序定位上的可靠性不足问题,研究团队发现模型内部注意力区间往往比预测时间戳更准确,存在‘时序生成差距’。为此提出 SAPO 方法,利用内部注意力作为自监督信号对 Group Relative Policy Optimization 进行优化,并采用无需真值的标准筛选高价值样本。实验表明该方法在多个数据集和不同规模的模型上均提升了相对 mIoU,且能保持视频理解能力。
论文提出 Vision-Language-Delta-Action (VLDA) 范式,旨在解决现有视觉语言动作模型直接学习观测到动作映射的学习负担过重问题。该方法通过引入紧凑的 Delta 变量作为世界状态变化的接口,利用局部过渡滤波器抑制静态重建偏差,并结合全局过渡锚点与动作流形引导进行优化。
推荐理由:VLDA 提出用紧凑的 Delta 变量替代直接动作预测,通过 LoongForge 框架验证了其在长程一致性与泛化上的优势。
针对现有视觉语言动作(VLA)模型因稀疏监督导致关键场景信息被压缩的问题,本文提出“密集思考、稀疏行动”的新范式及 LECDrive 框架。该框架通过注入任务特定的潜变量令牌,将基础视觉模型的视觉表征、语义结构与空间几何知识内化为层级化的专家认知链,并遵循课程学习原则逐步结构化监督。实验表明,该方法在多个自动驾驶基准测试中提升了基座视觉语言模型在物体感知、状态预测和轨迹规划等关键任务上的性能。
论文提出了 InteractAgent,这是一个用于长程人机场景交互的多模态大模型系统。该系统采用单一大模型同时担任规划者与评估者,并冻结一个运动大模型作为执行器,形成闭环控制架构。
推荐理由:该文提出 InteractAgent,利用冻结运动大模型与多模态大模型构建闭环规划执行反射机制,在 UniHSI 基准上验证了长程交互任务的成功率提升。
SteerAct 是一种无需更新模型权重的轻量级激活转向框架,旨在改善预训练机器人动作模型的测试时表现。该方法利用共享的时序描述符对稀疏特征动态进行离线选择与在线控制,仅需每个任务约 24 次带结果标签的 rollout 即可构建参考库。
arXiv 发布 AQUAACT,这是首个公开的水下机器人语言标注数据集,包含 1.9 小时真实演示和 17.9 小时仿真演示及惯性测量数据。实验表明该数据集支持从仿真到真实的迁移并减少真实样本需求,但七种策略在闭环任务中完成率均低于五分之一,且陆地预训练对水下大模型无显著优势。
BiDex-100 是一个针对双手灵巧操作的仿真基准,涵盖泛化、指令遵循、有限演示、长视界和记忆五个能力轴上的 106 项任务。每项任务均配有视觉与空间变化的域外变体以评估鲁棒性。该基准支持两种具身形态,提供 8,080 次经验证的遥操作演示(共 625 万帧),并依据统一协议对七种近期视觉语言动作模型进行了能力、鲁棒性与数据效率的基线评估。
本文提出一种结合人类认知与机器人精度的共享自主控制范式,利用动态贝叶斯网络从遥操作中的注视数据和机械臂运动实时推断人类意图。系统通过熵值调整自主性水平,将人机输入融合为模型预测控制问题,实现了从直接遥操作到完全自主的平滑过渡。实验表明,该方法相比基线算法在物体检索时间、轨迹长度和人工控制输入上分别减少至少 61%、44% 和 60%,且用户感知到的可控性与可预测性较高。
论文提出 RCRA 在线自适应框架,通过 Transformer 估计行人反应性来调制冻结保守策略的残差,实现与反应型行人的合作及对非反应型行人的保守避让。相比贝叶斯基线,仿真平均准确率提升 12.62 个百分点;在成功率均高于 90% 的场景中,路径长度分别减少 16.7%(相对保守骨干)和 7.3%(相对随机训练基线),平均成功率提升 14.88 个百分点。
AeroDASH 提出一种异步 VLA 框架,通过 B-spline 策略初始化与执行感知 GRPO 优化,解决车载推理延迟导致的轨迹失配问题。在 UAV-Flow 测试集上,该模型成功率达 76.56%,分别比 OpenVLA-UAV 和去除了 GRPO 的基线高出 38.1 和 20.1 个百分点。实验表明其在保持运动的同时有效降低了加速度与加加速度波动,代码将在论文接收后开源。
针对具身基础模型(EFMs)需要大量机器人数据预训练的问题,本文提出 TILDE 框架,结合学生诱导状态的在线蒸馏与教师执行恢复轨迹的学习。研究进一步开发了 AutoDAgger 自动化数据聚合管道,利用机器人奖励模型监控任务进度并触发教师干预,从而在无人类监控下收集恢复经验,相比人工闭环方法加速超两倍。该方法在三个真实世界任务上使性能提升最高达 4.1 倍,并支持跨架构蒸馏。
现有视觉与语言表示存在线性不可对齐的固有属性,单纯增加规模无法消除这种表征失配。该失配会引发可预测的泛化失败,且与已知故障模式高度相关。实验表明,表征更对齐的 VLM 骨干网络相应表现出更少的任务失效。
PLANE 通过 LoRA 视觉专家与指令感知门控网络,在 GIFT 基准及多项主流评测中有效降低 LVLM 幻觉并引入极低推理延迟。该方法针对物体、属性及关系三方面构建细粒度数据集进行训练,相比先进基线展现出更优性能且无需依赖 GPT-4 评估。论文已被 EMNLP 2026 Findings 接收,代码与数据许可状态待进一步确认。
针对小型视觉语言模型在具身智能任务中能力不均的问题,本文提出一种将感知证据转化为结构化决策的导航框架。该方法在每一步向模型询问两个感知问题(方向判断与停止依据)及一个路径指令查询,利用鸟瞰图上的语义场、骨架图与两阶段终止器处理结果。
针对具身智能缺乏预训练数据的问题,研究提出 Skill-RSI 框架,利用强通用模型在仿真中编写、诊断并修复操作技能直至通过考试,随后将技能冻结为独立代码或低成本调用接口。
论文介绍 DreamCan,一种分层策略,通过稀疏视觉规划将视频模型落地于机器人操作。高层规划器从预训练视频模型适配而来,生成平衡可达性与任务效用的稀疏子目标;低层视觉运动策略负责执行。
推荐理由:DreamCan 利用预训练视频模型生成稀疏视觉子目标,在 LIBERO-Long 任务上达到 91.2% 成功率,并验证了其在真实双手机器人操作中的有效性。
论文提出了 DiPLO 框架,结合自蒸馏扩散规划器与低层全身跟踪策略以解决人形机器人行走与操作协同难题。该框架先通过人类到机器人的动作重定向进行监督预训练,再经自蒸馏去除对强任务条件的依赖,最后利用扩散增强近端策略优化(DA:PPO)微调以提升成功率并适配冻结的跟踪器执行能力。
针对大模型 VLA 骨干在终身学习中的存储膨胀问题,本文提出 SARAM 框架。该方法在新任务中复用冻结的旧适配器,仅在稀疏层引入新适配器并施加复制惩罚;部署时通过激活统计生成签名识别任务并将更新合并回骨干网络,仅保留骨干参与控制循环。实验显示,SARAM 在四个 LIBERO 套件上表现优于或等于基线,每任务磁盘状态减少最多 4.5 倍,且 GPU 内存与推理频率随任务流增长保持稳定。
论文研究了在策略改进过程中,固定视觉语言模型(VLM)对任务成功的判断偏差问题。实验显示,虽然成功率从 66.8% 提升至 97.0%,但剩余失败案例中位于托盘边缘下方的比例显著增加,导致 VLM 误判率上升。研究揭示了任务能力提升与故障可检测性之间的解耦现象,并呼吁在报告中同时包含绝对漏报、条件漏报和审计覆盖率指标。
arXiv 论文 EndoVLA-OOV 提出一种语言条件化的视觉 - 语言 - 动作策略,用于解决上消化道内镜中需将已观察到的可疑区域重新带回视野的任务。该工作将预训练骨干网络适配为连续双自由度远端弯曲指令,并结合初始、中间及当前图像引导搜索。
针对现有方法通过直接对齐预训练 3D 基础模型表示导致 VLA 模型特征空间秩坍缩的问题,本文提出一种关系式空间对齐方法,将关注点从点对点相等转向成对关系对齐。该方法能在注入 3D 空间感知能力的同时保持模型的原始表达能力。实验在公开基准、新的空间推理基准及真实世界操作场景中均表明,该方法能有效将 3D 空间表示融入 VLA 推理,实现多样化的操作任务中的鲁棒性能与增强的空间感知能力。
该研究展示了四足机器人仅凭脚部自主解决巨型魔方的能力。系统开发了车载 RGB-D 感知管线以估计魔方位姿和颜色状态,规划器将其转化为可执行技能序列。通过强化学习训练的全身技能在保持层配置的同时重定向魔方并用单脚固定进行转动。部署的策略能容忍相对位置变化并恢复外部干扰。硬件实验完成了三次自主求解,每次约需 30 步,耗时 8-9 分钟。
针对视觉 - 语言 - 动作(VLA)模型在车载实时推理中参数规模过大导致能耗高、续航受限的问题,本文提出 Scene-Adaptive VLA 框架。该框架利用动态层路由机制,根据场景感知复杂度和决策偏差分配预算,从而调整活跃参数比例并选择适当的层组合。
针对无法整合过往失败的冻结视觉语言动作(VLA)策略,研究提出了可审计的外部记忆包装器 RTPC。该方法在 CALVIN 单任务操作评估中虽降低了基于深度的近碰撞代理事件率,但未改变任务成功率且独立复现失败。分析指出端点耦合与批次敏感性等局限,表明该干预未确立物理安全改进或特定记忆收益。
论文提出 SocialCoAct-Agent 框架,将人形机器人的自中心社会协同行动建模为端到端智能体任务,实现从视觉观测与对话历史到言语响应及原子动作序列的生成、对齐与执行。
针对视觉语言模型(VLM)在 Best-of-N 采样中仅靠答案频率或模型置信度不足的问题,本文提出 VisConf 方法,通过结合分布式置信度与视觉注意力来评估生成轨迹质量。
GazeAct 是一个配备人眼注视信号的实物机器人操作数据集与训练框架,旨在解决视觉语言动作模型(VLA)将指令锚定到正确物体和接触点的问题。研究团队通过屏幕遥操作记录操作员在机器人摄像头画面上的注视信号,获得包含 12000 次演示、覆盖 40 个任务及五个领域的多视图数据,且注视信号以 300 Hz 与图像、本体感知及动作同步。
推荐理由:该工作提出 GazeAct 数据集与框架,利用遥操作记录的人眼注视信号作为软监督来正则化 VLA 模型的视觉注意力,在真实机器人任务中显著提升成功率。
HAVANA 是一种分层视频动作模型(VAM),旨在解决现有 VAM 同时预测视觉未来和局部轨迹导致的效率问题。该模型通过慢系统从观测历史生成紧凑的语言条件潜在计划,快系统将最新计划与当前观测结合以生成局部轨迹。
论文介绍 CLARO,这是一个利用视觉语言模型(VLM)智能体来编排感知与操作技能的系统,能够处理开放词汇的目标检测、分割、6 自由度抓取及非抓持推搡任务。系统在动态仿真环境中平均成功率达 89.1%,在高度杂乱场景下比最强竞争方法提升超 16%;真实部署实验显示其跨机械臂迁移能力强,成功率达 88.8%。该工作已接受至 WACV 2027。