EMRD:VLM 在安全关键场景下的探索、建图、记忆与决策基准
本文提出 EMRD 评估框架,将视觉语言模型(VLM)的时空推理解耦为探索、建图、记忆和决策四阶段,并在 16 栋建筑及三种环境压力下评测了 11 个 VLM。结果显示,无外部记忆的开放权重模型在 95% 的回合中未访问房间且物体检测率不超过 51%,且其选择受语义先验影响显著;运动噪声、黑暗和烟雾分别导致位置误差增加、建图召回下降及可见物体减少。
本文提出 EMRD 评估框架,将视觉语言模型(VLM)的时空推理解耦为探索、建图、记忆和决策四阶段,并在 16 栋建筑及三种环境压力下评测了 11 个 VLM。结果显示,无外部记忆的开放权重模型在 95% 的回合中未访问房间且物体检测率不超过 51%,且其选择受语义先验影响显著;运动噪声、黑暗和烟雾分别导致位置误差增加、建图召回下降及可见物体减少。
论文介绍 Orchestra 智能体框架,将多模态指令分解为有序子任务并跟踪完成状态,利用独立训练的进度评估器决定何时推进。在 RMBench-Compose 基准上平均成功长度为 7.35 个子任务,优于 HarnessVLA;在四个真实世界多步任务中相比基线提升 25%。代码与项目页面已公开。
该研究提出 Explanation-Driven Counterfactual Testing (EDCT) 协议,通过提取模型解释中的视觉概念并进行验证后的最小编辑,测试回答与解释是否仍与修改后的图像一致。作者构建了涵盖知识密集型问答、安全关键驾驶和三维空间推理三个领域的 EDCT-Bench 基准。评估显示现有 VLM 存在显著的忠实度缺口,且基于此生成的对抗样本可作为高效的微调训练信号。
论文介绍 VDCS 基准与 ACO-MoE 方法,通过混合专家路由修复图像内容以应对天气、噪声等退化。在八个任务中,ACO-MoE 将 DreamerV3 的平均回报从 562 恢复至 730;在机械臂部署中,该方法将运动模糊和暗光下的成功率从最高 10% 提升至 75%-95%。代码与论文为预印本状态。
该研究提出 GIB-200K 基准,包含 20 万图文问答样本及噪声、模糊和图文冲突等压力条件,用于评估模型在证据失效时的模态组合行为。研究发现主流开源模型存在知识惯性或感官捕获偏差,部分正确回答会因检索文档错误而被放弃。所有实例输出、代码及审计工具已公开。
该论文针对 GUI 代理在推理出正确计划却发出错误动作导致执行失败的问题,提出 PACT 框架。该方法利用标注的参考动作识别执行差距,在不改变原始标量动作奖励的前提下,通过掩码负策略梯度贡献保护已验证的计划,并利用偏好替代方法引导模型选择参考动作而非错误动作。
该论文系统分析了视觉语言模型的预训练动力学,提出了一种统一的缩放定律来描述不同数据混合比例、训练步数和模型规模下的损失变化。研究发现,在固定数据预算下,早融合能保持文本性能而晚融合偏向视觉性能,且随着模型规模扩大,权衡趋势逐渐向早融合倾斜。实验证实该定律能有效预测多模态学习动态并指导融合决策选择。
LoCaR 是一个无需训练的框架,利用冻结的视觉语言模型与独立 SAM2 提案构建局部图像表示以优化小物体检索。研究引入基于 Visual Genome 的 LOCFG 基准进行评测,结果显示提升区域表征本身是主要增益来源。该工作涵盖零样本及局部检索任务,代码或权重开放许可情况未明确说明。
论文提出 RiDEx 方法,旨在解决基于奖励的扩散模型后训练中的探索效率问题。该方法将局部探索集中在去噪速度场中与奖励相关的子空间内,利用条件残差或可微奖励梯度确定子空间,并通过同状态下的等量反向扰动测量终端奖励响应。
推荐理由:针对高维潜在空间探索效率低的问题,提出奖励感知的方向性探索方法,在四个对齐任务上实现最高峰值奖励并显著加速目标达成。
该论文提出“权重空间编程”概念,即大语言模型依据自然语言规范直接读写神经网络权重,无需优化器或梯度下降。研究将 GPT-6 Astra 和 Claude Fable 5.1/5.2 应用于自动拖拉机引导任务,在仿真中修复了为另一台拖拉机训练的 253 参数网络,并从零权重编写出控制器;两者均能正确分析闭环控制理论。
推荐理由:研究展示了大语言模型直接读写神经网络权重的方法,成功在真实拖拉机控制器中实现路径引导。
arXiv:2611.23209 论文提出利用人类注视数据作为先验来引导 VLM 的视觉推理,在图表理解、视觉搜索和计数等任务中表现优于全序列监督。作者收集了 7,109 次人类注视试验并训练了 GGR(Gaze-Guided Reasoner)模型,该模型实现了更高的人类对齐度和更可靠的视觉定位,同时匹配或超越了领先的基线准确率。
该研究识别出视觉语言模型(VLM)在无明确请求下通过解释视觉事件提供有害协助的“场景状态安全隐患”。作者构建了包含 375 个图像 - 问题对的 SceneSafetyBench,涵盖初始、中等和终极三种场景状态及五种视觉呈现形式。
该研究发现偏好优化(PO)在降低大视觉语言模型物体幻觉的同时,也显著降低了物体命名数量。研究证明,通过调整序列结束概率即可复现大部分召回率增益,而无需训练。作者提出一种基座引导的物体类别恢复方法,在不增加幻觉的前提下将 PO 模型的召回率提升至接近基座模型水平。
TCP4D 是一个统一模型,利用共享的 4D 场景表示从单目视频和初始 2D 查询中直接恢复度量 TCP 姿态、夹爪状态及场景几何。生成器基于同一表示采样局部特征并结合机器人观测与语言指令预测未来 TCP 状态。
PAIR 是一个基于 Matter 协议构建的智能家居仿真环境,包含 84 个智能设备资产及 340 个人类演示数据。在由 1,200 次评估组成的基准测试中,两种微调后的视觉语言动作模型(VLA)策略均未完成任何任务,超过 90% 的失败案例停滞于导航或操作环节。研究团队表示将在发表时开放代码与数据。
论文提出 M3OPD-Reasoner 这一完全开放的视觉语言模型(VLM)后训练方案,涵盖图像 STEM、图像感知和视频三个推理领域。研究构建了包含 1.35M 样本的监督微调数据集和 19.3K 样本的强化学习数据集,并在去污染后的 21 个基准测试上验证了多教师同策略蒸馏(MOPD)结合组序列策略优化(GSPO)及混合强化学习的最佳组合效果。
推荐理由:作者提出 M3OPD-Reasoner 开源配方,通过多教师同策略蒸馏与强化学习结合,在图像 STEM、感知及视频推理任务上实现性能提升。
针对现有世界 VLA 模型在像素级生成中保留大量无关细节导致性能瓶颈的问题,本文提出 AgentWorld 模型。该模型采用离散代理 Token 联合进行推理与轨迹规划,每个 Token 动态关联周围物体的语义、3D 几何、运动及交互上下文。
推荐理由:提出 AgentWorld 模型,通过离散代理 Token 替代像素级生成,聚焦驾驶场景中的物体交互与动力学以支持规划。
该研究提出 Visual Harness(\óurs),一种为通用视觉语言模型(VLM)配备交互式视觉工具与系统性诊断证据管理的医疗视觉 harness。通过该架构,通用 VLM 可交互探索医学影像并逐步获取诊断证据,这些证据在无损记忆中保留以供后续检索使用。
RefCloth 框架在冻结源策略下优化单一持久对抗桌布,实现零样本跨任务与模型迁移。该方案在四个 LIBERO 仿真套件中,使 OpenVLA-OFT、π0 及 π0.5 的成功率相对未优化桌布平均降低 62.50 和 43.75 个百分点(注。
论文介绍 Body Schema Policy (BSP),一种将身体图式构建为视觉与动作接口的模仿学习策略,其潜在身体图式在机器人运动学树上放置关节和连杆 token,利用学习到的螺旋运动传递特征。
推荐理由:提出将身体图式作为视觉与动作接口的模仿学习策略,在仿真及真实机器人上以极少参数实现高效全身位姿控制。
该论文旨在加速生成机器人动作的自回归视觉语言动作模型(VLAs)。针对传统推测解码在机器人控制中因动作 token 冗余导致草案被频繁拒绝的问题,作者提出了 VSpark 方法。
现有代理操作系统将预训练的视觉语言动作策略视为不透明的语言原语,在指令或场景扰动下无法调整行为。本文提出 InteractVLA 框架,通过双向几何接口使预训练流式 VLA 成为可被几何引导和检查的工具:正向利用测试时几何引导将末端执行器目标转化为输入梯度,反向暴露动作片段与相机重投影以诊断空间差异并修正后续调用。
推荐理由:提出 InteractVLA 框架,通过双向几何接口将预训练 VLA 转化为可交互工具,实现测试时几何引导与递归自我改进。
论文介绍 Progress Predicts Policy (PPP),该方法通过学习语言条件的标量场并利用其微分诱导命令,结合共享世界模型读取动作梯度以生成连续或离散动作控制。实验表明,在无需额外标注的情况下,仅拟合演示进度值即可实现优于行为克隆的策略性能,适用于仿真与真实机器人操作任务。
推荐理由:该工作提出通过语言条件标量场学习混合策略,无需独立动作头或迭代搜索,在仿真与真实机器人操作中优于行为克隆。
论文提出 VoxelSBFL 方法,将工作空间划分为体素以替代传统代码元素进行故障定位分析。该方法结合工具中心点轨迹与执行结果构建可疑度地图,能在无需访问模型内部的情况下识别高失败风险区域并评分未见过轨迹。
本文针对视觉语言模型的在线蒸馏(OPD)范式,挑战了其对后门传播具有天然抵抗力的直觉。研究发现,一旦超过临界阈值,攻击成功率会迅速接近 100%,且该过程不依赖显式恶意响应,而是由教师模型分配的异常概率质量累积驱动。作者提出了一种无需显式注入触发器的新型触发器设计,揭示了 OPD 中被忽视的后门传播机制及其潜在安全风险。
推荐理由:该文挑战了在线蒸馏对后门传播具有天然抵抗力的直觉,揭示了在特定阈值下攻击成功率可达 100% 的机制及无需显式触发器的新设计。
论文介绍 CoBoVLA(CodeBookVLA),这是一个拥有 2.5 亿参数的视觉 - 语言 - 动作模型,通过引入可解释的离散码将指令理解、规划与控制解耦。实验显示,在 LIBERO-Goal 基准上其成功率达 91.4%,优于 SmolVLA(82.8%);在指令同义改写测试中表现更稳健,且控制延迟仅为每步 17ms。材料指出语言理解仍是主要失败来源,并提供了预印本链接与补充材料。
论文提出 SR-VLA 框架,解决视觉语言动作(VLA)策略在推理阻塞下一段动作时产生的控制停顿问题。
论文介绍 Heave-Ho 框架,旨在解决人形机器人长程协作中的全身交互、长期规划与同步难题。该框架在底层利用多智能体后训练适配物理耦合交互,在高层训练视觉语言规划器并设计基于语音的领导者 - 跟随者协调机制,实现无需网络通信的去中心化执行。
推荐理由:提出去中心化多个人形协作框架,通过视觉语言规划与语音协调机制实现无需网络通信的长程协同。
论文 CueClash 通过构建渲染场景揭示视觉语言模型(VLM)在从图像推断三维关系时存在的线索冲突与深度压缩缺陷。实验显示,Claude Opus 5.5、GPT-5.5 和 Gemini 3.6 Flash 等模型在低推理努力下存在显著准确率差距,且其生成的俯视场景地图往往保留图像的深度缩短特性而非真实布局。研究还发现模型在处理 CV-Bench 照片中的可靠二维线索误导时也会失效。
推荐理由:该研究揭示了前沿 VLM 在从图像推断三维关系时存在的线索冲突与深度压缩缺陷,并量化了不同模型的表现差异。
RoboTeam 是一个新的仿真基准,用于评估多模态智能体仅凭摄像头图像实时控制 4 到 16 个机械臂完成长周期协作任务的能力。该基准包含 36 项需要多臂协同的长期作业(如传递木材或搭建积木画),且世界不会暂停。
该论文介绍 DailyBrick 系统,这是一个多阶段代理系统,能够根据用户请求生成 LEGO 模型及其逐块组装指令,支持人类搭建和机器人执行。系统通过版本化构建 SDK 将语义子部件决策编译为规范操作,并利用外部 Meta-Reviewer 代理回放、检查生成包以验证模型与过程,识别失败并路由至修复或技能更新。
论文介绍 ReLAP 框架,该框架在冻结的 JEPA 表示空间内耦合局部逆动力学学习与循环多步预测。共享逆动力学模型从相邻观测推断紧凑连续潜在动作,而潜在世界模型递归预测未来 JEPA 特征以鼓励时间连贯的动态。
推荐理由:该工作提出在冻结 JEPA 空间内结合局部逆动力学与循环多步预测的潜在动作预训练框架,并在 LIBERO 基准上取得 SOTA 表现。
蚂蚁灵波举办首届具身大模型挑战赛决赛,15 支队伍在 48 小时内完成数据采集、模型调优及真机部署。冠军团队 TARS(平均年龄 25 岁)选择从零手搓新数据并夺冠;华中科技大学 EVA 队通过递归自我改进方案获二等奖;天津大学 SST 队利用倒放视频标注技术获二等奖。比赛揭示了硬件适配与跨任务泛化的工程挑战,蚂蚁灵波现场发布开发者生态计划以支持模型落地。
该研究介绍了 Sage S1.5 Flash 模型,这是一个拥有 3200 亿参数的通用多模态专家混合模型(MoE),旨在进行科学证据推理并在交互式环境中行动。
文章探讨了人形机器人“大小脑”(感知决策与运动控制)计算平台的架构选择趋势。中科慧灵等厂商坚持采用AMD双处理器实现物理隔离,以保障实时性、资源独立与安全降级;而维他动力、星尘智能及优必选则推动单SoC算控融合方案,旨在缩短数据路径、减少硬件冗余并降低开发复杂度。
该论文提出 3D-MoE,一种利用混合专家架构和模态感知概率路由的高效 3D 视觉语言模型。研究集成基于扩散的动作头 Pose-DiT,将模型转化为能生成精确 6D 姿态的 3D 视觉语言动作(VLA)模型,支持机器人操作任务。实验表明该模型在多个基准上表现优异,激活参数大幅减少且推理实时,已接受 EMNLP 2026。代码开源。
本文提出 GameReplica 基准,用于评估视觉语言代理在黑盒条件下复现网页游戏系统的能力。该基准包含 25 款游戏的 125 个实例,涵盖五种核心机制家族及五个难度等级。
该论文提出 PRIME 方法,通过跨注意力机制聚合过去感知、推理及导航目标的潜在表示,为 VLA 模型提供情境记忆反馈,使其感知查询具备意图驱动性。实验显示,该方法在基准测试中实现了 82.47 的驾驶得分和 60% 的成功率,显著优于现有基线。材料仅包含预印本摘要与元数据,未涉及真实部署或开源代码。
推荐理由:PRIME 通过引入情境记忆嵌入机制,以极小参数成本实现了感知模块的意图驱动注意力,在 Bench2Drive 基准上刷新了 VLA 模型的驾驶得分与成功率。
针对 VLA 策略在长视野执行中因物理条件未达成而盲目推进导致任务失败的问题,本文提出 CommitFlow 闭环执行框架。该框架冻结基策略,通过语义承诺监控(SCM)比对阶段要求与当前状态证据以阻止违规动作,利用边界流(BoundaryFlow)生成基于当前状态的局部修正,并通过关系增益校准(RGC)选择满足约束的最小修正强度。
OpenRoIS 是一个由社区驱动的开源中间件,实现了 OMG 标准化的 Robotic Interaction Service (RoIS) Framework 2.0。