EMRD:VLM 在安全关键场景下的探索、建图、记忆与决策基准
本文提出 EMRD 评估框架,将视觉语言模型(VLM)的时空推理解耦为探索、建图、记忆和决策四阶段,并在 16 栋建筑及三种环境压力下评测了 11 个 VLM。结果显示,无外部记忆的开放权重模型在 95% 的回合中未访问房间且物体检测率不超过 51%,且其选择受语义先验影响显著;运动噪声、黑暗和烟雾分别导致位置误差增加、建图召回下降及可见物体减少。
本文提出 EMRD 评估框架,将视觉语言模型(VLM)的时空推理解耦为探索、建图、记忆和决策四阶段,并在 16 栋建筑及三种环境压力下评测了 11 个 VLM。结果显示,无外部记忆的开放权重模型在 95% 的回合中未访问房间且物体检测率不超过 51%,且其选择受语义先验影响显著;运动噪声、黑暗和烟雾分别导致位置误差增加、建图召回下降及可见物体减少。
该研究提出 Explanation-Driven Counterfactual Testing (EDCT) 协议,通过提取模型解释中的视觉概念并进行验证后的最小编辑,测试回答与解释是否仍与修改后的图像一致。作者构建了涵盖知识密集型问答、安全关键驾驶和三维空间推理三个领域的 EDCT-Bench 基准。评估显示现有 VLM 存在显著的忠实度缺口,且基于此生成的对抗样本可作为高效的微调训练信号。
该研究提出 GIB-200K 基准,包含 20 万图文问答样本及噪声、模糊和图文冲突等压力条件,用于评估模型在证据失效时的模态组合行为。研究发现主流开源模型存在知识惯性或感官捕获偏差,部分正确回答会因检索文档错误而被放弃。所有实例输出、代码及审计工具已公开。
该论文系统分析了视觉语言模型的预训练动力学,提出了一种统一的缩放定律来描述不同数据混合比例、训练步数和模型规模下的损失变化。研究发现,在固定数据预算下,早融合能保持文本性能而晚融合偏向视觉性能,且随着模型规模扩大,权衡趋势逐渐向早融合倾斜。实验证实该定律能有效预测多模态学习动态并指导融合决策选择。
LoCaR 是一个无需训练的框架,利用冻结的视觉语言模型与独立 SAM2 提案构建局部图像表示以优化小物体检索。研究引入基于 Visual Genome 的 LOCFG 基准进行评测,结果显示提升区域表征本身是主要增益来源。该工作涵盖零样本及局部检索任务,代码或权重开放许可情况未明确说明。
arXiv:2611.23209 论文提出利用人类注视数据作为先验来引导 VLM 的视觉推理,在图表理解、视觉搜索和计数等任务中表现优于全序列监督。作者收集了 7,109 次人类注视试验并训练了 GGR(Gaze-Guided Reasoner)模型,该模型实现了更高的人类对齐度和更可靠的视觉定位,同时匹配或超越了领先的基线准确率。
该研究识别出视觉语言模型(VLM)在无明确请求下通过解释视觉事件提供有害协助的“场景状态安全隐患”。作者构建了包含 375 个图像 - 问题对的 SceneSafetyBench,涵盖初始、中等和终极三种场景状态及五种视觉呈现形式。
该研究发现偏好优化(PO)在降低大视觉语言模型物体幻觉的同时,也显著降低了物体命名数量。研究证明,通过调整序列结束概率即可复现大部分召回率增益,而无需训练。作者提出一种基座引导的物体类别恢复方法,在不增加幻觉的前提下将 PO 模型的召回率提升至接近基座模型水平。
论文提出 M3OPD-Reasoner 这一完全开放的视觉语言模型(VLM)后训练方案,涵盖图像 STEM、图像感知和视频三个推理领域。研究构建了包含 1.35M 样本的监督微调数据集和 19.3K 样本的强化学习数据集,并在去污染后的 21 个基准测试上验证了多教师同策略蒸馏(MOPD)结合组序列策略优化(GSPO)及混合强化学习的最佳组合效果。
推荐理由:作者提出 M3OPD-Reasoner 开源配方,通过多教师同策略蒸馏与强化学习结合,在图像 STEM、感知及视频推理任务上实现性能提升。
该研究提出 Visual Harness(\óurs),一种为通用视觉语言模型(VLM)配备交互式视觉工具与系统性诊断证据管理的医疗视觉 harness。通过该架构,通用 VLM 可交互探索医学影像并逐步获取诊断证据,这些证据在无损记忆中保留以供后续检索使用。
本文针对视觉语言模型的在线蒸馏(OPD)范式,挑战了其对后门传播具有天然抵抗力的直觉。研究发现,一旦超过临界阈值,攻击成功率会迅速接近 100%,且该过程不依赖显式恶意响应,而是由教师模型分配的异常概率质量累积驱动。作者提出了一种无需显式注入触发器的新型触发器设计,揭示了 OPD 中被忽视的后门传播机制及其潜在安全风险。
推荐理由:该文挑战了在线蒸馏对后门传播具有天然抵抗力的直觉,揭示了在特定阈值下攻击成功率可达 100% 的机制及无需显式触发器的新设计。
论文 CueClash 通过构建渲染场景揭示视觉语言模型(VLM)在从图像推断三维关系时存在的线索冲突与深度压缩缺陷。实验显示,Claude Opus 5.5、GPT-5.5 和 Gemini 3.6 Flash 等模型在低推理努力下存在显著准确率差距,且其生成的俯视场景地图往往保留图像的深度缩短特性而非真实布局。研究还发现模型在处理 CV-Bench 照片中的可靠二维线索误导时也会失效。
推荐理由:该研究揭示了前沿 VLM 在从图像推断三维关系时存在的线索冲突与深度压缩缺陷,并量化了不同模型的表现差异。
该研究介绍了 Sage S1.5 Flash 模型,这是一个拥有 3200 亿参数的通用多模态专家混合模型(MoE),旨在进行科学证据推理并在交互式环境中行动。
本文提出 GameReplica 基准,用于评估视觉语言代理在黑盒条件下复现网页游戏系统的能力。该基准包含 25 款游戏的 125 个实例,涵盖五种核心机制家族及五个难度等级。
针对视觉语言模型(VLM)无法从图像恢复三维几何的问题,本文提出一种可检查的 3D 几何中间层方法,建立无模型渲染基准以区分模糊视角、信息丢失或推理缺陷。
DispatchRAG 是一个结合 RAG 检索机制与大语言模型推理器的决策支持框架,旨在利用视觉语言模型(VLM)生成符合日本交通事故响应协议的应急响应建议。
Xuan Gong 等人提出 RAPO(Reflection Anchor Policy Optimization),一种基于 GRPO 的策略优化方法,旨在解决长链思维推理中视觉信息衰减问题。
针对视觉语言模型在推理时可能复述敏感信息的问题,本文提出了 Cross-Modal Attention Guided Unlearning (CAGUL) 框架。该方法利用跨模态注意力机制识别低重要性的视觉 token,通过外部模块编码遗忘指令以阻断隐私泄露,同时保持模型的参考行为与效用,且无需修改预训练参数。
该研究通过受控实验发现,在需要读取像素数值的任务中,视觉语言模型的报告仍会随激励目标发生偏移,且图像模态下的合规性低于文本模态。
针对视觉语言模型在遮挡导致的部分可观测性问题上深度歧义难解、性能随规模下降的瓶颈,本文提出 VLM-as-perceiver 范式,将 VLM 角色限定为局部感知,由外部求解器负责跨视图证据融合与规划生成。
现有方法多将视频转为截图轨迹,未直接利用丰富信息。本文提出 VEX 框架,基于 watch-act-rewatch 范式从教程视频中提取指导并自我验证。实例化模型 video-SALMONN-VEX 在 OSWorld 上任务成功率相对提升 22%,其生成的指导使 Gemini-3.5-flash 性能相对提升 10%。
ECOD 通过在校准教师与学生在匹配条件下的成功概率后验,将监督分配至任务、轨迹及回合层级,仅对失败学生轨迹施加直接监督。该方法在 ALFWorld 和 WebShop 基准上,配合 Qwen2.5-1.5B-Instruct 与 Qwen2.5-7B-Instruct 模型,使未见任务成功率相对提升最高达 4.06%,平均配对相对增益分别为 6.20% 和 7.05%。
arXiv 论文《ReVision: Selective Intrinsic Reasoning for Tool-Augmented, Reasoning-Intensive VQA》提出一种无需训练的测试时方法,允许多模态大语言模型在调用外部工具(如搜索、代码执行)的同时,选择性地进行无工具的图像重审与证据整合。
该论文研究了视觉语言模型(VLM)在描述图像时决定观察顺序的内部规划机制,将其分解为绑定头、进度信号生成、选择步骤和注视头四个部分。研究通过在 Qwen3-VL 模型上进行合成视觉检索任务的因果修补验证了各组件的有效性,并证实该机制在不同输入格式、自然照片及语言中均成立,且存在于从 2B 到 32B 的所有模型规模中。
论文指出视觉语言模型在跨图像匹配点或物体时常失败,即便答案隐含在隐藏状态中。研究在 Qwen3-VL、InternVL3.5 和 Gemma-3 等模型上验证了两种失效机制:一是携带比较信息的注意力头未将答案读出,二是语义对应存在于视觉 token 但未传递至输出层。
推荐理由:研究发现跨图像比较失败源于特定注意力头未读出答案,通过重分布注意力或微调查询键投影即可修复。
针对视觉语言动作(VLA)模型推理成本高且注意力分数无法直接衡量 token 对动作影响的问题,该方法定义动作敏感度并解决在线评分导致的剪枝图锁定偏差。通过离线计算全图敏感度并蒸馏至不足 30 万参数的学生模型,在推理时无需反向传播即可进行评分引导的多样性选择。
推荐理由:POKE 方法离线计算全图动作敏感度并蒸馏至小参数学生模型,在 LIBERO 等基准上实现高效剪枝与高成功率。
针对长视野视觉语言导航中指令追踪困难及执行器在部署时遭遇策略诱导的状态偏移问题,本文提出 LeaP-VLN 系统。该系统耦合进度感知执行与独立进度验证,通过计划 - 执行 - 验证 - 恢复的闭环机制处理子任务完成确认与路线偏离后的双阶段恢复。
该论文研究了驾驶视觉 - 语言 - 动作(VLA)模型中导航指令的收集与评估方法,区分了行动前发出的前瞻性指令和行动后标注的回顾性标签。作者开发了 ADVLAT-Engine 同步语音指令、道路场景视频和车辆轨迹,并在 48 条回放路线上对比了三款导航应用。
该论文研究了针对视觉语言模型的幻觉缓解对齐流程,利用 16,143 条归一化反馈记录和 8,386 对偏好数据进行实验。研究对比了直接训练、零样本及两样本判定的严重性间隔变体,结果显示零样本变体将 Object HalBench CHAIRs 从 53.00 降至 36.00,AMBER-Hal 分数显著下降且视觉覆盖减少,同时基模型保留了最高的有效 POPE 对抗 F1 值。
该研究引入 ReactBench-AD 基准,基于 NAVSIM 和 PhysicalAI-Autonomous-Vehicles 构建像素级反事实场景(插入行人或车辆),评估四款 VLA 和两款 WAM 发现其对突发危险反应微弱。针对 ReCogDrive 进行少量编辑场景微调后,模型学会紧急制动且能泛化至未见物体及真实场景,同时保持常规驾驶性能。代码与数据将公开。
推荐理由:该基准通过像素级编辑场景发现现有模型对突发危险反应微弱,并证明少量微调即可让 ReCogDrive 学会紧急制动且能泛化至真实场景。
SAGE-VQA 提出了一种无需微调的自主智能体框架,通过证据驱动的自适应推理策略解决视觉感知幻觉与泛化受限问题。该框架利用共验证视觉定位模块获取细粒度证据,并借助自进化分层记忆机制复用经验以支持跨任务稳健推理。实验表明其性能优于基于轻量开源及闭源视觉语言模型的现有方法,且可作为插件直接适配现有架构而不修改模型结构。
现有基于反馈的在线视觉语言导航方法主要依赖当前回合结果,未充分利用既往反馈。受人类情景记忆启发,本文提出 R2A 框架,通过成功 - 失败记忆模块保留并检索历史经验,结合先验锚定适应机制强化成功轨迹、抑制失败路径以稳定策略更新。实验在 REVERIE、R2R 和 R2R-CE 三个基准及五个导航骨干网络上验证,在 REVERIE 未见测试集上显著提升了 DUET 模型的 SR 与 SPL 指标。
该论文研究了视觉语言动作(VLA)模型中的新型后门攻击,提出结合触发器激活与指令条件抑制的设计。研究通过三种变体(跨模态触发、自抑制触发和多触发)在 SmolVLA 和 OpenVLA 上进行了评估,结果显示此类攻击能显著降低检测率并维持高成功率,同时保持清洁任务的完美性能,确立了条件抑制作为评估 VLA 后门威胁的重要维度。
推荐理由:该研究揭示了 VLA 模型中可被指令条件抑制的后门攻击机制,为评估此类安全威胁提供了新的维度。
针对预训练视觉语言模型在多域任务增量学习中面临的遗忘与适配难题,研究提出 TSP-DLoRA 方法。该方法利用任务子空间投影区分已知未知任务,并通过动态分配低秩适配器平衡性能与参数成本。在 11 个数据集上的三项指标实验验证了该方法的有效性,代码已开源。
论文发现视觉语言模型(VLM)在检查临床影像时,若先见图像后见元数据,会推翻约 91% 的误判;反之则推翻 98-100%。研究基于 60 对含覆盖缺陷的 NLST 胸部 CT 及真实不匹配样本验证了该现象,并指出简单警告句可将顺序反转影响降至 9% 以下。
推荐理由:研究发现 VLM 对相同证据的质检决策受输入顺序影响,揭示了临床影像处理中的新风险。
论文提出 ViCoR(Visual Conditioned Reflex)架构,旨在解决通用视觉语言模型在实时交互环境中反应过慢的问题。该方法将正常游戏动作与轻量级情境指导交由主 VLM 处理,同时利用无需深度思考的视觉反射分支检查局部动态视图以做出亚秒级决策。
推荐理由:提出 ViCoR 架构,通过视觉条件反射分支将高频反应决策延迟降低 2.6 倍并减少 36.9% token 消耗。
论文 CompHall 通过受控实验评估了硬负样本微调对多模态大语言模型组合推理能力的影响。研究发现,修正后的损失函数能显著提升空间关系问题的准确率,但该方法存在图像幻觉无关性、泛化能力有限以及引入肯定偏置等局限。
推荐理由:该文通过受控实验揭示了硬负样本微调对多模态大模型组合推理能力的具体提升幅度与局限性,并指出了该方法引入的偏置问题。
针对扩散起草器主要关注纯文本任务而忽视多模态起草的局限,本文引入基于 KL 散度的 Token 级视觉依赖度指标,发现视觉依赖度高时接受率显著下降。为此提出 MMFlash 框架,自适应地提升起草器预测较差的视觉依赖 token 权重,并在长视频输入下采用稀疏注意力减少冗余计算。
针对视觉语言模型(VLM)在指代歧义场景下过度自信的问题,作者提出 AmbiSteer 框架。该框架利用线性分类器预测输入歧义度并据此调整 steering 方向,结合提示词技术将多模型处理得当的输入比例从平均 59.0% 提升至 77.0%。研究基于 arXiv 预印本发布,旨在为降低不确定多模态设置下的模型过度自信提供轻量级方案。
论文提出一种混合决策模型(HDM),利用冻结骨干网络配合轻量级自路由块,在单次前向传播中实现零思考或全思考两种模式切换。该方法通过校准的决策策略优化(CDPO)从回合级回报中学习何时进行推理,并在 MMLU-Pro、AGIEval 及 MiniWoB 等基准上验证了其在保持精度的同时显著降低延迟和 Token 成本的效果。
推荐理由:提出零思考或全思考的混合决策模型,通过自路由块动态评估推理价值以平衡精度与延迟。