跳到正文
11月18日周三
  1. arXiv · 机器人与计算机视觉67

    EMRD:VLM 在安全关键场景下的探索、建图、记忆与决策基准

    本文提出 EMRD 评估框架,将视觉语言模型(VLM)的时空推理解耦为探索、建图、记忆和决策四阶段,并在 16 栋建筑及三种环境压力下评测了 11 个 VLM。结果显示,无外部记忆的开放权重模型在 95% 的回合中未访问房间且物体检测率不超过 51%,且其选择受语义先验影响显著;运动噪声、黑暗和烟雾分别导致位置误差增加、建图召回下降及可见物体减少。

  2. arXiv · 机器人与计算机视觉75

    通过解释驱动的对抗性测试揭示 VLM 的忠实度缺口

    该研究提出 Explanation-Driven Counterfactual Testing (EDCT) 协议,通过提取模型解释中的视觉概念并进行验证后的最小编辑,测试回答与解释是否仍与修改后的图像一致。作者构建了涵盖知识密集型问答、安全关键驾驶和三维空间推理三个领域的 EDCT-Bench 基准。评估显示现有 VLM 存在显著的忠实度缺口,且基于此生成的对抗样本可作为高效的微调训练信号。

  3. arXiv · 机器人与计算机视觉63

    Grounding Illusion:检索增强型视觉语言模型的 grounding 幻觉研究

    该研究提出 GIB-200K 基准,包含 20 万图文问答样本及噪声、模糊和图文冲突等压力条件,用于评估模型在证据失效时的模态组合行为。研究发现主流开源模型存在知识惯性或感官捕获偏差,部分正确回答会因检索文档错误而被放弃。所有实例输出、代码及审计工具已公开。

  4. arXiv · 机器人与计算机视觉53

    视觉语言融合缩放定律:揭示早融合与晚融合的权衡机制

    该论文系统分析了视觉语言模型的预训练动力学,提出了一种统一的缩放定律来描述不同数据混合比例、训练步数和模型规模下的损失变化。研究发现,在固定数据预算下,早融合能保持文本性能而晚融合偏向视觉性能,且随着模型规模扩大,权衡趋势逐渐向早融合倾斜。实验证实该定律能有效预测多模态学习动态并指导融合决策选择。

  5. arXiv · 机器人与计算机视觉48

    LoCaR:冻结视觉语言模型的局部画布检索框架

    LoCaR 是一个无需训练的框架,利用冻结的视觉语言模型与独立 SAM2 提案构建局部图像表示以优化小物体检索。研究引入基于 Visual Genome 的 LOCFG 基准进行评测,结果显示提升区域表征本身是主要增益来源。该工作涵盖零样本及局部检索任务,代码或权重开放许可情况未明确说明。

  6. arXiv · 机器人与计算机视觉58

    Learning Grounded Reasoning from Human Gaze

    arXiv:2611.23209 论文提出利用人类注视数据作为先验来引导 VLM 的视觉推理,在图表理解、视觉搜索和计数等任务中表现优于全序列监督。作者收集了 7,109 次人类注视试验并训练了 GGR(Gaze-Guided Reasoner)模型,该模型实现了更高的人类对齐度和更可靠的视觉定位,同时匹配或超越了领先的基线准确率。

  7. arXiv · 机器人与计算机视觉67

    少说错得少?诊断并修复偏好优化视觉语言模型的物体覆盖不足

    该研究发现偏好优化(PO)在降低大视觉语言模型物体幻觉的同时,也显著降低了物体命名数量。研究证明,通过调整序列结束概率即可复现大部分召回率增益,而无需训练。作者提出一种基座引导的物体类别恢复方法,在不增加幻觉的前提下将 PO 模型的召回率提升至接近基座模型水平。

  8. arXiv · 机器人与计算机视觉83

    M3OPD-Reasoner:一种基于多教师同策略蒸馏的视觉语言模型后训练开放配方

    论文提出 M3OPD-Reasoner 这一完全开放的视觉语言模型(VLM)后训练方案,涵盖图像 STEM、图像感知和视频三个推理领域。研究构建了包含 1.35M 样本的监督微调数据集和 19.3K 样本的强化学习数据集,并在去污染后的 21 个基准测试上验证了多教师同策略蒸馏(MOPD)结合组序列策略优化(GSPO)及混合强化学习的最佳组合效果。

    推荐理由:作者提出 M3OPD-Reasoner 开源配方,通过多教师同策略蒸馏与强化学习结合,在图像 STEM、感知及视频推理任务上实现性能提升。

  9. arXiv · 机器人与计算机视觉82

    随着学生模型 rollout 继续,视觉后门持续增长:在线蒸馏中的后门传播风险研究

    本文针对视觉语言模型的在线蒸馏(OPD)范式,挑战了其对后门传播具有天然抵抗力的直觉。研究发现,一旦超过临界阈值,攻击成功率会迅速接近 100%,且该过程不依赖显式恶意响应,而是由教师模型分配的异常概率质量累积驱动。作者提出了一种无需显式注入触发器的新型触发器设计,揭示了 OPD 中被忽视的后门传播机制及其潜在安全风险。

    推荐理由:该文挑战了在线蒸馏对后门传播具有天然抵抗力的直觉,揭示了在特定阈值下攻击成功率可达 100% 的机制及无需显式触发器的新设计。

  10. arXiv · 机器人与计算机视觉82

    CueClash:前沿视觉语言模型对近画面平面三维关系的判断存在偏差

    论文 CueClash 通过构建渲染场景揭示视觉语言模型(VLM)在从图像推断三维关系时存在的线索冲突与深度压缩缺陷。实验显示,Claude Opus 5.5、GPT-5.5 和 Gemini 3.6 Flash 等模型在低推理努力下存在显著准确率差距,且其生成的俯视场景地图往往保留图像的深度缩短特性而非真实布局。研究还发现模型在处理 CV-Bench 照片中的可靠二维线索误导时也会失效。

    推荐理由:该研究揭示了前沿 VLM 在从图像推断三维关系时存在的线索冲突与深度压缩缺陷,并量化了不同模型的表现差异。

11月17日周二
  1. arXiv · 机器人与计算机视觉65

    Cross-Modal Attention Guided Unlearning in Vision-Language Models

    针对视觉语言模型在推理时可能复述敏感信息的问题,本文提出了 Cross-Modal Attention Guided Unlearning (CAGUL) 框架。该方法利用跨模态注意力机制识别低重要性的视觉 token,通过外部模块编码遗忘指令以阻断隐私泄露,同时保持模型的参考行为与效用,且无需修改预训练参数。

  2. arXiv · 机器人与计算机视觉74

    Video-as-Experience:通过音视频理解学习电脑操作

    现有方法多将视频转为截图轨迹,未直接利用丰富信息。本文提出 VEX 框架,基于 watch-act-rewatch 范式从教程视频中提取指导并自我验证。实例化模型 video-SALMONN-VEX 在 OSWorld 上任务成功率相对提升 22%,其生成的指导使 Gemini-3.5-flash 性能相对提升 10%。

  3. arXiv · 机器人与计算机视觉48

    ECOD:经验校准的在线策略蒸馏提升多轮智能体长程任务成功率

    ECOD 通过在校准教师与学生在匹配条件下的成功概率后验,将监督分配至任务、轨迹及回合层级,仅对失败学生轨迹施加直接监督。该方法在 ALFWorld 和 WebShop 基准上,配合 Qwen2.5-1.5B-Instruct 与 Qwen2.5-7B-Instruct 模型,使未见任务成功率相对提升最高达 4.06%,平均配对相对增益分别为 6.20% 和 7.05%。

  4. arXiv · 机器人与计算机视觉69

    VLM 如何规划下一步:基于 Qwen3-VL 的视觉检索任务因果分析

    该论文研究了视觉语言模型(VLM)在描述图像时决定观察顺序的内部规划机制,将其分解为绑定头、进度信号生成、选择步骤和注视头四个部分。研究通过在 Qwen3-VL 模型上进行合成视觉检索任务的因果修补验证了各组件的有效性,并证实该机制在不同输入格式、自然照片及语言中均成立,且存在于从 2B 到 32B 的所有模型规模中。

  5. arXiv · 机器人与计算机视觉76

    Seen but Unsaid:定位并修复视觉语言模型中的跨图像比较问题

    论文指出视觉语言模型在跨图像匹配点或物体时常失败,即便答案隐含在隐藏状态中。研究在 Qwen3-VL、InternVL3.5 和 Gemma-3 等模型上验证了两种失效机制:一是携带比较信息的注意力头未将答案读出,二是语义对应存在于视觉 token 但未传递至输出层。

    推荐理由:研究发现跨图像比较失败源于特定注意力头未读出答案,通过重分布注意力或微调查询键投影即可修复。

  6. arXiv · 机器人与计算机视觉78

    POKE:一种用于 VLA 模型的离线探测与高效剪枝方法

    针对视觉语言动作(VLA)模型推理成本高且注意力分数无法直接衡量 token 对动作影响的问题,该方法定义动作敏感度并解决在线评分导致的剪枝图锁定偏差。通过离线计算全图敏感度并蒸馏至不足 30 万参数的学生模型,在推理时无需反向传播即可进行评分引导的多样性选择。

    推荐理由:POKE 方法离线计算全图动作敏感度并蒸馏至小参数学生模型,在 LIBERO 等基准上实现高效剪枝与高成功率。

  7. arXiv · 机器人与计算机视觉58

    LeaP-VLN:面向长视野视觉语言导航的闭环代理规划与进度增强执行

    针对长视野视觉语言导航中指令追踪困难及执行器在部署时遭遇策略诱导的状态偏移问题,本文提出 LeaP-VLN 系统。该系统耦合进度感知执行与独立进度验证,通过计划 - 执行 - 验证 - 恢复的闭环机制处理子任务完成确认与路线偏离后的双阶段恢复。

  8. arXiv · 机器人与计算机视觉74

    行动前的指令:驾驶视觉 - 语言 - 动作数据的前瞻与回顾性语言监督研究

    该论文研究了驾驶视觉 - 语言 - 动作(VLA)模型中导航指令的收集与评估方法,区分了行动前发出的前瞻性指令和行动后标注的回顾性标签。作者开发了 ADVLAT-Engine 同步语音指令、道路场景视频和车辆轨迹,并在 48 条回放路线上对比了三款导航应用。

  9. arXiv · 机器人与计算机视觉68

    超越看见:缓解视觉语言模型幻觉的细粒度偏好验证与严重性感知对齐

    该论文研究了针对视觉语言模型的幻觉缓解对齐流程,利用 16,143 条归一化反馈记录和 8,386 对偏好数据进行实验。研究对比了直接训练、零样本及两样本判定的严重性间隔变体,结果显示零样本变体将 Object HalBench CHAIRs 从 53.00 降至 36.00,AMBER-Hal 分数显著下降且视觉覆盖减少,同时基模型保留了最高的有效 POPE 对抗 F1 值。

  10. arXiv · 机器人与计算机视觉82

    ReactBench-AD:驾驶 VLA 和世界动作模型能否对路径中的突发危险做出反应?

    该研究引入 ReactBench-AD 基准,基于 NAVSIM 和 PhysicalAI-Autonomous-Vehicles 构建像素级反事实场景(插入行人或车辆),评估四款 VLA 和两款 WAM 发现其对突发危险反应微弱。针对 ReCogDrive 进行少量编辑场景微调后,模型学会紧急制动且能泛化至未见物体及真实场景,同时保持常规驾驶性能。代码与数据将公开。

    推荐理由:该基准通过像素级编辑场景发现现有模型对突发危险反应微弱,并证明少量微调即可让 ReCogDrive 学会紧急制动且能泛化至真实场景。

  11. arXiv · 机器人与计算机视觉42

    SAGE-VQA:一种无需训练、具备自进化能力的知识型视觉问答智能体框架

    SAGE-VQA 提出了一种无需微调的自主智能体框架,通过证据驱动的自适应推理策略解决视觉感知幻觉与泛化受限问题。该框架利用共验证视觉定位模块获取细粒度证据,并借助自进化分层记忆机制复用经验以支持跨任务稳健推理。实验表明其性能优于基于轻量开源及闭源视觉语言模型的现有方法,且可作为插件直接适配现有架构而不修改模型结构。

  12. arXiv · 机器人与计算机视觉74

    Remember, Replay, Adapt:基于过往经验的在线视觉语言导航学习

    现有基于反馈的在线视觉语言导航方法主要依赖当前回合结果,未充分利用既往反馈。受人类情景记忆启发,本文提出 R2A 框架,通过成功 - 失败记忆模块保留并检索历史经验,结合先验锚定适应机制强化成功轨迹、抑制失败路径以稳定策略更新。实验在 REVERIE、R2R 和 R2R-CE 三个基准及五个导航骨干网络上验证,在 REVERIE 未见测试集上显著提升了 DUET 模型的 SR 与 SPL 指标。

  13. arXiv · 机器人与计算机视觉78

    当后门可以被关闭:针对视觉语言动作模型的感知抑制后门攻击

    该论文研究了视觉语言动作(VLA)模型中的新型后门攻击,提出结合触发器激活与指令条件抑制的设计。研究通过三种变体(跨模态触发、自抑制触发和多触发)在 SmolVLA 和 OpenVLA 上进行了评估,结果显示此类攻击能显著降低检测率并维持高成功率,同时保持清洁任务的完美性能,确立了条件抑制作为评估 VLA 后门威胁的重要维度。

    推荐理由:该研究揭示了 VLA 模型中可被指令条件抑制的后门攻击机制,为评估此类安全威胁提供了新的维度。

  14. arXiv · 机器人与计算机视觉38

    视觉语言模型通过任务子空间投影与动态 LoRA 实现增量学习

    针对预训练视觉语言模型在多域任务增量学习中面临的遗忘与适配难题,研究提出 TSP-DLoRA 方法。该方法利用任务子空间投影区分已知未知任务,并通过动态分配低秩适配器平衡性能与参数成本。在 11 个数据集上的三项指标实验验证了该方法的有效性,代码已开源。

  15. arXiv · 机器人与计算机视觉84

    相同证据不同判决:CT 图像与 DICOM 元数据交付顺序改变 VLM 质检决策

    论文发现视觉语言模型(VLM)在检查临床影像时,若先见图像后见元数据,会推翻约 91% 的误判;反之则推翻 98-100%。研究基于 60 对含覆盖缺陷的 NLST 胸部 CT 及真实不匹配样本验证了该现象,并指出简单警告句可将顺序反转影响降至 9% 以下。

    推荐理由:研究发现 VLM 对相同证据的质检决策受输入顺序影响,揭示了临床影像处理中的新风险。

  16. arXiv · 机器人与计算机视觉85

    Acting by Intent, Reacting by Sight:面向实时 VLM 智能体的视觉条件反射方法

    论文提出 ViCoR(Visual Conditioned Reflex)架构,旨在解决通用视觉语言模型在实时交互环境中反应过慢的问题。该方法将正常游戏动作与轻量级情境指导交由主 VLM 处理,同时利用无需深度思考的视觉反射分支检查局部动态视图以做出亚秒级决策。

    推荐理由:提出 ViCoR 架构,通过视觉条件反射分支将高频反应决策延迟降低 2.6 倍并减少 36.9% token 消耗。

  17. arXiv · 机器人与计算机视觉82

    硬负样本微调如何影响多模态大语言模型?来自组合基准的受控证据

    论文 CompHall 通过受控实验评估了硬负样本微调对多模态大语言模型组合推理能力的影响。研究发现,修正后的损失函数能显著提升空间关系问题的准确率,但该方法存在图像幻觉无关性、泛化能力有限以及引入肯定偏置等局限。

    推荐理由:该文通过受控实验揭示了硬负样本微调对多模态大模型组合推理能力的具体提升幅度与局限性,并指出了该方法引入的偏置问题。

11月16日周一
  1. arXiv · 机器人与计算机视觉70

    MMFlash:面向视觉语言模型的更快推测性解码

    针对扩散起草器主要关注纯文本任务而忽视多模态起草的局限,本文引入基于 KL 散度的 Token 级视觉依赖度指标,发现视觉依赖度高时接受率显著下降。为此提出 MMFlash 框架,自适应地提升起草器预测较差的视觉依赖 token 权重,并在长视频输入下采用稀疏注意力减少冗余计算。

  2. arXiv · 机器人与计算机视觉59

    AmbiSteer:在视觉语言模型中激发歧义感知响应的方法

    针对视觉语言模型(VLM)在指代歧义场景下过度自信的问题,作者提出 AmbiSteer 框架。该框架利用线性分类器预测输入歧义度并据此调整 steering 方向,结合提示词技术将多模型处理得当的输入比例从平均 59.0% 提升至 77.0%。研究基于 arXiv 预印本发布,旨在为降低不确定多模态设置下的模型过度自信提供轻量级方案。

11月14日周六
  1. Hugging Face Daily Papers82

    The Value of Thinking: Learning When to Reason in Hybrid Decision Models

    论文提出一种混合决策模型(HDM),利用冻结骨干网络配合轻量级自路由块,在单次前向传播中实现零思考或全思考两种模式切换。该方法通过校准的决策策略优化(CDPO)从回合级回报中学习何时进行推理,并在 MMLU-Pro、AGIEval 及 MiniWoB 等基准上验证了其在保持精度的同时显著降低延迟和 Token 成本的效果。

    推荐理由:提出零思考或全思考的混合决策模型,通过自路由块动态评估推理价值以平衡精度与延迟。