跳到正文
  1. arXiv · 机器人与计算机视觉83

    M3OPD-Reasoner:一种基于多教师同策略蒸馏的视觉语言模型后训练开放配方

    论文提出 M3OPD-Reasoner 这一完全开放的视觉语言模型(VLM)后训练方案,涵盖图像 STEM、图像感知和视频三个推理领域。研究构建了包含 1.35M 样本的监督微调数据集和 19.3K 样本的强化学习数据集,并在去污染后的 21 个基准测试上验证了多教师同策略蒸馏(MOPD)结合组序列策略优化(GSPO)及混合强化学习的最佳组合效果。

    推荐理由:作者提出 M3OPD-Reasoner 开源配方,通过多教师同策略蒸馏与强化学习结合,在图像 STEM、感知及视频推理任务上实现性能提升。

  2. arXiv · 机器人与计算机视觉82

    随着学生模型 rollout 继续,视觉后门持续增长:在线蒸馏中的后门传播风险研究

    本文针对视觉语言模型的在线蒸馏(OPD)范式,挑战了其对后门传播具有天然抵抗力的直觉。研究发现,一旦超过临界阈值,攻击成功率会迅速接近 100%,且该过程不依赖显式恶意响应,而是由教师模型分配的异常概率质量累积驱动。作者提出了一种无需显式注入触发器的新型触发器设计,揭示了 OPD 中被忽视的后门传播机制及其潜在安全风险。

    推荐理由:该文挑战了在线蒸馏对后门传播具有天然抵抗力的直觉,揭示了在特定阈值下攻击成功率可达 100% 的机制及无需显式触发器的新设计。

  3. arXiv · 机器人与计算机视觉82

    CueClash:前沿视觉语言模型对近画面平面三维关系的判断存在偏差

    论文 CueClash 通过构建渲染场景揭示视觉语言模型(VLM)在从图像推断三维关系时存在的线索冲突与深度压缩缺陷。实验显示,Claude Opus 5.5、GPT-5.5 和 Gemini 3.6 Flash 等模型在低推理努力下存在显著准确率差距,且其生成的俯视场景地图往往保留图像的深度缩短特性而非真实布局。研究还发现模型在处理 CV-Bench 照片中的可靠二维线索误导时也会失效。

    推荐理由:该研究揭示了前沿 VLM 在从图像推断三维关系时存在的线索冲突与深度压缩缺陷,并量化了不同模型的表现差异。

  1. arXiv · 机器人与计算机视觉76

    Seen but Unsaid:定位并修复视觉语言模型中的跨图像比较问题

    论文指出视觉语言模型在跨图像匹配点或物体时常失败,即便答案隐含在隐藏状态中。研究在 Qwen3-VL、InternVL3.5 和 Gemma-3 等模型上验证了两种失效机制:一是携带比较信息的注意力头未将答案读出,二是语义对应存在于视觉 token 但未传递至输出层。

    推荐理由:研究发现跨图像比较失败源于特定注意力头未读出答案,通过重分布注意力或微调查询键投影即可修复。

  2. arXiv · 机器人与计算机视觉78

    POKE:一种用于 VLA 模型的离线探测与高效剪枝方法

    针对视觉语言动作(VLA)模型推理成本高且注意力分数无法直接衡量 token 对动作影响的问题,该方法定义动作敏感度并解决在线评分导致的剪枝图锁定偏差。通过离线计算全图敏感度并蒸馏至不足 30 万参数的学生模型,在推理时无需反向传播即可进行评分引导的多样性选择。

    推荐理由:POKE 方法离线计算全图动作敏感度并蒸馏至小参数学生模型,在 LIBERO 等基准上实现高效剪枝与高成功率。

  3. arXiv · 机器人与计算机视觉82

    ReactBench-AD:驾驶 VLA 和世界动作模型能否对路径中的突发危险做出反应?

    该研究引入 ReactBench-AD 基准,基于 NAVSIM 和 PhysicalAI-Autonomous-Vehicles 构建像素级反事实场景(插入行人或车辆),评估四款 VLA 和两款 WAM 发现其对突发危险反应微弱。针对 ReCogDrive 进行少量编辑场景微调后,模型学会紧急制动且能泛化至未见物体及真实场景,同时保持常规驾驶性能。代码与数据将公开。

    推荐理由:该基准通过像素级编辑场景发现现有模型对突发危险反应微弱,并证明少量微调即可让 ReCogDrive 学会紧急制动且能泛化至真实场景。

  4. arXiv · 机器人与计算机视觉78

    当后门可以被关闭:针对视觉语言动作模型的感知抑制后门攻击

    该论文研究了视觉语言动作(VLA)模型中的新型后门攻击,提出结合触发器激活与指令条件抑制的设计。研究通过三种变体(跨模态触发、自抑制触发和多触发)在 SmolVLA 和 OpenVLA 上进行了评估,结果显示此类攻击能显著降低检测率并维持高成功率,同时保持清洁任务的完美性能,确立了条件抑制作为评估 VLA 后门威胁的重要维度。

    推荐理由:该研究揭示了 VLA 模型中可被指令条件抑制的后门攻击机制,为评估此类安全威胁提供了新的维度。

  5. arXiv · 机器人与计算机视觉84

    相同证据不同判决:CT 图像与 DICOM 元数据交付顺序改变 VLM 质检决策

    论文发现视觉语言模型(VLM)在检查临床影像时,若先见图像后见元数据,会推翻约 91% 的误判;反之则推翻 98-100%。研究基于 60 对含覆盖缺陷的 NLST 胸部 CT 及真实不匹配样本验证了该现象,并指出简单警告句可将顺序反转影响降至 9% 以下。

    推荐理由:研究发现 VLM 对相同证据的质检决策受输入顺序影响,揭示了临床影像处理中的新风险。

  6. arXiv · 机器人与计算机视觉85

    Acting by Intent, Reacting by Sight:面向实时 VLM 智能体的视觉条件反射方法

    论文提出 ViCoR(Visual Conditioned Reflex)架构,旨在解决通用视觉语言模型在实时交互环境中反应过慢的问题。该方法将正常游戏动作与轻量级情境指导交由主 VLM 处理,同时利用无需深度思考的视觉反射分支检查局部动态视图以做出亚秒级决策。

    推荐理由:提出 ViCoR 架构,通过视觉条件反射分支将高频反应决策延迟降低 2.6 倍并减少 36.9% token 消耗。

  7. arXiv · 机器人与计算机视觉82

    硬负样本微调如何影响多模态大语言模型?来自组合基准的受控证据

    论文 CompHall 通过受控实验评估了硬负样本微调对多模态大语言模型组合推理能力的影响。研究发现,修正后的损失函数能显著提升空间关系问题的准确率,但该方法存在图像幻觉无关性、泛化能力有限以及引入肯定偏置等局限。

    推荐理由:该文通过受控实验揭示了硬负样本微调对多模态大模型组合推理能力的具体提升幅度与局限性,并指出了该方法引入的偏置问题。

  1. Hugging Face Daily Papers82

    The Value of Thinking: Learning When to Reason in Hybrid Decision Models

    论文提出一种混合决策模型(HDM),利用冻结骨干网络配合轻量级自路由块,在单次前向传播中实现零思考或全思考两种模式切换。该方法通过校准的决策策略优化(CDPO)从回合级回报中学习何时进行推理,并在 MMLU-Pro、AGIEval 及 MiniWoB 等基准上验证了其在保持精度的同时显著降低延迟和 Token 成本的效果。

    推荐理由:提出零思考或全思考的混合决策模型,通过自路由块动态评估推理价值以平衡精度与延迟。

  1. arXiv · 机器人与计算机视觉82

    TraceKV:一种用于推理视觉语言模型的策略保持低秩 KV Cache 压缩方法

    针对大上下文和长推理痕迹带来的 KV Cache 需求,现有低秩压缩方法易导致预测策略漂移。本文提出 TraceKV,通过统一在策校准、敏感性感知 SVD 及全局秩分配,显著降低推理过程中的策略 KL 发散。

    推荐理由:提出 TraceKV 框架,在无需微调下实现 KV Cache 压缩与策略保留,兼顾推理精度与显存效率。

  2. arXiv · 机器人与计算机视觉78

    CARE-Drive:面向自车轨迹的耦合交替细化方法

    论文提出 CARE-Drive(Coupled Alternating Refinement for Ego-trajectories),旨在通过物理专业化与协调机制改进端到端自动驾驶中的轨迹预测质量。

    推荐理由:提出 CARE-Drive 方法,通过位置与航向的物理专业化分解及交替优化,在 NAVSIM v1 上提升轨迹预测性能。

  3. arXiv · 机器人与计算机视觉78

    基于熵的视图选择存在盲区:对 VLM 测试时适应的审计

    该论文审计了视觉语言模型在测试时适应中的视图选择机制,发现依赖预测熵的方法无法有效识别正确视图,仅能恢复约五分之一由理想方法获得的准确率。研究提出利用裁剪保留比例作为新信号,在 15 个基准数据集中优于现有最强评分函数。该工作已获 NeurIPS 2026 研讨会接收。

    推荐理由:研究发现熵值无法区分正确与错误视图,利用裁剪保留比例作为新信号可显著提升测试时适应的准确率。

  1. arXiv · 机器人与计算机视觉83

    EVAThink:基于证据充分性引导的视频理解自适应思考训练

    针对视频理解中采样帧是否提供足够证据的问题,作者提出了 EVAThink 框架以增强模型的自适应思考能力。该方法首先通过可恢复的证据差距挖掘构建稠密与稀疏视图对,筛选出稀疏视图需显式推理的样本进行监督;随后利用证据引导的两阶段强化学习优化回答模式偏好并提升首 token 效率。

    推荐理由:提出证据充分性引导训练方法,仅需少量样本即可提升视频理解模型在固定帧数下的回答模式选择与推理效率。

  1. arXiv · 机器人与计算机视觉78

    Logit-Conditioned Diffusion Decoding for Frozen Discrete-Token VLMs

    论文提出 DCDD 框架,旨在解决预训练离散 Token 视觉语言模型(VLM)因 VQ-VAE 解码阶段导致的视觉保真度瓶颈。该方法无需重训基础模型,而是利用模型采样前计算出的 Logit 分布作为条件来驱动扩散解码器。

    推荐理由:该工作提出 DCDD 框架,在不重训预训练离散 Token VLM 的前提下利用采样前 Logit 分布提升生成图像保真度。

  2. arXiv · 机器人与计算机视觉78

    何时信任适配:用于可迁移视觉语言提示的上下文融合

    针对视觉语言模型在新类别或领域上的适配问题,该方法通过保留冻结与提示后的四分支预测,结合局部置信度与集合频率偏差进行仲裁。在 ImageNet 上训练后,其在十个跨数据集基准的平均准确率达 69.96%,刷新 ImageNet-S 记录至 52.21%,并在基类到新类的迁移任务中达到 79.77% 的新类别准确率。代码已公开。

    推荐理由:提出上下文自适应融合方法,在跨数据集基准上超越现有提示微调技术并刷新 ImageNet-S 记录。

  3. arXiv · 机器人与计算机视觉78

    不确定而非隐瞒:对视觉语言模型顺从行为的机制重估

    该研究针对医疗检索增强生成中视觉语言模型(VLMs)面对 X 光片与报告冲突时的行为提出质疑。通过表征探测、激活引导和双向强制选择等诊断方法,在四个指令微调 VLM 上验证了矛盾回避现象。

    推荐理由:研究证实 VLMs 在医疗场景下因不确定性而非隐瞒回避矛盾,为安全部署提供新诊断视角。

  1. arXiv · 机器人与计算机视觉82

    仅需少量梯度符号:视觉语言模型的少样本适应方法

    论文指出视觉语言模型少样本适应时梯度估计存在严重校准偏差,但小幅度梯度的符号仍具信息量。为此提出 SignSparseSGD 和 DynSignSparseSGD 两种无需维护状态、仅利用梯度符号的优化器。

    推荐理由:针对少样本适应中梯度估计噪声大的问题,提出无需维护状态且仅利用梯度符号的优化器,在多项基准上表现优异。

  2. arXiv · 机器人与计算机视觉78

    通过概念注入探测视觉语言模型的现实监控能力

    本文提出一种范式,独立变化图像内容与注入的概念方向,测试视觉语言模型能否区分所见图像与注入思想。实验显示,在六种 VLM 中仅有 Gemma-3-27B 能可靠识别注入概念,但报告来源仍不稳定;强注入或视觉路径激活常被误报为看见,且真实照片中注入物体出现在高达 87% 的普通描述里。该研究强调评估多模态自我报告需同时检查内容及其声称的来源。

    推荐理由:该研究揭示了多模态模型在区分注入概念与真实图像内容时的脆弱性,指出仅凭生成文本无法可靠评估其内部状态。