Confident First, Reflective Second:视频理解的置信度保持反思强化学习
论文提出 CoFire 方法解决视频模型在强化学习中出现的初始答案置信度侵蚀问题,该方法要求初始答案必须独立可靠且高于参考策略设定的阈值,反思仅用于增强而非修正。
推荐理由:提出 CoFire 方法解决强化学习中初始答案置信度侵蚀问题,在 Video-MME 等基准上实现比最强对比基线高 1.7 个点的平均准确率。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
论文提出 CoFire 方法解决视频模型在强化学习中出现的初始答案置信度侵蚀问题,该方法要求初始答案必须独立可靠且高于参考策略设定的阈值,反思仅用于增强而非修正。
推荐理由:提出 CoFire 方法解决强化学习中初始答案置信度侵蚀问题,在 Video-MME 等基准上实现比最强对比基线高 1.7 个点的平均准确率。
针对 VLM 难以直接转录盲文的难题,本文构建了包含 259 张真实世界 Grade-1 和 Grade-2 盲文图像的基准 BrailleBench。研究发现通用模型表现不佳而工具辅助系统效果更佳;通过合成数据训练的 2B 参数模型在 Grade-1 上达到 87% 准确率,Grade-2 为 61%,优于现有系统但存在合成与真实场景间的显著差距。
推荐理由:该文构建盲文评测基准并证明合成数据可提升模型能力,但指出合成验证高分无法保证真实照片识别效果。
iPrefBench 是一个用于评估个性化移动使用代理推断和询问能力的基准,运行在包含交互式模拟用户的可执行 iOS 环境中。该基准基于拥有 3,051 次历史活动事件的连贯人设,涵盖 26 个应用中的 130 项未明确定义的用户任务。
推荐理由:该基准在模拟 iOS 环境中评估个性化代理的推断与询问能力,揭示了执行得分高但任务成功率低且难以获取用户必要信息的差距。
论文指出当前多模态大语言模型存在早期视觉失准且难以在推理中修正的问题,导致错误传播。为此提出 SAYO 框架,利用强化学习引入区域级视觉注意力奖励,使优化信号与视觉 grounded 的推理步骤对齐。实验表明该方法在多个基准测试中提升了模型的推理与感知性能。项目代码已开源。
推荐理由:提出 SAYO 框架,通过区域级视觉注意力奖励解决多模态大模型的早期视觉失准与错误传播问题。
论文提出 FermatSyn,通过冻结的 SAM2 Vision Transformer 注入解剖学先验,结合分层残差下采样模块与跨尺度融合网络保留高频病变细节。
推荐理由:提出 FermatSyn,利用 SAM2 先验与双向 Mamba 架构解决多模态医学图像合成中的全局一致性与局部细节冲突问题。
针对半监督学习中利用视觉语言模型(VLM)能力时面临的监督与蒸馏损失梯度冲突问题,本文提出双头优化(DHO)方法,为不同信号引入独立预测头以缓解冲突。实验在 15 个数据集上验证了该方法能提升特征学习效果,使小模型学生网络超越教师模型表现,并在 ImageNet 半监督学习与分布外泛化任务中达到新状态最优。代码与检查点已公开。
推荐理由:提出双头优化方法解决监督与蒸馏损失间的梯度冲突,在多个数据集上超越单头基线并实现小模型优于教师模型的效果。
该研究首次系统性地检验了基于最小化剪枝损失来选择非重要权重的 Oracle 剪枝方法的有效性。通过对 LeNet5、ViT 等模型在 MNIST、ImageNet-1K 等数据集上的大规模实验(涉及约 3.7 万个模型),研究发现对于非平凡规模的深度学习模型,重训前的性能与重训后的性能几乎不相关。
推荐理由:论文通过大规模实验发现预训练性能与重训后性能相关性极低,质疑了传统剪枝方法的理论前提。
FOCUS(Foundation Ophthalmic Cross-Dataset Understanding under Shift)是一个跨数据集评测基准,旨在解决单一数据集报告无法反映模型在数据分布偏移、临床定义差异及患者亚组间表现的问题。
推荐理由:FOCUS 基准统一评估了十种数据集上从纯视觉编码器到多模态大模型在视网膜影像分析中的泛化能力与校准表现。
VLN on the Fly 是一种在四旋翼无人机上完全本地运行的模块化视觉语言导航栈,将指令落地、三维规划与控制作为可检查的独立阶段。该栈利用量化 VLM 进行粗粒度图像单元定位,通过深度估计提升为三维目标,使用快速 B-样条规划器生成可行轨迹,并由预训练的强化学习策略跟踪至电机指令。
推荐理由:该预印本提出了一种在四旋翼无人机上完全本地运行的模块化视觉语言导航栈,实现了指令落地、三维规划与闭环控制的分阶段执行。
论文提出 RoGe 框架,解决稀疏输入下新视角合成的几何与生成先验结合难题。该方法利用前馈重建模型从少量定位图像构建隐式场景表示,通过相机射线查询获取每视图几何特征并注入视频扩散模型作为条件,全程无需显式 3D 中间表示。联合训练使生成目标直接塑造几何条件,实验表明其在图像质量、时间一致性和几何一致性上优于现有重建、生成及混合基线。代码将在发布后公开。
推荐理由:提出 RoGe 框架,通过端到端隐式重建与生成联合训练,消除显式中间表示误差,提升稀疏视图下的视频合成质量与时空一致性。
论文提出 Hi-Token 显式编码坐标轴与位值,用 12 个 token 表示边界框;配合 Hi-GAR 几何奖励优化策略梯度。实验显示该方法在 RefCOCO 等基准上优于原子 token 基线及强专家长模型,且仅用于训练阶段。材料为 arXiv 预印本,未提及同行评审或正式部署状态。
推荐理由:该预印本提出 Hi-Token 坐标编码与 Hi-GAR 奖励机制,在三个 VLM 主干上提升生成式视觉定位效果。
论文指出开放词汇检测器的置信度分数在物体被严重遮挡时依然保持高位,该信号反映的是类别存在于场景中而非目标可见。研究对比了基于几何的真相真值,发现固定视角下检测器对 90% 的遮挡场景仍报告存在,而单次相机运动即可解决所有遮挡场景的定位问题。作者发布了基准并建议采用以目标为基准的信号来评估和门控机器人感知系统。
推荐理由:该研究揭示了目标检测置信度在遮挡场景下反映的是类别存在而非可见性,并提供了基准与几何真值用于重新评估机器人感知策略。
论文提出了 FlatVPR 范式,旨在平衡地图轻量化与定位精度。该方法通过引入可学习的残差变换和基于拉回平坦性的损失函数,抑制基础模型(如 DINOv2)特征空间中的显著曲率,使特征流形近似线性化。实验在 NCLT 数据集上验证了该方法在极端稀疏锚点间隔和季节变化下的有效性。
推荐理由:提出 FlatVPR 方法,通过几何校正适配器解决基础模型特征流形曲率问题,在稀疏锚点条件下显著提升视觉定位性能。
该研究针对扩散模型中现有去偏技术仅优化单一引导尺度、导致用户调整参数时公平性下降的问题,提出 StayFair 方法。作者将总偏差分解为模型偏差和随引导尺度变化的引导偏差,并扩展了强人口统计学平等条件。
推荐理由:提出 StayFair 方法,通过分解模型偏差与引导偏差,在扩散模型的各类引导尺度下保持群体公平性。
针对现有数字短剧生产依赖单次 LLM 生成脚本及松散流程导致叙事节奏弱、空间一致差等问题,本文提出 One Sentence, One Drama 分层多智能体框架。
推荐理由:提出分层多智能体框架,解决短视频剧本节奏与空间一致性难题。
该论文针对图生视频模型生成内容过于静态的问题,提出了一种名为 DyMoS(Dynamic Motion Slider)的无需训练且与模型无关的方法。研究发现非参考帧过度关注参考帧导致运动被抑制,DyMoS 通过重新平衡初始去噪步骤中的注意力路径来改善这一现象。实验表明该方法在保持视觉质量和图像保真度的同时,显著提升了多种先进图生视频骨干网络的运动动态效果。
推荐理由:提出无需训练的 DyMoS 方法,通过调节注意力路径改善图生视频的运动抑制问题。
论文介绍 VGGT-Ω,该模型在保持几何感知能力的同时显著提升了重建精度、效率与能力。研究通过简化架构(单头多任务监督)、引入寄存器聚合信息及注册注意力机制,将训练显存占用降至前代的 30%,支持使用比先前工作多 15 倍的监督数据及大量无标签视频数据。
推荐理由:该文提出 VGGT-Ω,通过架构改进与自监督协议大幅降低显存并提升重建精度,为静态及动态场景提供几何感知特征。
论文介绍 EvoGround 框架,由提议者和求解者两个耦合的自进化智能体组成,能从原始视频中学习无需任务特定标注的视频时序定位。该框架通过强化学习循环让两个基于相同主干网络的智能体相互改进。在 2.5K 无标注视频上训练后,EvoGround 在五个基准测试中匹配或超越大多数全监督模型,并展现出细粒度视频描述能力。所有资源已公开。
推荐理由:提出 EvoGround 框架,利用两个自进化智能体在无标注视频上实现时序定位,在五个基准测试中表现优于多数全监督模型。
论文提出了 MicroWorld 框架,旨在解决多模态大语言模型(MLLM)在显微成像等垂直领域因数据稀缺和专家知识难以编码而导致的性能瓶颈。
推荐理由:该框架通过多模态属性图增强 MLLM,在显微图像推理任务上显著提升了 Qwen3-VL 的准确率。
针对未知且动态环境中机器人需利用有限视场摄像头接近并抓取目标物体的场景,提出统一系统以运行时强制执行可见性约束。该系统包含速度感知注视策略、分层子目标策略及实时全身规划器。
推荐理由:提出统一系统,在动态环境中通过视线策略与全身规划器解决可见性约束,相比解耦方案显著提升成功率并降低碰撞。