EVAThink:基于证据充分性引导的视频理解自适应思考训练
针对视频理解中采样帧是否提供足够证据的问题,作者提出了 EVAThink 框架以增强模型的自适应思考能力。该方法首先通过可恢复的证据差距挖掘构建稠密与稀疏视图对,筛选出稀疏视图需显式推理的样本进行监督;随后利用证据引导的两阶段强化学习优化回答模式偏好并提升首 token 效率。
推荐理由:提出证据充分性引导训练方法,仅需少量样本即可提升视频理解模型在固定帧数下的回答模式选择与推理效率。
针对视频理解中采样帧是否提供足够证据的问题,作者提出了 EVAThink 框架以增强模型的自适应思考能力。该方法首先通过可恢复的证据差距挖掘构建稠密与稀疏视图对,筛选出稀疏视图需显式推理的样本进行监督;随后利用证据引导的两阶段强化学习优化回答模式偏好并提升首 token 效率。
推荐理由:提出证据充分性引导训练方法,仅需少量样本即可提升视频理解模型在固定帧数下的回答模式选择与推理效率。
BRIDGE 数据集包含波兰比得哥什弗朗齐谢克·卢卡奇克肿瘤中心收集的 169 名患者共 869 张玻璃载玻片,经脱蜡及 H&E 染色后数字化生成总计 2607 张全切片图像。该数据集中每张切片均附带格里森评分,旨在支持无标记虚拟染色、去染色、图像配准与分割方法的开发与外部验证。所有图像已匿名化并以原生扫描仪格式通过 BioImage Archive 提供下载。
本文提出 SeProRS 框架,将传统的视觉中心遥感场景分类重构为仅基于文本的任务:利用视觉语言模型生成图像对应的‘语义代理’文本描述,再经文本嵌入模型进行分类。研究在三个主流数据集上验证了该方法能保留显著判别信息,同时揭示了纯文本理解的局限性。论文建立了可复现的基准并分析了提示策略与生成器的影响,旨在探索高效模态缩减的理解方向,而非替代现有图像方法。
推荐理由:提出仅用文本语义代理进行遥感场景分类的新范式,建立统一基准并量化纯文本理解的可行性边界。
该研究通过 14 个冻结编码器在五个 RGB 场景数据集(0.06-30 m GSD)上的五组配对实验,发现卫星预训练并非通用提升手段。具体而言,SatDINO、Scale-MAE 和 RemoteCLIP 三对模型显著受益,而 DINOv3-SAT 线性探针准确率下降高达 22.5 分,SatMAe 下降 8.8 分。
该论文在 SO-101 机械臂上训练了 ACT、SmolVLA、Diffusion Policy 和 pi0.5 四种模仿学习策略,针对同一抓取放置任务分别在约 520 勒克斯和 45 勒克斯(11.5 倍光照变化)条件下进行验证。
该工作提出 Semantic Pairing (SemPair) 策略,将多模态遥感预训练中严格的实例级对应关系放宽至语义级,用类别一致的跨实例配对替代精确实例配对。
针对现有方法目标识别后持续发射掩码导致误报的问题,论文提出 PS-VRS 框架及包含 2,077 个视频、16,250 条标注查询的 PS-Bench 基准。提出的 PSG 策略通过预测 [ACTIVE]/[VACANT] 状态令牌并结合 SAM2 仅在活跃态发射掩码,在 PS-Bench 上比现有基线 J&F 分数提升 9.32 分并显著降低假阳性发射。
CP-GS 是一种容量 - 精度耦合的高斯泼溅框架,通过动态重分配固定预算及分层量化校准,在共享速率约束下联合优化空间容量与参数精度。实验显示,该方法在 DIV2K 和 Kodak 数据集上优于代表性 2D 高斯及隐式神经表示,且在保持总预算固定的前提下降低了优化成本。
该论文介绍 HintErase 模型,旨在恢复被字幕、Logo 等覆盖的视频场景。不同于传统将定位掩码视为空洞的方法,该方法将定位误差作为提示输入,训练模型修正遗漏与误覆盖区域,并保留真实场景文本。系统支持长视频流处理,具备抗抖动和跨镜头能力,相关代码与结果在项目页面展示。
该论文提出 Ego2Robot 学习框架,旨在利用第一人称人类视频(EHV)中的手物交互数据训练机器人操作策略。文章定义了四种学习范式:显式本体转移、显式动作与任务监督、第一人称视频表示预训练以及潜在动作与动力学建模,并对比了各范式的信息提取方式与额外数据需求。
针对交通视频中安全关键事件稀疏且难以检索的问题,本文提出了 AgenticConflictLens 框架。该框架结合结构化交通记忆与专用分析工具,通过粗粒度搜索与细粒度验证相结合的策略,高效提取自然语言查询下的冲突记录。
针对无人机采集的遥感影像部署机器学习模型时面临的分布差异挑战,本研究对比评估了 Alibi-Detect、NannyML 和 PyTorch-OOD 三款开源工具。实验结果显示各方法在检测效果与计算延迟上存在显著权衡,为资源受限系统提供了轻量化监控机制参考。该工作已作为短文被 WACV 2027 地球观测计算机视觉研讨会接收。
EquivFlow 是一种紧凑的可逆曝光等变编码方案,在不修改预训练 VAE 的前提下解决 SDR-to-HDR 视频重建中的暗部坍塌问题。该编码将曝光变化映射为加法偏移并保留尺度无关的色度分量,在多种预训练图像和视频 VAE 上验证了深暗色度传输的有效性。集成后,该方法在测试设置中实现了稳定的色度保真度增益并保持具有竞争力的重建质量。
针对 MERU、HyCoCLIP 等四种双曲 VLM,研究发现其指数映射操作在推理中近乎恒等变换,移除该映射后评估分数不变。基于此,团队从零训练的欧氏模型在 CC3M 数据集上最终阶段统计特征与双曲版本无差异且评分一致。结论表明当前层级视觉语言学习无需依赖双曲几何,相关代码已开源。
该论文针对扩散模型重建误差在分布外检测中的不可靠性,提出了 DUO 方法,通过结合重建误差与中间去噪特征的敏感度谱来互补提升检测效果。该方法无需监督且训练免费,平均 AUROC 较最强基线提升约 6 个百分点,并在近分布外和高分辨率基准上达到最先进水平。
ARQ-VAE 提出一种无标签的离散残差量化机制,将 Breakfast 数据集 I3D 特征库存储从 28 GB 压缩至 10 MB。结合 ASFormer 模型,该方法在监督设置下取得 71.5 Edit 和 51.2 F1@50 性能,且无需帧级标注即可支持增量与无监督分割任务。该预印本论文展示了其在长视频存储 - 性能权衡上的显著优势及代码开源潜力。
该文针对文生图扩散模型无法精确控制时钟显示时间或圆形物体特定比例的问题,提出了一种基于几何 Token 编码的框架。该方法将角度参数化为周期性正弦余弦特征并注入提示词,引入随机定位松弛(SLR)技术以在无需推理端定位输入的情况下实现空间对齐,同时针对时钟任务设计了防手位互换的目标函数。实验显示,该方法在时钟生成任务上6度内准确率提升至63-78%,圆形物体分割准确率达89.5%,显著优于基线模型。
推荐理由:提出几何 Token 编码与随机定位松弛方法,将文本生成时钟的时针分针角度控制准确率从不足1%提升至63-78%,并验证了在圆形物体分割任务上的泛化能力。
本文介绍 VIGOR 基准,用于评估多模态大语言模型(MLLMs)的视觉推理正确性。该基准将视觉推理表示为与像素级定位配对的显式概念,涵盖从低级属性到高级运动关系的多层抽象。作者开发了自动标注框架以构建大规模数据,并通过对比模型生成的视觉证据与真实标注,发现当前 MLLMs 在视觉推理正确性上存在局限及不同层级下的定位失败现象。代码已开源。
该研究在 JiT 基础上引入后期像素路径层,无需额外损失即可将 ImageNet@256 的 FID 从 2.34 降至 1.78。像素路径仅在去噪最后 20% 激活,避免了早期阶段干扰。实验证明简单卷积层能显著改善无潜扩散模型的图像生成质量。
针对眼科手术各阶段缺乏公开多模态视网膜图像刚性配准数据的问题,MICRO 数据集提供了涵盖术前、术中及术后的 1,365 对跨模态图像及标准化标注。提出的 OFS2Reg 框架摒弃传统两步骤分割后检测模式,利用频率引导的结构保持描述子构建关键点拓扑约束,实现像素级跨模态血管结构精准对齐。该研究旨在解决现有深度方法因依赖分割质量而受限的难题,为眼科手术提供关键引导。
AncBench 包含 100K 对齐的清洁 - 退化图像对,模拟老化、纹理变化及水致几何畸变等复合退化。AncRestore 利用视觉先验路由网络动态整合专家策略,在抑制复杂退化的同时保留文字结构。实验显示该方法优于其他方法,适用于文化遗产保护中的智能古籍修复。
GSTAR 提出一种空间 - 分组协同缩放框架,在固定信息预算下实现 32 倍甚至有效 64 倍的压缩率。该模型在单张 NVIDIA H200 上以 2.5 秒速度生成 1024×1024 分辨率图像,较先前列式离散自回归模型提速 20 倍。其在 GenEval、DPG-Bench 等五个代表性文生图基准测试中表现与领先模型竞争。
该论文针对多模态归因任务中依赖成对模态作为代理监督、隐含语义对齐假设的问题,指出在存在部分语义不对齐和不可靠跨模态对应时,传统基于全局充分性压缩的信息瓶颈目标会导致后验过度收缩。作者提出 TIB 框架,通过样本级调节根据跨模态可靠性自适应调整归因强度,无需假设语义对齐。实验在受控基准和大规模数据集上验证了该方法的有效性及其对识别出的失效模式的纠正能力。
该论文提出了一种名为 TRD 的方法,通过动量混合策略将分布级和轨迹级监督结合到单次学生模型前向过程中。该方法同时作为一步生成器、无需额外网络的学生边际速度估计器以及沿教师 ODE 轨迹进行闭式时间依赖速度场监督的代理。
AptM-GCD 提出属性证据学习机制,将属性视为局部视觉证据而非全局描述符,结合多模态提示推理提升细粒度与通用基准表现。该方法在六个数据集上达到最先进水平,且在单模态及类别不平衡设置下展现强泛化能力。论文已提交至 TPAMI,arXiv 版本为 v1,代码与数据许可状态待定。
研究在 VML-HP-ext 数据集上发现,测试时若使用训练手稿的其他页面会导致准确率虚高,从页级 97% 骤降至手稿级 54%,且模型置信度严重过拟合。针对此问题,论文提出评估协议建议并验证了软标签能显著降低与专家评估的偏差,相关代码将随论文发布。
论文介绍 PoEM 框架,旨在通过已训练的模型和新的奖励函数直接近似目标 RL 策略,而无需重新进行计算密集型的强化学习训练。该方法利用新奖励函数可表示为现有奖励线性组合的特性,在 log-probability 空间中将最优策略表达为现有策略的组合;即使奖励非线性相关,RL 学到的策略也常跨越低秩子空间。
作者引入带符号校正流(Signed RF),这是一种针对带符号测度的一般化方法,旨在通过理论框架将负面信息与排除约束纳入生成建模。该方法在 ImageNet 上改善了保真度与多样性的权衡,并在反记忆化实验中降低了最近邻相似度;同时在使用 Stable Diffusion 3.5 时减少了对抗性提示诱导的裸露内容,且保留了 CLIP 和美学评分。
论文提出 Precise 方法,通过冻结干净潜在后验均值实现 SDE 一致性,解决现有采样器在强化学习中离散化噪声过大或收敛不足的问题。实验显示该方法在保持最佳域内性能的同时,将训练时间减少 13.1% 至 53.2%,并达到 PickScore、HPSv2.1 等最先进的对齐分数。材料为 NeurIPS 2026 接收的预印本版本。
针对现有基于 LDM 的反问题求解器需要大量神经函数评估和反向传播导致成本高、质量下降的问题,本文提出一种统一的欧几里得 - 瓦森斯坦梯度流框架。该方法在潜在空间联合执行后验采样与提示优化,结合少步潜在文本到图像模型,实现了无需通过自编码器的低 NFE 推理。实验表明,该方法在多个经典成像反问题中达到了最先进的性能且显著降低了计算成本。论文已接受至 NeurIPS 2026。
针对特征归因中路径选择模糊的问题,研究提出通过分布级运输过程而非手工插值来定义解释路径。该方法证明固定路径下 Aumann-Shapley 线积分是唯一符合公理的规则,并最小化动能作用导出运输测地线归因原理。实验表明 Reflow 提升了跨种子稳定性,学习到的传输路径在空间一致性上表现优异且删除忠实度具有竞争力。代码已开源。
JND-Guided Light-Weight Neural Pre-Filter 提出 FJNDF-Pytorch 基准与轻量化 CNN,在 ISCAS2027 投稿中实现 SOTA 压缩效率且仅用 7.15 GFLOPs 处理 1080p 图像。该方法计算成本仅为近期轻量级网络的 14.1%,在多数据集和编码器上持续优于竞品。开源代码与复现平台已提供,论文提交至 ISCAS2027。
Deep Tensor Network 是一类由查询、键和值收缩构建的序列算子,利用结合律在不生成 n×n 令牌矩阵的情况下精确计算 Gram 算子。该方法在查询/键宽度为 d 时仅需 O(d²+ddᵥ) 的工作量及因果令牌的摘要状态,并推导了前缀递推关系与迹、对角及行归一化条件。研究还给出了 Hadamard 变体与矩阵指数变体的精确评估及成本分析。
针对现有方法依赖像素级监督且难以扩展的问题,本文提出 ReGFLoW 框架,仅需图像级真假标签,利用扩散重建误差作为密集空间引导注入特征与分数空间。该方法通过以伪影为中心的多实例学习,在不依赖语义亲和性或边界先验的情况下实现虚假区域定位。
针对无人机图像集空间时间关联被常规分割基准割裂导致评估偏差的问题,研究基于 WeedyRice-RGBMS-DB 数据集,在固定 124 张目标采集测试集下对比了“目标保留”与“目标暴露”两种协议。实验显示 RGB+MS 模态在目标暴露后 IoU 达 0.7822±0.0269,优于完整保留时的 0.7317±0.0201,且早期融合对光谱位移更敏感。代码与支撑材料将在论文被接收后公开。
论文介绍 PURGE 框架,旨在解决大视觉语言模型过度依赖对象背景虚假相关性的问题。该方法通过构建结构化数据集区分证据与干扰线索,并利用分区感知遗忘技术选择性移除虚假关联同时保留推理能力。作者在 LLaVA-1.6、Qwen3-VL/3.5 及 CLIP 等多个模型上进行了评估,结果显示该框架能显著降低幻觉和错误率,且保持整体性能稳定或提升。
在 FaceForensics++ 测试集上,多质量数据的 EfficientNet-B0 基准模型在所有压缩级别均击败 CAFRL 架构,CRF 40 时 AUC 高出 3.66。
论文发布了 LAION-BVD(LAION - Big Video Dataset),这是一个从 CommonCrawl 收集并下载了 8000 万个视频、总时长达 1350 万小时的大规模开放视频数据集。
推荐理由:该数据集提供 1350 万小时视频及合成音视频字幕,为多模态预训练提供了大规模开放资源。
针对基于潜在表示的扩散 Transformer 超分辨率因压缩瓶颈导致细节与输入图像关联弱的问题,本文提出像素接地超分辨率(PGSR)框架。该方法在 VAE 压缩前提取并保留低清图像的像素证据,并通过条件侧轨迹引导和解码器侧像素接地两个阶段复用该信息以约束生成过程。实验表明,PGSR 在保持大模型冻结的前提下,有效改善了真实感与保真度的权衡,生成了更忠实于输入的视觉结果。
论文提出 SpectraReward 方法,利用预训练多模态大模型(MLLM)无需额外训练即可作为图像生成强化学习的奖励模型。该方法通过单次教师强制前向传播,测量从生成图像恢复原始提示词的平均对数似然值作为奖励信号,直接复用 MLLM 的图文对齐能力而无需偏好标签或奖励模型微调。