semCER:一种基于大模型判别的严重性加权字符错误率指标
semCER 引入由 LLM 法官对每个图素编辑赋予严重性权重,无需分词即可追踪读者评分。在英语、中文和越南语中,该指标在 CER 与归一化 CER 不一致时更受读者认可,且跨 16 种语言能区分不同字符的错误代价。研究团队已开源包含 6100 万次判定的编辑数据、聚合评分及蒸馏评分器。
semCER 引入由 LLM 法官对每个图素编辑赋予严重性权重,无需分词即可追踪读者评分。在英语、中文和越南语中,该指标在 CER 与归一化 CER 不一致时更受读者认可,且跨 16 种语言能区分不同字符的错误代价。研究团队已开源包含 6100 万次判定的编辑数据、聚合评分及蒸馏评分器。
该方法系统考察了空间域与频谱域卷积核在可学习下采样比率下的交互,发现频谱核在保留更多区域时增益更大。实验在 EuroSAT、CIFAR-10 和 STL-10 三个数据集及两种模型规模上验证,测试集准确率提升介于 +0.013 至 +0.028。该研究已提交至 ICASSP 2027,包含 5 页论文、3 张图和 2 个表格。
针对传统对抗鲁棒性蒸馏仅单向转移知识的局限,本文提出 CARD 框架,通过强到弱蒸馏后利用可靠性增强的学生反馈反向修正教师模型,再回传至学生继续训练。研究建立了样本级可靠反馈条件与风险分布上界,在 CIFAR-10/100 及 TinyImageNet-10 多架构实验显示该方法在提升鲁棒性的同时保持清洁准确率。
Josh Barua 等人提出一种基于贝叶斯视角的两参数线索组合模型,用于解释视觉语言模型(VLM)如何处理文本与图像之间的冲突证据。该研究将模态偏好建模为条件独立证据的整合过程,并引入模态特异性偏差项。实验表明,该模型无需重新拟合即可准确预测 VLM 在不同输入退化条件下的行为,并能泛化到新的不可靠性形式,成功统一了关于文本主导与视觉主导的现有报告。
推荐理由:该工作提出两参数线索组合模型,从贝叶斯视角解释 VLM 如何整合冲突证据并预测模态偏好。
该研究提出利用拓扑正则化对齐两个独立训练的自编码器潜在空间,彻底消除训练期间的协调需求。理论分析表明结构一致性可转化为近似几何兼容性,多数据集重建实验验证了该方法显著缩小互操作性差距。
该预印本论文提出一种基于系统 1/系统 2 范式的两环机制,用于在复合学习目标下对残差误差进行分层解析以识别额外信息。实验表明,该模型在中速环计算成本约为一半的情况下,始终优于仅用快环的模型;在提供清洁观测时,其性能与分阶段分类器及学习推迟方法相当。材料为 arXiv 预印本,未提及同行评审状态或具体部署结果。
针对多模态智能体在长周期和终身设置中持续获取复杂异构信息的挑战,本文提出一个包含两个维度的记忆机制分析框架。第一维度(形成与表示)定义了信息如何被编码为特定模态嵌入或结构化记录以支持推理;第二维度(管理)区分了静态复用、动态更新和自我进化三种策略层级。
针对天气传感器网络与计算机视觉领域的新颖性检测需求,该工作评估了四种现有质量控制方法的局限性并提出了三种结合概率故障检测的新型技术。在计算机视觉方面,研究引入了源自 Snapshot Serengeti 的 Novel Snapshot Serengei (NOVEL-SS) 数据集及 DCA 基线系统,旨在解决当前系统难以处理多种新颖性类型的难题。
针对 GUI 智能体构建中高质量视觉定位资源稀缺的问题,作者提出了包含 58.6 万截图和 63.3 万指令实例的 ScreenRef 数据集,并设计了从监督微调到强化学习的 D2RL 训练方法。
推荐理由:作者提出 D2RL 方法并基于 ScreenRef 数据集训练出 GroundGUI-8B,在多项 GUI 基准测试中表现优异。
针对现有表示对齐方法在后期层难以有效获取语义的问题,提出一种名为 RECON 的简单解决方案。该方法在训练阶段将预训练视觉编码器 token 输入到后期层;推理阶段复用 MLP 头作为代理并投影输出 token。实验表明,RECON 无需增加任何参数,收敛速度比 SiT 快 63 倍,比 REPA 快 25 倍。代码已开源。
推荐理由:提出无需增加参数的表示条件化方法,显著加速扩散 Transformer 训练收敛。
OLiVES 是首个由专业电影级相机拍摄的户外动态场景低光照视频数据集,包含超 2.5 万帧对齐的常亮/低光图像对及超 4.6 万个视频对象分割标注。该基准填补了现有数据在运动多样性、场景覆盖及退化强度上的空白,旨在联合解决低光照增强与场景理解任务。实验表明,在此数据集上训练能同时提升两项任务的 SOTA 方法性能。
针对婴儿指纹脊线窄、运动干扰及压力不均等挑战,该研究在涵盖新生儿至三个月大的纵向数据集上评估了十种质量评估方法。实验表明,经参数调优的配置在多数年龄组中优于默认设置,通过重校准现有框架可提升图库效用并增强识别可靠性。研究进一步考察了模板融合与潜指纹技术,确定了当前最优方法的匹配率上限。
针对视觉语言模型处理高分辨率截图和多轮历史时产生的高计算开销问题,本文提出 STP-GUI 框架。该方法在激进降低令牌数量的同时,通过策略学习优化轻量级选择器,保留细粒度的指令条件评分并进行空间连贯的窗口级选择,避免破坏小 GUI 元素的局部结构。
针对医学影像分析中预训练与下游目标对齐不足的问题,研究团队利用低秩适应(LoRA)对前列腺分割任务进行持续预训练。实验显示该方法在 6 项下游任务中的 3 项取得性能提升且特征表示更相似。该工作将在 2026 IEEE ISBI 会议上提交,代码与数据许可状态待定。
该论文在 CARLA 仿真城市中,利用核密度估计器调整训练样本权重,解决了行为克隆(BC)方法在交通灯合规等稀缺专家演示场景下的学习难题。实验表明,相比标准 BC,该方法显著提升了路线完成率,尤其在未经历训练的测试环境中表现更佳。研究采用鸟瞰图输入简化策略学习过程,相关手稿已作为 BRACIS 2024 会议录用版本公开。
针对自监督联合嵌入学习中常规方法仅依赖当前小批量的局限,本文提出跨批次正则化方案,利用 CPU 内存维护数据集级状态并构建全局实例目标。实验表明该方法在自然图像与生物医学数据集上均优于传统小批量估计,能更忠实于全数据集正则化梯度,且在对比学习(SimCLR)与非对比学习(SIGReg)任务中显著提升分类、少数类性能及检索效果。
针对预训练视频扩散模型蒸馏为少步自回归生成器的任务,本文分析发现因果 ODE 初始化虽缓解模糊但细节仍不足。为此提出 RepForcing 方法,利用冻结的视频扩散 Transformer 归一化特征进行监督,学习少步因果初始化并复用双向模型生成的合成视频,无需额外生成因果 ODE 轨迹。
论文发现视频生成模型的强化学习中,成对比较图普遍存在且持续存在循环偏好,简单的平均胜率聚合会忽略这种结构并引入不可靠的优势估计。为此提出 Reliability-Anchored Preference Walk 方法,利用循环图中的可靠关系证据增强全局信号,在匹配评估器、协议及预算下无需额外查询即可优于 Pairwise-GRPO,并在受控比较、迁移设置和盲测中表现更好。
针对现有视觉基准类别覆盖窄、任务构建不严的问题,作者提出了 VisualWorldBench。该基准基于包含 21,291 个叶节点的层级分类体系,涵盖 8 个视觉领域,构建了 32,541 个评估实例。
推荐理由:该基准通过细粒度分类与多任务设计,揭示了现有模型在视觉世界知识上的能力缺口。
针对组织制备差异导致的领域偏移问题,GDBA-Net 通过冻结 SAM2 编码器并引入门控双分支适配器实现高效微调。该框架仅含 430 万可训练参数,在六个基准测试的完全监督、跨数据集及五样本适应协议下均优于 CNN 与基础模型方法。消融实验证实性能提升源于语义 - 频率互补性与自适应门控设计的协同作用,而非单纯增加模型容量。
该论文提出了 SAM3RL,一种针对 Segment Anything Model 3 的扩展,通过强化学习训练轻量级控制器来优化视频对象分割中的记忆管理策略。
推荐理由:提出用强化学习训练轻量级控制器优化 SAM3/SAM2 的记忆管理,在多项基准上超越手工规则且无运行时开销。
该方法针对平均准确率优化导致难分类别性能下降的问题,引入基于影响函数的点选策略改进并新增不确定性评分以学习更佳决策边界。在多项基准测试中,该方案超越了首个类别感知主动域自适应基线及现有主动域自适应方法。实现代码与数据可通过提供的链接获取。
作者发布了 FPV-CRASH 数据集,包含 1052 段无人机第一人称视角视频(526 段事故、526 段正常),提供事故时刻的单帧标注及自动生成的英文描述。基准模型在固定协议下将平均绝对误差从 1.12 秒降至 0.56 秒,并在 0.5 秒内定位比例提升至 65.71%。材料提供了标注、视频标识符、元数据、划分列表及预处理代码,支持离线重建与分析,未涉及真实机器人部署或商业化运营。
本文审计了 PhysGuide-Net 在水下图像复原中的有效性。在零样本评估中,该模块未带来显著性能提升且计算开销增加;仅在少量数据时表现微弱但统计不显著。研究指出预测传输图缺乏物理一致性(与距离相关性弱、不符合比尔 - 朗伯定律),且模块效果随数据集退化程度改变符号。此外,单次运行消融实验可逆转结果,揭示了实现缺陷导致损失函数审计失效的问题。
该论文提出判别式分数函数(DSF),能从 ResNet 分类器、DETR 检测器和 DINOv2 编码器等预训练模型的损失梯度几何中提取图像空间的生成场,无需重新训练或特定任务目标。该方法支持从噪声生成无条件图像及条件引导、编辑和修复,并在无真实数据时提供有效的零样本量化校准,优于数据无关校准基线。材料为 arXiv 预印本,已接受于 NeurIPS 2026。
针对运动规划中泛化性不足的挑战,本文提出一种不确定性驱动的自博弈方案。一半智能体奖励增加邻居的认知不确定性以探索弱点,另一半学习安全驾驶。该方法利用认知不确定性作为难度代理,自动生成挑战性子集,无需人工设计场景。
推荐理由:提出不确定性驱动的自博弈方案,利用认知不确定性作为难度代理实现自动课程学习,在 nuplan 和 Argoverse 2 上零样本迁移效果优于标准自博弈。
LED-BENCH 是一个涵盖机械、建筑和交通领域的大型工程图纸理解与推理基准。对包括 GPT-5.6 Sol 在内的 11 个多模态大模型评估显示,平均准确率为 52.65%,且所有模型在需整合广泛证据的任务上表现均不及预期。该结果揭示了当前多模态模型在处理高分辨率工程图纸时,在细粒度理解、证据融合及复杂推理方面仍面临严峻挑战。
针对文生图扩散模型的安全对齐问题,本文提出了 SaTPO(Safety Transition Preference Optimization)方法。该方法利用不安全提示词与其安全改写版本在共享父状态下的紧密耦合特性,通过在去噪过程中实施步级对齐来消除历史轨迹发散,将安全适应限制为增量调整以保留任务相关语义。
针对单目人体姿态估计在下肢遮挡或视觉中断时难以重建物理合理运动的挑战,本文提出一种基于鞋垫传感器融合的鲁棒实时框架。研究团队构建了同步多模态数据集,将足底压力与加速度特征融入下肢分支以补偿视觉证据缺失,并通过轻量级协调器维持全身一致性。实验表明,在三种代表性实时视觉骨干网络上,引入简单脚部传感器能显著提升姿态精度、运动平滑度及步态相关测量值,尤其在遮挡和短时视觉丢失条件下增益最为显著。
论文提出了 IMU-Bench 基准,包含来自八个数据集的十个任务,用于评估腕部惯性测量单元在多任务性能及跨任务迁移方面的表现。研究对比了六种基于无标签记录或模拟腕部动作预训练的自监督方法,发现掩码自编码器 InrtlWrist 在冻结探针测试中于九个任务上达到最优或并列最优效果,微调也在十个任务中的九项优于从头训练。
论文介绍 ActICL,一种通过工具增强推理让多模态大语言模型(MLLM)自主判断信息缺口并渐进式检索演示样本的后训练方法。该方法在七个基准测试上平均性能提升 11.6 个百分点,优于标准相似度检索;其构建的上下文也能有效赋能前沿模型如 GPT-5.6-Sol。材料为 arXiv 预印本,未提及同行评审状态或具体部署结果。
推荐理由:提出 ActICL 方法,通过工具增强推理让 MLLM 自主判断并渐进式检索演示样本,在七个基准测试上平均提升 11.6 个百分点。
MDUFS-Net 将 ℓ_{2,0}-范数融入 PCA 框架并展开 ADMM 算法,结合流形优化策略提升数值鲁棒性。其增强版 MDUFS-Net+ 引入 ℓ_0-范数以获取更具判别力的特征表示。实验表明两者在无监督特征选择任务中优于最先进方法,并在聚类方面表现优异。
该论文针对智能体视频理解任务,研究如何从有限噪声反馈中可靠发现通用系统。作者首先提出 VideoHarness-BRSI 框架,但在分析 4000 多个候选方案时发现验证过拟合、搜索预算稀释和早期经验陷阱等失效模式。
推荐理由:提出证据治理框架解决验证过拟合与搜索预算稀释问题,在四个基准测试中提升均分并缩小验证差距。
该研究针对多模态大模型在密集场景中因历史答案注意力接管导致的坐标重复生成问题,提出了压缩窗口自回归(WinAR)机制。该方法将长序列划分为连续生成窗口,仅对当前窗口进行全 token 级自回归,并将前序窗口压缩为固定数量的潜在 token 以条件化后续解码。
推荐理由:针对密集场景下多模态大模型检测器的坐标生成循环崩溃问题,提出压缩窗口自回归机制以平衡历史依赖与注意力分配。
针对现有方法缺乏显式图质量引导、基于最终答案正确性的反馈间接的问题,本文提出 MMKG-R1 框架。该框架引入多种质量感知奖励,直接评估从单个知识源提取的信息质量及组装后的多模态知识图谱质量,并以此指导强化学习训练以训练多模态大语言模型作为构建者。跨数据集实验表明,该方法能提升下游问答准确率。
针对单步扩散蒸馏在高分辨率或复杂文本生成任务中性能不足的问题,本文提出了渐进式多步无数据蒸馏(PMDD)方法。该方法通过为每个学生分布分配专用适配网络并引入阶段遗忘损失,避免了同时训练带来的偏差与计算开销。
该方法通过结合重建误差最小化与空间差异结构保持的 l_1 正则化损失函数,有效改善近视导致的视觉模糊问题。在模拟 Z_2^0 离焦条件下,相比基线性能,PSNR 提升幅度介于 1.48 到 7.34 dB 之间且感知质量显著更低。研究仅在 KITTI 数据集训练,并在 DIV2K 和 ImageNet 上验证了跨分布泛化能力。
该论文研究了在 VLA 模型零样本迁移之外,针对新任务进行适应时的最佳方法选择问题。研究对比了离线与在线数据场景、最优与非最优轨迹数据的影响。结果显示,在有失败数据时,基于评论家的引导方法优于监督微调;但在离线 RL 中,简单的蒙特卡洛方法表现不逊于复杂的评论家训练函数;在线设置下,基于评论家的引导样本效率更高但性能上限低于全量微调。
VITAL 提出视觉 - 生理 token 对齐框架,通过独立生理路径与结构化数值对齐解决通用视觉语义丢失细粒度线索及离散生成与连续测量失配问题。实验显示该模型在多路脉波光电容积脉搏波(rPPG)数据集上提升跨域估计性能,同时保留 VLMs 的通用视觉理解能力。代码即将发布。
论文 RingNav 提出了一种参数仅为 10.6k 的视觉航向估计器,其核心创新在于将记忆约束在圆流形 S^1 上,仅学习连续图像间的转向量并在圆周上直接合成航向。