TextVerifier:超越识别以验证中文文本渲染
Text-to-image 模型生成的中文常存在笔画缺失或部件畸形等局部渲染缺陷,此类错误对训练于识别任务的 OCR 和视觉语言模型不可见。本文提出 TextVerifier,将其形式化为目标条件问题,通过输入字符的 Ideographic Description Sequence(IDS)而非单一符号来检测渲染正确性。
Text-to-image 模型生成的中文常存在笔画缺失或部件畸形等局部渲染缺陷,此类错误对训练于识别任务的 OCR 和视觉语言模型不可见。本文提出 TextVerifier,将其形式化为目标条件问题,通过输入字符的 Ideographic Description Sequence(IDS)而非单一符号来检测渲染正确性。
论文提出 VITAL(Vision-Induced Tokens for Action Learning),旨在将视觉预期转化为驾驶决策。该方法通过耦合视觉导出的运动骨架与紧凑残差编码,使视觉运动成为主要预测目标,同时为轨迹误差提供独立的归一化学习尺度。
推荐理由:该工作提出 VITAL 方法,将视觉运动作为动作预测主目标并引入残差编码,在 NAVSIM v1/v2 测试集上实现接近多步推理的精度与速度。
该研究提出 Cortex 框架,旨在解决大语言模型在移除上下文后性能丧失的问题。通过生成前瞻性查询并蒸馏上下文条件输出为低秩或结构前馈网络更新,该方法实现了记忆巩固与能力保留的平衡。
推荐理由:报告提出 Cortex 方法,将上下文增益蒸馏为可合并的参数更新,在保持非目标能力同时实现记忆巩固。
该论文介绍了一种无需重训即可将预训练 Transformer“弹性化”的方法,使其能根据计算预算动态适应不同稀疏度。核心贡献是对功能单元排序问题的可微松弛,联合优化每个 MLP 神经元和注意力头的排名。
该预印本论文指出,传统流匹配采样器的迭代步骤在标准复杂度模型下无法增加常深骨干网络的表达能力。研究证明引入自条件化机制后,模型可利用前一步的最终图像估计作为条件,从而打破这一限制,使常深骨干网络达到空间有界图灵机的表达力。实验显示该方法在多种视觉推理任务上提升了准确率与推理深度。
论文介绍 ASAP 框架,旨在解决大语言模型在预训练阶段难以评估智能体能力的难题。该方法保留模型的补全接口,通过结构化轨迹延续、简短参考前缀和最小恢复机制来激发基座模型的交互行为,无需将其转化为对话式智能体。研究在软件工程与深度研究基准上验证了 ASAP 能区分不同基座模型及预训练检查点的端到端性能,并暴露生成的执行轨迹以分析探索、编辑、测试、恢复等能力变化,为理解预训练后的模型行为提供诊断视角。
针对扩散模型迭代采样中因暴露偏差导致的误差累积问题,该方法引入一个修正器(corrector),利用基模型预测作为输入进行显式学习,在去噪步骤间反复细化样本以抑制早期伪影。实验显示该方法在不使用引导的情况下大幅提升了样本质量,其性能可与分类自由引导(CFG)媲美且能减少过饱和现象,并通过蒸馏将推理成本摊销为零。
论文介绍 CarryOn,一种将长周期任务上下文组织为可复用对象的运行时机制,避免依赖压缩的历史记录。该方法通过维护载体记录、结合环境检查更新基础信息并保留未受影响记录,在 OSWorld 2.0 和 BrowseComp-Plus 基准上分别提升性能 5.8% 和 7.0%,同时降低 Token 使用量 51.9% 和 22.9%。材料为预印本论文,提供 GitHub 项目页面链接。
推荐理由:提出 CarryOn 对象化上下文运行时,在 OSWorld 和 BrowseComp-Plus 上提升性能并显著降低 Token 消耗。
论文提出 EdgeWise 框架,旨在解决长视界智能任务中全量调用云端大模型带来的高昂推理成本问题。该方案在本地设备部署小语言模型(SLM)作为主要求解器,仅当需要更强能力时通过强化学习或外部裁判策略选择性地将关键步骤委托给云端大语言模型(LLM)。
针对流匹配训练中源样本配对随机性导致的不稳定问题,该方法通过在线熵正则最优传输近似实现了更大的源 - 目标耦合规模,同时保持计算可行性。理论证明证实相比独立配对,全随机梯度方差与积分误差均严格降低,且随耦合 minibatch 增大而增强。单细胞基因插值流和图像流训练实验验证了该方案能一致提升训练稳定性及最终生成效果。
论文提出 EC2-Bench 基准,用于评估长周期场景中 LLM Agent 的边缘 - 云端协作表现。研究对比了纯边缘、纯云端及混合协作模式,发现混合模式在任务性能、资源利用和隐私暴露间取得平衡;随着边缘模型能力提升,协作执行趋近云端性能且策略差异缩小,但隐私风险仍高度依赖具体协作策略。分析指出云调用决策与指令遵循是有效协作的关键边缘能力。代码与资源已开源。
论文提出了 Game2Real-Bench 基准,旨在研究基于玩具游戏的评估指标是否对应真实世界的视觉推理能力。作者构建了包含 1000 个可执行验证的游戏样本和 400 个按推理要求对齐的真实世界样本,对 25 种代表性 VLM 进行了测试,观察到游戏与真实场景间高达 0.935 的相关性。
推荐理由:该基准通过对比玩具游戏与真实世界样本,量化了视觉推理能力的迁移效果,为评估 VLM 在复杂场景下的泛化性提供了新工具。
论文发现投影器训练仅需少量数据即可恢复大部分下游增益,且不同数据集训练的投影器可线性插值。为此提出 PORTAL 方法,利用各模态的摘要统计量构建最优传输映射,无需配对图像 - 文本数据或梯度优化即可初始化投影器。
推荐理由:提出无需配对数据的无梯度初始化方法,在多项基准上接近或超越标准微调流程。
该研究提出 H-DDCM 框架,利用无训练扩散模型进行数据压缩。通过引入隐式随机化哈达玛字典替代传统高斯码本,将投影与重建的计算复杂度降至 O(d log d),显存占用降至 O(d)。同时采用无需查找表的词典编码方案以支持大维度组合编码。该方法还适配自回归视频流模型,实现单卡近实时长视频压缩,在图像和视频基准测试中展现出具有竞争力的率失真感知性能。
论文针对连续空间生成流模型对齐受限于不可计算轨迹似然的问题,提出 Flow Advantage-Weighted Rectification (FlowAWR) 范式。
该研究提出一种支持灵活替换比例的轻量级联合源信道编码(JSCC)框架,通过选择性将编码器与解码器中间层的标准卷积替换为深度可分离卷积,在边缘设备上实现显著的参数量减少且仅轻微降低重建性能。实验表明,这种层间冗余优化策略有效平衡了计算复杂度与重构质量,适用于资源受限场景下的无线图像传输任务。
针对多生成模型采样成本高昂问题,Mixture-Greedy 策略无需显式 UCB 探索项即可实现更快收敛与更优性能。该研究在 FID、Vendi 等指标上验证了无 UCB 方法的优越性,并证明多样性目标本身可诱导内在探索机制。论文已获 UAI 2026 会议接收,代码与权重开放许可情况待原文补充。
RPP 提出一种仅依赖模型输出概率的黑盒认证中毒样本检测框架,解决数据失衡加剧后门威胁的问题。在 MNIST、SVHN 等五个基准及十种攻击下的实验显示,RPP 的检测准确率显著优于十二种基线防御方法,并提供了域内可检测性保证与误报率上界。该工作为应对真实世界失衡数据环境中的后门攻击奠定了理论与实用基础。
该论文针对现有多样性指标无法区分提示词诱导与模型自身变异的问题,提出了基于条件熵的 Conditional-Vendi 和 Conditional-RKE 两种新指标。研究在文本到图像、图文描述及大语言模型任务上验证了这些指标能恢复真实多样性排序并指导扩散模型生成更多样样本。代码库已开源。
MetaWild 数据集包含 20,890 张六种物种图像及环境元数据,配合轻量级 Meta-Feature Adapter (MFA) 模块可融入现有视觉语言模型。实验表明结合元数据的方案在 MetaWild 上表现优于仅用视觉信息,验证了引入温度、昼夜节律等生态关联特征对个体识别的有效性。该工作通过 arXiv:2609.34094v2 发布,旨在推动野生动物保护中的计算机视觉应用。
论文提出 VaME(Variational Multimodal Embeddings)框架,旨在通过变分潜在推理(VLR)在多模态检索任务中优化语义信息保留。
该论文提出 FlowSGS 方法,通过分裂吉布斯采样与退火耦合结合流特定干预,解决现有基于流的逆求解器在后验采样简化或假设线性前向模型的问题。研究首次将基于流的采样器应用于非线性逆成像问题(傅里叶相位检索),并利用一步流模型实现加速预热,在多种成像问题上比最先进方法更快且更准确。材料为预印本版本,未提及同行评审状态或具体部署结果。
针对现有视觉语言模型(VLM)在处理结构化视觉推理时缺乏细粒度感知的问题,该研究提出融合 DINOv3 和 CleanDIFT 表示的 DiffusedDINO 编码器,并与 RoBERTa-L 对齐构建 TDDN 模型。
本文介绍了一种受生物启发的框架,利用运动边界作为物体级分组信号,通过现成光流和聚类生成伪实例掩码,监督单图像编码器学习像素级成对度量特征。该方法无需人工标注或相机标定,基于 7,163 小时驾驶与网络视频数据构建了 1.95 亿帧伪标签数据集,并通过运动验证自训练扩展至 4.21 亿帧。
针对现有手术场景图方法依赖密集多模态监督和专用硬件的问题,作者提出 SAGE-OR 框架,将定位任务替换为基于冻结基础模型的隐式特征推理,无需定位标注即可进行关系推理。
VITAL 提出一种针对医疗多模态大模型的隐空间推理框架,通过视觉 - 语义双重监督解决现有方法的模态坍塌与不可解释性问题。该框架构建包含 61K 样本、覆盖 9 种成像模态的新数据集,在 7 个基准测试中均大幅超越骨干模型及所有隐推理基线,性能媲美万亿参数专有模型且推理零额外开销。
针对文本生成动作在语义一致性、真实感及人类偏好对齐上的不足,该研究提出 MotionRFT 框架。其核心包含将异构动作映射至共享语义空间的 MotionReward 模型,以及通过递归梯度依赖优化实现细粒度更新的 EasyTune 方法。
针对现有图文对比预训练方法表征仍部分依赖模态而非语义的问题,提出 ITO 框架。该框架通过多视图图像增强构建跨模态对应关系以丰富监督信号,并引入轻量级训练时多模态融合模块作为正则化器,促使编码器生成兼容的融合特征。
ManzaiSet 是一个包含 241 名日本母语者观看 2,301 条表演记录的多模态数据集,总计 191.8 小时音视频。分析显示观众评分存在个体差异且随观看顺序提升,幽默类别间无显著响应差异。该数据集已提交至 ICCV 2025 Workshop,支持将共享喜剧表演与观众评分、观看顺序及视听反应关联研究。
现有计算机视觉流程存在 ISP 转换和重复处理冗余帧的效率瓶颈。本文提出一种新框架,消除 ISP 并在拜耳域直接加速视频视觉任务。引入基于运动估计的视频卷积(MEVC),将滑动窗口运动估计集成到每个卷积层,实现预测与残差修正以减少跨帧冗余计算。
该论文提出一种多源多维语义信息融合框架,通过 Hyper-Slot 结合语义内容与 token 属性进行迭代分配与反馈,生成紧凑表示以支持全局推理。研究设计了基于贡献的激励机制,利用双层级 Stackelberg-Nash 博弈确定服务器奖励池与终端传输策略。
研究揭示图像分类中的 FLIP 攻击仅需翻转 3% 标签即可让 ResNet-32 模型以 99.7% 准确率触发后门。实验表明,在冻结的 DINOv2 特征空间上检测 AUROC 达 0.967,显著优于基于 poisoned 特征的 0.546。审计结果警告高检测分未必代表更安全,建议检查未学习标签的特征空间并依据重训练模型而非检测分数评估防御效果。
KPSA 从经验神经切比雪夫核的块分解推导而来,能以轻量级核估计未见输入的归一化参数组敏感性。在视觉、预测及蛋白质建模任务中,其选中组的扰动易感性可达一阶反向传播预言机的 39%-85%,且在视觉与预测任务中将批处理查询吞吐量从 551 提升至 2,041 张/秒,峰值显存从 4.55GB 降至 0.44GB。代码已开源,论文共 22 页含 10 幅图,属于预印本状态。
该论文发现多模态扩散变压器中图像到文本反馈会保留包括错误在内的既有表征,提出 Semantic Feedback Guidance 方法抑制该反馈以增强文本条件作用。其原位变体 iSFG 无需额外模型评估即可在 FLUX 上将 GenEval 从 0.6661 提升至 0.7479,在 SD3.5M 上增加 1.33 HPSv2.1 分数,且效果可迁移至视频生成任务。
针对 3D 医学图像预训练中随机裁剪忽视解剖先验的问题,提出 Where to Look Matters 框架,通过解剖感知、信息量与多样性策略替代随机采样。实验表明,该轻量级变体在多种骨干网络及下游任务中均优于随机采样基线,显著提升了表示学习效率并减少空间冗余。
针对积雪路面自动驾驶难题,该方法利用同步 RGB-I 图像与 GNSS 轨迹数据生成标签,实现无需人工标注的轮迹自动检测。实验表明其在视觉单调的雪天环境中有效,提供了低成本且鲁棒的冬季自主驾驶替代方案。新发布的 ThermalTrack 数据集已公开,相关代码与权重待 arXiv 注册后获取。
LapMerge 是一种针对长序列的可微 Token 合并算子,能在保持精确输出预算的同时实现端到端训练且计算复杂度为 O(M+N)。该算子在视觉及视觉语言任务中匹配或优于现有强基线方法,在大序列长度下速度提升达两个数量级。其作为即插即用模块或可训练组件,特别适用于 Token 顺序反映时空局部性的场景。
该论文从第一性原理出发,对建筑损毁评估(BDA)任务进行了系统性回顾。文章首先明确了容忍缺失灾前影像的传感器无关实例化定义;接着梳理了现有数据集在感知模态、时间配置和地理覆盖上的现状。
该研究针对地理空间基础模型在熟悉灾害上高准确率可能掩盖捷径学习的问题,利用 TerraMind、Prithvi-EO-2.0 等模型在 xView2 和 BRIGHT 数据集上进行测试。
推荐理由:研究揭示地理空间基础模型在跨灾害评估中存在捷径学习风险,提出特征变换方法可提升泛化能力。
Neurons++ 将范式从仅视频重建扩展为图像和视频的视觉流重建,采用类皮层串行解码替代并行任务条件化。该模型先通过图像 -fMRI 预训练获取空间语义初始化,再分别进行受试者特定的微调以实现重建。实验显示其在标准基准上达到最先进的视频重建效果和具有竞争力的图像重建效果,且支持 ROI 引导的语义调制与神经扰动下的方向可控性。