GlyphAnchor:通过位置锚定字形先验增强视觉文本渲染
GlyphAnchor 是一种针对图文生成与编辑扩散 Transformer 模型的新型文本渲染增强方法,利用轻量级字形块条件并通过模型原生位置编码将其锚定至目标图像。
GlyphAnchor 是一种针对图文生成与编辑扩散 Transformer 模型的新型文本渲染增强方法,利用轻量级字形块条件并通过模型原生位置编码将其锚定至目标图像。
作者提出 ChessQueries 方法,结合 ViT 编码器与 DETR 风格解码器来解决棋盘识别任务。在 ChessReD 基准上,该方法将准确率从 15.3% 提升至 99.2%,平均错误方格数降至 0.01(优于现有最先进方法的 3.4)。作者还展示了在分布外数据集上的强泛化能力,并开源了代码、模型权重及基于顶级赛事转播解析的新数据集。
针对基于 CLIP 的零样本异常检测方法缺乏可解释性与可扩展性的问题,本文提出 CoEvoAD 框架。该方法在离散自然语言空间利用进化算法进行提示词搜索,保留语义的可组合性;同时引入跨类别迁移目标,将未使用的源类别作为代理以评估提示规则的泛化能力。实验表明,CoEvoAD 在多个异常检测数据集上达到最先进性能。代码已开源,论文已被 EMNLP 2026 主会接收。
VideoLLM-MoTE 提出将大语言模型前馈网络转化为特定任务的专家架构,在 COIN 基准测试中激活约 20 亿参数即实现高于近期基线的平均 Top-1 准确率。该设计通过样本级任务路由使计算独立于存储的专家数量,相比稠密全激活及学习到的稀疏路由均表现更优。论文已获 BMVC 2026 接收,包含补充材料并开源代码与数据。
WithEveryone 提出一种针对包含 5-10 个指定身份的群体图像生成的统一框架,通过注入地址化 token 和结构化布局计划实现身份绑定。该模型在身份相似度上达到 0.538(优于 GPT-Image-2.5 的 0.472),并将复制粘贴误差降至 0.149、身份覆盖率达 94.5%、碰撞率仅 9.6%,证明了显式布局 grounding 可扩展至大群体生成。
本文介绍 CamChoreo,这是首个针对时空 grounded、组合式相机运动理解的基准,包含 4,229 个带有专家时间标注的多样化单镜头片段。研究提出 CamDistill 方法,将冻结 3D 基础模型的几何知识蒸馏为轻量级相机 token,在无需推理时运行昂贵 3D 模型的情况下,显著提升了视觉语言模型的性能。
Morph-ISR 提出了一种针对数字病理图像的高分辨率重建框架,通过引入 IPKG 和 MFP 模块解决复杂组织下的纹理模糊与边界丢失问题。在 TCGA 和 SurGen 数据集上,该方法将 LPIPS 和 ST-LPIPS 指标较次优方法分别降低 38.37% 和 39.55%,同时保持高 PSNR 与 SSIM。紧凑的参数化与高通量特性支持边缘部署,代码与模型将在发表时公开。
PanDent 是一个基于专家验证的牙齿级标注构建的大规模基准,包含 9,554 张全景牙片及由口腔颌面放射科医生进一步验证的结构化发现。该数据集支持报告级文本一致性与牙齿级临床一致性的互补评估,其中 9,049 例用于监督训练,另有 505 例作为独立内部基准。实验表明,在 PanDent 上进行监督微调可显著提升模型与专家牙科解读的对齐度及诊断准确率。
TextGaze 提出一种统一跨模态架构,利用冻结编码器提取视觉特征并借助大视觉语言模型获取 gaze-aligned 文本线索。该方法在四个主流数据集上评估,无需额外微调即展现出关键指标上的竞争力与鲁棒的跨数据集泛化能力。研究为传统设计提供了简化替代方案,突显了 LVLM 作为可访问辅助引导的潜力。
针对 Vision Transformers 在测试时依赖高注意力分数抑制对抗补丁的防御漏洞,本文提出对抗诱饵方法。该方法将诱导错误预测与规避防御解耦,通过优化独立诱饵区域提升目标令牌注意力并压制非目标竞争令牌,从而在不牺牲攻击有效性的前提下误导基于注意力的防御机制。实验表明,该方法在多种架构和攻击形式下均能成功重定向高注意力分数,揭示了仅用注意力作为对抗相关性指标的根本局限。
DiffCVE 提出一种针对严重压缩视频的感知质量增强方法,通过编码先验双分支条件与压缩退化语义提示机制解决结构不一致幻觉问题。该方法将编码先序引导加权融合模块集成至 VAE 解码器,利用残差和运动矢量提供结构及运动指导。实验表明其在严重压缩设置下显著提升感知质量,项目页面与代码已公开。
论文提出了 GUSH3R(Gaussian-Unified Scene Human 3D Reconstruction)框架,旨在解决从单目视频中联合建模场景几何、相机运动与非刚性人体动态并实现照片级渲染的挑战。
推荐理由:该工作提出 GUSH3R 框架,利用单目视频一次性重建动态人物与场景为 3D 高斯泼溅,在保持几何一致性的同时显著提升推理效率。
该研究提出 SimpleSearch-VL 框架,旨在提升多模态智能体的搜索与验证过程效率及可靠性,而非依赖扩展数据或工具。其核心改进包括利用因子化自适应展开(FAR)优化采样效率以缓解长尾延迟,以及通过思维链进行证据验证推理以确保检索内容与上下文的相关性。
论文提出了 NEXUS 框架,利用结构图表示物体并构建动态接触图,通过标量能量和耗散项而非直接预测状态来建模运动,从而在变化机械属性和物理效应组合下提升长时序准确性。该框架为接触丰富的视频生成提供有效引导,改善物理合理性并保持视觉质量。材料为预印本,未报告真实机器人部署结果。
本文介绍 Ego-MC-Bench 基准,用于评估视频大语言模型在真实烹饪场景中进行反应性、逐步任务指导及主动纠错的能力。实验表明当前最先进模型在该基准上表现困难,主要归因于缺乏包含错误与适时干预的训练数据。
该研究探讨了视觉指令微调如何将预训练大语言模型适配为处理图像信息,揭示了视觉特征被嵌入 LLM 骨干网络中间语义层的机制。研究发现,这些中间层构成了视觉 - 语言处理的语义核心,对多项多模态基准的性能至关重要。
针对多源视觉输入(如红外与深度)融合时缺乏显式机制区分信息增益或干扰的问题,论文提出 MARS 框架。该方法将单源奖励作为动态锚点,在强化学习可验证奖励(RLVR)中明确纳入多源融合带来的信息增益至优势归一化过程,自适应地强调互促并抑制噪声冲突。
推荐理由:提出 MARS 框架,通过单源奖励锚点解决多源视觉推理中的信息增益量化与模态冲突问题。
论文提出 AVI-HT 方法,利用同步的多模态训练数据(穿戴式视觉与 6-DoF IMU)及跨传感器深度注意力机制,实现对重度遮挡下的高精度三维手部姿态追踪。在 DexGloveHOI 数据集上的实验表明,该方法相比基线将平均关键点误差降低 16.1%,腕部对齐变体降低 24.2%,并将手指与物体的接触丢失率减少 8.5%。该工作已接受发表于 NeurIPS 2026。
该论文针对医学影像中个体间解剖结构空间关系一致的特性,提出利用跨实例拓扑一致性作为新的自监督信号。方法包含两种对齐机制:在实例内利用像素对应保留局部邻域拓扑;在实例间无监督下推导伪对应以控制部分邻域对齐并防止拓扑坍塌。实验在 7 个下游多模态任务上验证,分割与分类任务平均提升分别为 1.1% 和 5.94%,且在测试时缺失模态的情况下表现出更强的鲁棒性。
论文 Fill the GAP 提出一种针对多模态大语言模型(MLLM)的视觉隐式推理新范式,旨在解决现有方法因特征空间失配导致的不稳定增益问题。该方法在数据、特征和模型三个层面进行对齐:利用可检查的辅助视觉监督锚定隐式目标;通过轻量级 PCA 对齐头将解码器输出映射为输入兼容的视觉潜变量;并选择性地将隐式监督分配给基础模型表现困难的样本。
OptDiff 通过引入不变性重参数化,使同一超参数可跨多个图像重建、去模糊及超分辨率任务复用而无需重新调优。该方法结合 RED-diff 框架将后验采样转化为优化问题,利用凸优化工具显著加速推理并提升图像质量。实验表明该设计在保持 SOTA 性能的同时解决了长推理时间和繁琐调参的部署难题。
$\mathcal{B}^{3}$-Net 提出受控后验桥学习框架,通过可靠性估计、后验桥构建及有界重分配解决多任务稠密预测中的负迁移问题。在 NYUD-v2、PASCAL-Context 和 Cityscapes 数据集上,该方法在 CNN、Transformer、扩散模型及 Mamba 等基线方法中取得竞争或更优的权衡效果。实验验证增益源于受控后验桥学习而非骨干容量或解码器规模。
该工作提出通用主成分网络(CPCNet)与投影追逐式通用主成分网络(PP-CPCNet),将迭代的主成分分析算法转化为端到端可微层,以在分布外偏移下学习共享的正交基。实验显示这两种方法在四个标准域泛化基准上具备具有竞争力的零样本泛化性能且计算效率良好。
MM-IQA 是一个结合模糊、边缘结构等可解释线索的轻量级多指标框架,能在 [0,100] 区间输出单一致质量分数。该方法在 KonIQ-10k 等五个基准数据集上 SRCC 达 0.647 至 0.830,Python/OpenCV 实现处理单图耗时约 1.97 秒且内存随图像尺寸线性增长。
Appear2Meaning 是一个针对图像恢复文物标题、文化、时期等五类元数据的跨文化基准,涵盖 750 件博物馆藏品。在九款视觉语言模型测试中,字段级平均准确率为 36.16%–49.82%,仅含图像输入使文化、时期和原产地的参考兼容性比对照提升 12.6–32.2 个百分点。该基准通过区分字段级与完整记录兼容性并引入人工验证,旨在解决从图像恢复人类归因的技术挑战。
Hanzhe Liang 提出 Open3D-AD 方法,利用少量已知异常样本训练模型以识别未知工业缺陷。该方法基于包含 15 类、每类 5 种真实异常的 Open-Industry 数据集构建基准,在 Real3D-AD 和 Anomaly-ShapeNet 上验证了有效性。论文已撤回且未提供许可证,代码与权重暂未开放。
论文介绍 Canvas Vision Transformer (CanViT),这是首个任务与策略无关的主动视觉基础模型 (AVFM)。该模型利用场景相对 RoPE 结合视网膜视觉骨干网络与时空图景全局潜在工作区,并通过 Canvas Attention 机制实现高效交互。
推荐理由:提出首个任务与策略无关的主动视觉基础模型 CanViT,在低分辨率瞥视下实现优于现有模型的分割精度与推理效率。
针对现有多模态大语言模型在农业感知任务中存在的严重地面视角偏差及尺度混淆问题,该工作发布了 AgroOmni 大规模多视角训练语料库。该数据集包含 268,119 个视觉问答对,覆盖 56 个专用任务类别和 14 种任务类型,涵盖从地面近距离摄影到无人机航拍再到卫星遥感影像的多种空间尺度。
针对文本到视频合成中运动模糊难题,本文提出无需训练的 MotionCFG 方法。该方法在条件嵌入的运动子空间引入高斯噪声构建负条件,引导生成远离该区域以放大运动意图。
ENIGMA-360 是一个在真实工业场景中采集的自他视角(ego-exo)数据集,包含 180 段第一人称和 180 段第三人称程序化视频,两者时间同步并提供互补信息。数据已标注时空注释,支持研究工业领域的人类行为。作者提供了四个基础任务的基线实验结果:时序动作分割、关键步识别、自他视角的人机交互检测以及基于视频的跨视图问答,展示了现有方法在该挑战场景下的局限性,并公开了数据集及注释供公众使用。
针对多机器人团队协作定位与建图(C-SLAM)中通信受限、异常值及在线运行等现实挑战,本文提出 Robust Incremental Manifold Edge-based Separable ADMM(riMESA)。
该研究系统分析了现有无训练加速方法的性能与兼容性,发现采样时间调度是关键因素。基于 Frenet-Serret 公式的几何性质,作者提出了恒定总旋转调度(TORS)策略,确保采样轨迹上的均匀几何变化。
该预印本提出仅用编码器架构的 VidEoMT,通过轻量级查询传播机制在 ViT-L 骨干上实现视频分割,速度提升 5-10 倍。材料为 arXiv 预印本,未提及同行评审状态或具体部署结果。
MarsRetrieval 是一个针对火星地理空间发现设计的检索基准,涵盖成对图文检索、地貌检索及全球地理定位三项任务。评估显示即便强基础模型也难以捕捉特定地貌差异,证实了领域微调在行星环境下实现泛化地理空间发现的关键作用。代码已公开,适用于计算机视觉与天体物理仪器方法研究。
针对地球观测数据预训练模型在下游任务中地理泛化能力不足的问题,作者构建了包含 12 种模态的 MMEarth-Bench 基准数据集。研究提出了一种与模型无关的测试时训练方法(TTT-MMR),利用测试时的所有可用模态作为辅助任务进行重建,显著提升了各类预训练模型在随机和地理划分测试集上的性能。
作者提出 MM-SCALE 基准,包含 8,444 个图像上下文和 21,977 个行动场景,要求模型在共享视觉背景下比较不同行动的道德评分并 grounding 理由。结果显示当前 VLM 的 NDCG@5 虚高而内部排序准确率低,且常忽视视觉证据的关键性,揭示了现有模型的证据 grounding 失效问题。
该论文系统检验了计算机视觉缩放定律在遥感领域的适用性,发现遥感基础模型在远小于通用视觉模型的规模下即进入过参数化区域,任务相关信息存在显著冗余。研究对十种最先进模型进行后训练剪枝测试,显示在激进宽度缩减下平均保留 85% 以上分类准确率,而基于自然图像预训练的掩码自编码器性能则急剧下降。
针对视频扩散 Transformer(Video DiTs)中注意力机制二次复杂度限制上下文扩展性的问题,本文提出 VMonarch 新机制。该方法利用 Monarch 矩阵表示稀疏时空注意力模式,通过时空因子化显式捕捉帧内与帧间相关性,引入重计算策略缓解交替最小化带来的伪影,并融合在线熵算法实现长序列的快速更新。
GRCF 提出自适应误差加权与动态间隔机制,解决现有成对序数学习忽略样本难度及静态间隔的问题。该方法在回归数据集上达到最先进水平,并成功扩展至幽默与讽刺检测等分类任务。代码与论文已作为预印本公开于 arXiv。
ReflFlow 框架通过残差材质增强高斯泼溅表示及混合渲染管线,解决了动态高光场景中的反射方向估计与物理建模难题。在动态场景基准测试中,该方法定量定性均优于先前方法,生成了更清晰逼真的复杂环境高光反射。该成果作为 ICML 2026 预印本发布,包含代码、权重与数据,共 16 页含 5 张表格。