感知失真新框架:空间切片匹配与时间误差对齐提升视频编码质量
针对神经视频编码中感知质量与重构保真度的权衡问题,该研究提出区分可放松对应关系与必须保留的约束。方法上引入局部切片 Wasserstein 失真(SWD)进行一维最优传输以捕捉跨通道依赖,并采用运动轨迹上的流残差约束编码误差以保持时序一致性。
针对神经视频编码中感知质量与重构保真度的权衡问题,该研究提出区分可放松对应关系与必须保留的约束。方法上引入局部切片 Wasserstein 失真(SWD)进行一维最优传输以捕捉跨通道依赖,并采用运动轨迹上的流残差约束编码误差以保持时序一致性。
针对自动驾驶多视角系统需合成统一宽视域的需求,本文提出 Wide-View Gaussian Splatting (WV-GS) 框架。该方法无需逐场景优化,通过 Piecewise Perspective Rendering (PPR) 缓解边缘拉伸,利用 Spatial Affine Photometric Modeling (SAPM) 处理相机依赖的光度变化。
针对视觉语言模型的少样本适应问题,该研究提出 SD-LoRA 框架,旨在平衡细粒度视觉区分学习与部署效率。该方法在训练阶段利用异质图教师模型对高分辨率 ViT token 进行 patch-patch、全局 - 局部及视觉 - 文本关系的建模,并通过隐式蒸馏与原型预测对齐将结构偏置转移至共享的 CLIP-LoRA 骨干网络。
针对无标注掩膜的皮肤病变分割任务,现有方法依赖特定规则或用户选择区域。本文提出 GENIQ,一种无需训练的方法,利用文生图扩散模型生成的健康皮肤和病变图像构建原型,并从未标记图像中选取最相似片段进行优化。
该论文针对流匹配生成器在质量与覆盖率间的权衡难题,提出在训练阶段引入竞争机制。方法通过为预测器添加随机低维条件码 z,对每个样本采样 K 个 z 值产生候选速度并仅保留最佳匹配项进行损失计算,从而避免多模式平均化。
TraCE 提出一种通过聚类光流轨迹发现源灵活运动概念的框架,支持动作识别与视频问答任务。在 NTU RGB+D Mutual、Chiral SSv2 等六个基准上评估显示,相比不可解释基线,其动作识别平均准确率仅下降 1.0 点,VQA 名义提升 0.4 点。该方法通过运动扰动和概念移除测试验证了语义对齐与决策忠实性,项目页面已公开。
论文提出 JPTA(Joint Prior and Transport Adaptation)框架,将视觉语言模型的归纳自适应重构为对批次条件化语义参考的估计。
论文提出 T$^2$-Splat,通过 Safe RDT 初始化网格连接,利用 DTE 动态调整三角形分配,并用每面 Mip-texture 残差在固定网格上细化外观。
Video-Coder 是首个训练代码驱动的视频生成智能体的尝试,能够自主编写和执行代码来构建动态 3D 场景以提供结构与运动信号。研究设计了专用数据管道和两个高质量数据集(Video-Coder-SFT-6k、Video-Coder-RL-2k),并开发了集成代码执行与 3D 渲染的统一交互环境 Video-Coder Harness。
该论文提出了 S-NVRC,这是一种基于隐式神经表示(INR)的可扩展视频编码方案。该方法采用粗到细的特征网格前缀和嵌套的网络层前缀,能够从单个嵌入比特流中同时实现比特率与解码复杂度的可扩展性。在 UVG 数据集上,S-NVRC 通过单次编码即可覆盖广泛的比特率和解码复杂度范围,相比 SHM-12.4 和多层 VTM-20.0 分别在 BD-rate 上提升了 43.7% 和 5.6%。
针对扩散或流模型在少数据新域适配中采样成本高且加速方法受限的问题,研究提出 MeanFlow-Transfer (MF-T) 与 Continuous Adversarial MeanFlow (CAMF)。
针对水下成像中波长依赖吸收、散射及非均匀退化导致的语义漂移问题,本文提出 RPL-UIE 两阶段教师 - 学生框架。教师阶段从成对退化与参考图像中学习可靠的空间先验;学生阶段仅输入退化图像,模拟教师先验提取能力以指导增强过程,无需推理时参考图。
针对有损压缩导致后门触发器失效的问题,研究提出通用攻击重激活与压缩自适应攻击两种策略。实验表明,利用 ROI 编码机制可在 JPEG 等二进制流中保留恶意信息并成功重激活。该工作被 NeurIPS 2026 接收,为对抗数据压缩带来的安全挑战提供了新方案。
针对现有电路发现方法对概念数据集敏感且泛化能力弱的问题,本文提出 Certified Circuits 框架,通过随机数据子采样为电路组件的包含决策提供形式化的稳定性证明。
该方法提出针对潜在特征样本统计设计的率失真最优晶格向量量化(OLVQ)码本,克服了传统结构对均匀分布依赖的缺陷。实验表明其在保持计算效率的同时显著提升了端到端神经图像压缩的率失真性能,代码已开源。
针对高分辨率视频生成成本高昂的问题,本文提出 SoL-Refiner,一种将低分辨率模型输出转化为 4K 视频的单一去噪步骤方法。该方法结合高分辨率持续训练、强化学习后训练及最终一步蒸馏的三阶段流程。
MM-VeriAgent 通过强化学习让智能体掌握专用工具栈,在无需推理时搜索的情况下显著提升了混合来源多模态虚假信息的检测准确率。研究引入 Tool-Execution Cache 机制预执行候选调用并复用结果,大幅降低了训练阶段的在线工具执行开销。该方法基于 MM-VeriTools 构建,已在 MMFakeBench 基准上验证了策略的有效性与效率优势。
SLICEChat 在混合 Mamba-Transformer 编码器中引入语言监督的区域感知剪枝,解决全切片图像的可扩展性挑战。该模型在 SlideBench VQA 任务上 TCGA 队列准确率达 79.84%,BCNB 队列为 59.09%,优于既往全切片病理多模态大模型并拥有最佳综合指标与推理延迟。论文已获 WACV 2027 接收,代码、项目页及 PDF 均已公开。
针对文本指令在表达细粒度外观、空间变换和时序动态上的局限,该研究提出了 Visual In-context Editing 新范式,允许用户通过单图、成对图像或成对视频等异构视觉参考指定编辑需求。
推荐理由:VicEdit-400K 数据集与 VicEdit 框架展示了从视觉示例而非纯文本进行视频编辑的新范式,为可控视频生成提供了新的技术路径。
针对单无人艇感知受视距、视野和遮挡限制的问题,作者构建了基于 Unreal Engine 5 和 Project AirSim 的海洋仿真与数据生成平台 MMUSV-Sim。
RA-CLIPScore 提出一种新型评估指标,通过双提示解耦属性并利用局部 patch token 捕捉区域语义,解决传统 CLIP 基线在属性分析上的局限。实验表明该指标在分布错位或无关文本属性下更鲁棒,能揭示生成模型的空间偏差且与人类视觉多样性感知高度一致。
论文提出一种针对小波卷积(WTConv)的 I/O 感知重构方案,通过芯片内重算 Haar 分析、合并多级合成级联及折叠通道尺度等代数变换,将 HBM 流量降低约 2.55 倍。在保持算术计算量相当的前提下,相比参考实现训练速度提升最高 4.35 倍且峰值内存减半,解决了小波卷积因高带宽显存移动过多导致的系统开销问题。材料为 arXiv 预印本,已获 TMLR 录用。
PIDiffSign 提出一种融合正向运动学头与刚体动力学先验的扩散模型,直接输出解剖精确骨架以驱动虚拟化身。在受控协议下,该模型将 PHOENIX14T 和 CSL-Daily 数据集的回译单词错误率降低约五点,且生成的手语严格遵循运动控制定律但动能显著低于真实手语。研究证实增益源于运动学链表示而非骨长守恒,并提供了首个用于未来手语生产系统的物理基准套件。
PixCon 通过为 UniMatch V2 的 DINOv2-Base 编码器添加类级记忆库,仅在学生预测与标签一致时存储真值特征以训练共享网络。该方法在 Pascal VOC(183 标签)上将平均 mIoU 从 87.01 提升至 87.90,且推理阶段无需额外计算开销。
针对归档胶片修复缺乏成对训练数据和标准化评估基准的挑战,该研究提出了 AbsoluteDegradation 框架。其核心包含一个物理启发的模块化合成流水线,将模拟到数字过程建模为信号相关颗粒、参数化划痕和时序相干相机运动的组合;同时发布了一个由 81,576 帧高分辨率真实归档素材组成的基准数据集。
该研究指出当前 AI 生成视频检测基准存在对来源语料的依赖偏差。作者提出通过固定帧类型模式消除至少 2 秒片段的来源泄露,并发现仅靠重编码无法完全解决运动矢量带来的区分度。工具包与评估集清单已公开,建议结合多基准分数与其他真实集合的误报率来解读检测结果。
该研究针对相机卷帘快门与屏幕亮度调制产生的频闪条纹问题,构建了 Bricker 合成 - 真实混合括号曝光 RAW 数据集,并提出 BRACE 多帧恢复模型。模型利用频率感知频闪先验和多尺度空间交叉注意力模块进行跨曝光融合,并引入条纹频率一致性指标进行评估。实验在合成与真实基准上均达到最先进水平,代码与数据已开源。
论文提出了 DomainShuttle 方法,旨在解决开放域主题驱动文生视频中在域内保持特征与跨域灵活编辑的平衡问题。该方法引入 Domain-MoT 解耦视频与参考特征、Video-Reference DualRoPE 分离空间建模以及 Cross-Pair Consistent Loss 提取内在主体特征。实验表明其在多种开放域应用场景下均实现了显著的性能提升,兼具高保真度与生成灵活性。
论文提出 3D-PLOT-LLM,通过重构输入 token 流使模型能直接引用物体部件,无需额外的分割解码器或边界框头。在 PartVerse-QA 基准上达到 caption-to-slots Jaccard 0.459,并在多个部件感知描述任务中优于 PointLLM、Kestrel 等基线,且新增可训练参数少于 100 万。
论文 RegimeVGGT 针对多视图图像恢复稠密三维场景结构的 VGGT 模型,提出无需训练的层级压缩方案以解决二次交叉帧注意力带来的扩展性瓶颈。研究通过频谱、探测和因果分析发现浅层缺乏跨视角结构、中层驱动对齐、深层对几何冗余但保留姿态关键路径的规律。
推荐理由:该文提出无需训练的层级压缩方法,在保持重建质量的同时将 VGGT 推理速度提升 6.7 倍。
论文介绍 POTATR(Page-Object Table Transformer),这是一个拥有 2900 万参数的轻量级图像到图模型,旨在解决大规模文档处理中需要上下文感知的表格提取问题。
推荐理由:POTATR 以轻量级架构在表格提取基准上超越前沿多模态大模型,且具备空间定位能力与低成本推理优势。
针对大语言模型原生调用视频处理工具进行长视频理解的挑战,该研究提出 ParaVT 框架,支持单次轮次内并发多个时间窗口裁剪以并行考察证据。研究发现标准强化学习易陷入格式不稳定或跳过工具的困境,为此提出 PARA-GRPO 算法,通过格式奖励与概览帧预算随机化机制平衡探索与稳定性。实验显示该方法在六个长视频理解基准上平均提升 7.9%,并将训练时的格式奖励从 0.13 提升至峰值 0.64。
针对扩散和修正流模型迭代计算昂贵的痛点,本文提出 TACache(Trajectory-Aware Cache),这是一种无需训练的训练后加速框架。该方法将离散速度加速度沿轨迹分解为平行分量与正交残差,离线阶段基于累积变化阈值确定跳过步长并界定误差边界,在线阶段结合历史方向重构被跳过的速度场。
论文指出在流匹配文本到图像模型的 RLHF 微调中,传统基于策略熵的多样性假设会失效,因为固定的噪声调度导致策略熵恒定而感知多样性坍塌。作者提出用感知空间熵替代策略熵以捕捉真实多样性,并设计了两种熵正则化策略(Perceptual Entropy Constraint 和 Perceptual Constraints on Generation Space)。
针对现有文本到图像生成器在处理多物体、数量及关系等组合性提示时的不足,该研究提出 EPIC 框架。该方法无需训练,将优化过程转化为基于视觉证据的谓词引导搜索:解析提示词为对象变量与类型化谓词的视觉程序,验证候选图像是否满足所有谓词;对未满足的谓词进行局部编辑或重采样。
Alpha Blending Hypothesis 提出主流帧级深度伪造检测器主要作为 alpha blending searcher 工作,通过定位合成伪影而非语义异常实现跨数据集泛化。
该论文提出 ReMoA 框架,将递归模块化适应机制集成至常规扩散模型的联合注意力层中,通过稀疏选择神经模块在多个递归步骤内迭代优化视觉 token。实验表明,该方法在不引入额外参数的情况下,显著提升了 ImageNet 分类条件下的生成召回率及 GenEval 基准上的文本对齐效果。分析显示神经模块在不同扩散步长上实现专业化分工,支持上下文自适应的潜在轨迹细化。
arXiv 论文《Faces in Things, Faces in Nothing》利用 FacesInThings 数据集测试了六种视觉模型,探究其将模糊视觉证据转化为类别判断的机制。
推荐理由:该研究通过 FacesInThings 数据集揭示了视觉模型将模糊证据转化为类别判断的机制,发现不同模型对“人脸”的定义存在默认偏差。
针对多模态大语言模型在开放词汇人体 - 物体交互(OV-HOI)中存在的跨模态幻觉与视角受限问题,论文提出 ImagineAgent 智能体框架。
PointRAFT 是一种引入专用高度嵌入的深度学习回归网络,旨在解决因作物自遮挡导致的部分点云在估算性状时产生的系统性误差。该模型在操作中的马铃薯收获机上实测,对测试集 5,254 个包含 172 个块茎的点云实现了 11.7g 的平均绝对误差和 17.1g 的均方根误差,优于六种无高度嵌入的网络。其预处理与推理仅需每点云 6.3ms,满足商业收获机的高吞吐量需求,代码、权重及部分数据已公开。