SlotMemory:面向对象的 KV 记忆用于流式长视频生成
针对流式视频生成模型依赖时间中心记忆导致的身份漂移与语义不一致问题,本文提出 SlotMemory,一种面向对象的键值(KV)记忆机制。该方法将 Transformer 的 KV 流形分解为离散可复用的语义槽位,仅作为路由地址,保留原始 KV token 内容,从而在长时域内实现实体级持久性和提示词感知检索。
针对流式视频生成模型依赖时间中心记忆导致的身份漂移与语义不一致问题,本文提出 SlotMemory,一种面向对象的键值(KV)记忆机制。该方法将 Transformer 的 KV 流形分解为离散可复用的语义槽位,仅作为路由地址,保留原始 KV token 内容,从而在长时域内实现实体级持久性和提示词感知检索。
该论文针对现有开放词汇动作识别方法丢失局部细粒度信息的不足,提出 SimVA 框架。该方法构建稠密的 4D 时空相似度体积,利用类采样确保可扩展性,并通过空间聚合、运动感知调制及基于 Mamba 的时序聚合来增强帧内一致性与跨帧演化建模。实验表明,SimVA 能有效将 CLIP 迁移至视频动作识别任务,在零样本、少样本及基类到新颖类基准上均达到具有竞争力的性能。
本文正式定义并推动开放树状分解任务,提供包含超 2.1 万图像和 180 万个结构节点的 COCOTree 基准数据集。该工作通过结合大视觉语言模型的语义推理与 SAM 3 的几何定位,构建了全自动标注管线以克服人工瓶颈,支持超过 3500 个唯一标签的开放词汇空间并覆盖长尾复杂物理装配。
针对分离编码器统一多模态模型(UMMs)因密集处理视觉 Token 导致推理成本高的问题,本文提出 G$^2$TR 框架。该方法利用生成分支作为任务无关信号,识别对语义理解、潜在空间图像重建及编辑均重要的视觉 Token,通过平衡选择与冗余合并减少信息损失。
H2G 提出一种无需语义标签的双层三维场景分组方法,将二维基础模型线索转化为适合树状结构的洛伦兹双曲特征场。该方法通过 Dasgupta 目标蒸馏层级监督,在单一特征空间同时表示细粒度分配与粗粒度结构。代码已开源,预印本发布于 arXiv:2605.11967v2。
该方法提出利用线性、双线性或双三次信号插值技术,对 Stable-Diffusion-1.5 卷积层进行免训练缩放以生成超分辨率图像。实验显示在 ImageNet-1k 验证集上非 DDPM 架构性能下降约 7%,VGG-16 末层参数减少最多 9% 且损失仅增 5%。研究还探讨了将神经网络训练内存占用降低至 4 倍或更高的可行性。
OphEdit 是首个无需训练的文本引导眼科手术视频编辑框架,利用确定性二阶 ODE 反演管道在去噪阶段注入注意力张量以保留眼部解剖几何。临床评估显示,相比适配的通用领域视频编辑器,该框架在处理器械替换和程序变异时具备更优的结构保真度与时间一致性。代码与提示词可通过指定链接获取。
针对无接触指纹识别中因手指自由姿态导致的几何失真问题,该研究提出 IMPOSE 框架,利用潜在扩散模型生成卷曲指纹身份,并通过 Sauvola 局部自适应二值化引导跨模态翻译,结合三维手指模型纹理映射与投影实现物理驱动的多姿态模拟。
该研究提出了 CurEvo 框架,旨在解决现有视频理解自进化方法缺乏结构化指导的问题。框架维护能力感知的课程状态和累积训练池,通过多维问题生成提供互补监督(从可验证的结构化感知问题到类型条件的识别理解问题),并利用自适应评估机制独立筛选高质量问答对以更新课程。
推荐理由:提出课程引导自进化框架,通过多维问题生成与自适应评估实现无标注视频理解能力的自主提升。
RAIL-BENCH 是首个专为铁路自动化运营设计的感知基准套件,包含轨道检测、目标检测、植被分割、多目标跟踪和单目视觉里程计五大挑战及对应数据集与公开排行榜。论文重点介绍了 LineAP 指标,该指标通过解耦几何精度与实例分组并引入基于轨距的距离阈值,解决了现有线检测指标在铁路场景下的局限性。
HumanScore 提出评估生成视频中人体动作质量的系统框架,定义运动学合理性等六项可解释指标。该基准通过提示词激发多样化动作,对十三种最先进模型进行评测,揭示感知逼真度与生物力学保真度的差距并识别时序抖动等失效模式,产出基于物理意义的鲁棒排名。
AFINR 提出一种空间自适应频率调节框架,通过离散余弦变换参数化控制场解决自然信号频域内容随位置变化的问题。在 Kodak 和 DIV2K 数据集上,结合 CAFE+ 解码器的 AFINR-CAFE+ 版本平均提升 3.95 dB(Kodak)和 3.50 dB(DIV2K)。消融研究验证了该框架在傅里叶分量使用上的位置依赖性优势。
针对多模态大语言模型处理长视频时受限于上下文长度和计算成本的问题,本文提出一种基于信息论视角的证据驱动关键帧采样框架。该方法通过训练查询条件化的证据评分网络,利用标注的问答支持片段引导模型关注关键区域,并在 LVBench 等基准上显著优于均匀采样及现有策略。
JDCNet 利用仅在训练阶段可用的同患者 CT 数据,通过置信度门控机制辅助 ResNet-18 模型进行胸部 X 光分类。在 BIMCV-COVID19 公开数据集的预注册实验中,该方法使平衡准确率平均提升 0.020,最佳配置较监督基线提高 0.037(95% 置信区间 +0.016 至 +0.058)。然而模型在外部 X 光测试集上表现仅相当于随机猜测,表明跨域泛化仍需独立配对数据复现。
该研究引入三层诊断框架,对九千个模型样本对进行盲图测试,量化了感知性失明、语言捷径、视觉顺从和鲁棒拒绝四种行为模式。结果显示 Qwen3-VL 在盲图上拒绝率高达 93-98%,而 Pixtral-12B 仍有 72% 的顺从率;同代模型规模扩大反而增加了视觉顺从现象,但新一代 Qwen3-VL 几乎消除了该问题。
论文介绍了 FlatLands,这是一个用于评估单目视角室内地板图补全(metric BEV)的数据集和基准。该资源包含来自六个度量 3D 数据集的 270,575 个观测记录,涵盖对齐的观测、可见性、有效性及真值地图,并支持分布内与分布外协议。
EmbedTalk 提出一种利用高斯嵌入驱动面部形变的方法,用于实时说话头合成。该方法通过替换传统的三平面编码特征,有效解决了网格分辨率限制与投影近似误差问题。实验表明,EmbedTalk 在渲染质量、口型同步和运动一致性上优于现有基于 3DGS 的方法,且模型体积显著更小,可在 RTX 2060 6 GB 笔记本 GPU 上实现 60+ FPS 的推理速度。
论文分析指出预训练多模态大模型(MLLM)在零样本视频 - 文本检索任务中已具备显著能力,通过结合中间层嵌入与校准头即可实现强性能。作者提出一种无需成对多模态数据的轻量级文本优化策略,利用密集视频字幕作为语义代理、短摘要作为查询视图,证明精心设计的文本对齐目标能通过共享骨干网络提升多模态对齐效果。该方法在常见基准测试中超越现有方法并达到最先进水平,且计算成本低于依赖成对监督的训练方式。
推荐理由:提出无需成对视频数据的轻量文本优化策略,利用预训练多模态大模型中间层嵌入实现视频 - 文本检索 SOTA。
针对视频大语言模型在查询事件精确时间片段定位上的挑战,本文提出一种新的时序定位 Vid-LLM。该方法设计特殊<evt>token聚合多帧信息以保留语义连续性,引入 Savitzky-Golay 平滑抑制噪声并提升预测精度,同时聚合多粒度特征补偿压缩损失。实验表明该方法在主流基准上表现优异,尤其在单事件定位和边界完整性任务上改进显著。
针对现有文本到图像模型仅能处理显式颜色名称而难以理解情感等隐含概念的问题,作者提出了 ColorConceptBench 基准。该基准基于 6,584 条人工标注数据,系统评估了 1,281 个隐含颜色概念的关联能力。
论文提出了 Diffusion-DRF 框架,旨在解决视频扩散模型微调中依赖标量奖励导致的优化不稳定和奖励黑客问题。该方法利用冻结的预训练视觉语言模型作为评论器,将用户提示分解为多维度的自由形式 VQA 解释查询以获取丰富反馈,并通过直接可微分优化实现无需偏好数据集的稳定奖励基线调整。实验显示该框架在未见过的 VBench-2.0 基准上整体性能超越最先进方法 Flow-GRPO 4.74%。
推荐理由:该工作提出无需偏好数据集的差异化奖励框架,在视频扩散微调任务上实现稳定优化并超越现有基线。
针对红外与可见光图像融合在复杂低光环境下的评估瓶颈,本文提出 Weber-Inspired Local Contrast (WLC) 指标。该指标基于韦伯定律将评价范式从全局统计分布转向局部语义对比,利用红外先验有效分离目标显著性与背景噪声。实验表明 WLC 在 DroneVehicle 数据集上对热目标具有高分辨能力且计算高效,可作为智能无人机系统的可靠实时标准。
针对 Transformer 视频生成的二次计算复杂度瓶颈,研究提出 Compact Attention 框架。该方法发现不同注意力头在不同粗粒度查询 - 键区域存在功能专业化行为,据此构建可搜索、可复用的头特异性掩码,并提出变形双窗口稀疏模式机制及召回率驱动的离线自动搜索算法。
GAPL-SCD 框架提出多任务联合优化与自适应权重分配,利用图聚合原型模块构建高层特征交互图以对齐跨时间点类别。该方法在 SECOND 和 Landsat-SCD 数据集上实验验证,显著提升了复杂场景下的准确率与鲁棒性,达到遥感语义变化检测领域的最先进水平。
针对三维经食管超声心动图标注数据稀缺问题,研究提出保留标签的傅里叶域适应方法,利用 Chat-GPT、Google Gemini 和 Microsoft MAI 生成的无标注图像作为风格供体。实验基于 DeepMitral 模型在 MVSeg2023 数据集上验证,仅 MAI-FDA 相比真实数据基线显著提升广义 Dice 分数,证实生成式 AI 虽能提供风格多样性但非必然优于真实图像训练。
针对单像素成像中测量成本高且存在辐射剂量的问题,LIPS-PC 方法通过端到端学习照明模式并联合训练修正器与分类器,在无需重建目标的情况下直接输出类别标签。该方法在 MNIST、Fashion-MNIST 及 RIAWELC 数据集上评估显示,当采样数 M=8(占比低于 1%)时,其准确率比最佳固定变换高出 9-15 个百分点,且达到同等精度仅需约 2 至 4 倍的测量次数。
针对稀疏血管分割带来的几何模糊,该研究提出结合学习到的 3D 扩散先验、视觉包络初始化及投影数据一致性的重建框架。在 ImageCAS CT 衍生的模拟造影图像上,该方法在两至八视角下均优于视觉包络、深度图像先验等基线,八视角低对比度时 Dice 提升约 0.13。尽管临床验证尚需进行,但平均随机重建进一步提升了精度并定位了误差区域。
Pauli-Correlator Autoencoder (PCAE) 是一种将图像分块压缩为矩阵乘积态并利用小量子电路与经典神经网络重建的混合架构。该模型在 CIFAR-10 测试集上达到 25.8 至 41.6 dB 的信噪比,且无需重新训练即可在真实 IBM 量子计算机上运行,峰值信噪比为 25.90 至 31.52 dB。
DUNEDepth 提出一种混合架构,结合共享 DUNE ViT 编码器、双 MASt3R 交叉注意力解码器及融合 MASt3R 与 Reloc3r 的预测头,利用合成监督与自监督策略微调。实验表明,该方法在支气管镜视频序列上比先前提出的自监督方法更准确地推导深度信息与相机运动轨迹。该研究已接受 MICAD 2026 会议收录,共 10 页、4 幅图及 3 张表。
PLANTEUR 是面向法国海外领地卫星图像的作物类型映射基准,提供 Sentinel-2、Sentinel-1 和 Landsat-8 序列及地块标签。该基准涵盖六个热带区域与八类标签空间,支持标准测试集及留一岛协议以评估跨辖区泛化能力。代码与数据已在 GitHub 和 Hugging Face 开源,并评测了全监督模型、线性探针及微调基础模型。
针对受限于硬件分辨率和信号相关斑点的超声视频,作者提出 UltraDiff 方法,利用冻结预训练扩散模型作为插件先验,在无需配对数据或网络重训练的情况下实现超分与去噪。
推荐理由:提出无需配对数据或重训练的超声视频复原方法,结合斑点感知保真度与冻结扩散先验提升下游测量精度。
针对现有跟踪即传播(TBP)方法在检测与身份关联耦合下易漏检或关联失败的局限,本文提出 TAQ-MOTR 框架。该方法通过预解码器混合查询生成器融合图像特征、轨迹记忆与可学习记忆,使检测查询适应当前未跟踪目标的发现及被遮挡目标的补充证据需求;同时引入仅用于训练的辅助检测分支以增强监督。
推荐理由:提出跟踪感知检测查询生成框架,解决多目标跟踪中漏检与关联失败问题。
针对移动和航空 LiDAR 点云中导线稀疏、噪声及植被遮挡问题,提出一种结合密度聚类、多项式拟合与碎片合并的自动化重建方法。该方法经语义分类后无需模态特定调参即可处理两类数据。在航空数据集上实现 96.87% 精度与 0.127m 几何 RMSE;在缺乏导线级标注的移动数据集上,点云到模型 RMSE 为 0.045m,重建覆盖率达 95.27%。源代码、文档及评估数据已公开。
论文针对组合图像检索任务中多模态大模型成分化理解未被充分利用的问题,提出 Factorized MLLM Embeddings 方法。该方法通过中间目标想象目标模拟视觉修改意图,将组合查询理解与判别式嵌入构建解耦,并利用分解表示蒸馏至深层注意力层以传播特征。实验表明该方法在多个 CIR 基准上优于现有工作。
推荐理由:提出 Factorized MLLM Embeddings 方法,通过解耦组合查询理解与判别式嵌入构建,在 CIR 基准上优于现有工作。
该预印本论文分析了将自然图像先验迁移至医学影像扩散去噪器的效果。研究发现,在像素空间和潜在空间下,自然图像初始化均能显著提升生成质量(相对 gFID 提升 21-34%),且这种增益与下游病理分类和放射组学特征提取能力正相关。研究进一步揭示,迁移收益主要源于空间结构的共享而非语义信息,混合域训练表明自然与医学图像在深层网络表示上具有相似性。代码已开源。
推荐理由:研究证实自然图像初始化可提升医学扩散模型生成质量,并揭示空间结构是迁移生效的关键通道。
该论文介绍 PROVE(Perturb-and-Repair Optimization for Vision-Language Evaluation),这是一种无需外部强监督或人工标注的自博弈框架。系统通过扰动、验证、修复和再验证的闭环,利用同一多模态骨干网络的参数更新来训练验证器,从而提升细粒度组合理解能力和视觉细节鲁棒性。
推荐理由:提出自博弈框架 PROVE,通过扰动 - 修复闭环训练视觉语言验证器,提升细粒度组合理解能力。
针对光伏组件地图需要完整实例恢复和精确描绘的挑战,本文提出了 Multi-View PV Module Mapper (MV-PVMapper),这是一个无需训练的框架,耦合了视觉基础模型与无人机摄影测量。
推荐理由:该工作提出无需训练的框架,利用多视角无人机影像实现光伏组件的高保真映射与实例恢复。
研究利用地面激光扫描(TLS)点云对 25 个永久林地进行高斯分解,以连续方式量化灌木至树冠层的几何垂直连通性。多尺度分析显示,3-6 米单元在空间细节与交互模式表征间取得平衡,中位数皮尔逊相关系数介于 0.83 至 0.96。该方法克服了离散分类系统的局限,为提升梯级燃料刻画及野火风险评估决策提供支持。
针对现实世界图像中同类不同实例间的语义对应估计难题,本文提出利用 Galerkin 方法基于深度图像特征构建离散拉普拉斯 -贝尔特拉米算子以定义有意义的流形结构,并结合神经伴随映射表示非线性映射。该方法在多个稠密对应基准测试中达到了零样本图像匹配的新状态。代码已公开。
针对多模态离散扩散语言模型在迭代去噪过程中因过早依赖语言先验而产生幻觉的问题,本文提出了一种无需训练的推理策略 VIGOR。该方法通过对比原始图像条件化与视觉消融条件下的候选 token 置信度差异,优先处理受图像证据支持更强的位置,从而减少早期承诺对后续生成的偏差。
推荐理由:提出无需训练的推理策略 VIGOR,通过重排掩码位置顺序来缓解多模态离散扩散语言模型的幻觉问题。