Omni-Encoder:基于共享 SigLIP2 的多模态编码器研究
论文介绍 Omni-Encoder,这是一种将图像、视频、音频和音视频输入统一处理于单个 SigLIP-2 Vision Transformer 中的通用多模态编码器。
推荐理由:该工作提出 Omni-Encoder,通过共享参数与联合优化实现图像、视频、音频及音视频的统一编码,在 16 个基准测试中表现优异。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
论文介绍 Omni-Encoder,这是一种将图像、视频、音频和音视频输入统一处理于单个 SigLIP-2 Vision Transformer 中的通用多模态编码器。
推荐理由:该工作提出 Omni-Encoder,通过共享参数与联合优化实现图像、视频、音频及音视频的统一编码,在 16 个基准测试中表现优异。
针对现有统一多模态数据集缺乏多轮状态跟踪的问题,作者发布了 YANAMI-400K 数据集和 YANAMI-Bench 评测基准。YANAMI-400K 包含 40 万条多轮对话及超 200 万张图片,覆盖图像融合、编辑、世界建模与视觉推理等场景;YANAMI-Bench 则通过 400 个案例联合评估状态理解与视觉实现能力。
推荐理由:YANAMI 数据集填补了多轮状态交互评测空白,实验显示微调 BAGEL 模型在图像编辑与生成任务上性能提升显著。
本文提出一种名为 Accessibility Field 的方法,利用流式稀疏 LiDAR 数据实时更新每一点的表面物理可达性标签。该方法通过 GPU 评估预计算的工具体积核与不同接近姿态下的碰撞情况,无需先验场景模型即可在工作站和 Jetson Orin 边缘设备上实时运行。
推荐理由:提出基于稀疏 LiDAR 的实时表面可达性场方法,在合成基准上 F1 达 90.8%,能区分可见但不可触及的表面。
该论文首次系统揭示了视听大模型(AVLLMs)内部音频和视觉信号如何影响最终预测的路径机制。研究发现,在音视频输入配置下,模型遵循既有的顺序信息流路径;而在多重交错输入设置下,路由会转向不同的并行流。
推荐理由:首次揭示视听大模型内部信息流路径,证实丢弃已传递的视听 token 可提升推理效率。
CleanVideo 是一种选择性擦除框架,旨在从预训练生成模型中消除不需要的视觉语义而不损害其通用效用。针对目标概念在帧和去噪步骤间逐渐出现且变化的特点,该框架利用三模态门控机制处理时空特征、时间步信号和文本语义,决定干预的位置、时机及是否执行,引导擦除内容向自然替代概念过渡并保留非目标内容。
推荐理由:提出 CleanVideo 框架,通过三模态门控机制在视频扩散模型中实现概念擦除,保持时空连贯性。
针对机器人领域缺乏高精度参考轨迹且现有评估工具依赖未公开假设的问题,本文提出一种标准化的轨迹评估协议。该方法结合基于曲率信号的新型时间对齐技术与按行进距离归一化的误差指标,显式量化了时间同步、采样对齐及外参校准的影响,旨在提升状态估计与 SLAM 评估的严谨性与可复现性。
推荐理由:提出基于曲率信号的时间对齐与归一化误差指标,解决状态估计评估中假设不明导致的误导问题。
该研究引入行为测试电池,基于四项格式塔分组任务(标记颜色异类、颜色序列计数、轮廓识别、物体异类)对人类感知数据进行评分。作者对 45 个模型进行了评估,发现封闭基座模型在人类对齐度上显著低于其基准准确率所暗示的水平。该工作为可视化研究提供了无需新用户研究的复用标尺,用于审计进入流程的视觉模型是否按人类观众的方式组织视觉内容。
推荐理由:提出行为测试电池,用人类感知数据评估视觉模型在格式塔分组任务上的对齐度。
这篇综述通过结构化叙事综合和可复现的证据映射,定义了医疗世界模型的概念边界与技术基础。研究筛选了 1455 条记录并汇编了 300 个来源,其中 14 项符合严格的实证定义。文章区分了患者状态表征、时间动态建模等四大能力,指出当前证据多处于回顾性或临床前阶段,并提出了从轨迹预测到干预比较所需的精确干预表示与因果机制等具体证据要求。
推荐理由:该综述梳理了医疗领域世界模型的四大能力与临床转化证据要求,区分技术可行性与临床成熟度,为相关团队提供评估框架。
本文论证在自监督学习中保留而非丢弃投影层是必要的,并提出用径向基函数网络(RBFN)替代标准多层感知机(MLP)。作者引入 Scale-Normalized Separation (SNS) 指标,利用训练得到的核中心与形状参数在无标签情况下评估骨干网络表示质量。
推荐理由:提出用可解释的 RBFN 替换 SSL 中的 MLP 投影头,并给出无标签质量评估指标 SNS。
该研究提出了 CurEvo 框架,旨在解决现有视频理解自进化方法缺乏结构化指导的问题。框架维护能力感知的课程状态和累积训练池,通过多维问题生成提供互补监督(从可验证的结构化感知问题到类型条件的识别理解问题),并利用自适应评估机制独立筛选高质量问答对以更新课程。
推荐理由:提出课程引导自进化框架,通过多维问题生成与自适应评估实现无标注视频理解能力的自主提升。
论文分析指出预训练多模态大模型(MLLM)在零样本视频 - 文本检索任务中已具备显著能力,通过结合中间层嵌入与校准头即可实现强性能。作者提出一种无需成对多模态数据的轻量级文本优化策略,利用密集视频字幕作为语义代理、短摘要作为查询视图,证明精心设计的文本对齐目标能通过共享骨干网络提升多模态对齐效果。该方法在常见基准测试中超越现有方法并达到最先进水平,且计算成本低于依赖成对监督的训练方式。
推荐理由:提出无需成对视频数据的轻量文本优化策略,利用预训练多模态大模型中间层嵌入实现视频 - 文本检索 SOTA。
论文提出了 Diffusion-DRF 框架,旨在解决视频扩散模型微调中依赖标量奖励导致的优化不稳定和奖励黑客问题。该方法利用冻结的预训练视觉语言模型作为评论器,将用户提示分解为多维度的自由形式 VQA 解释查询以获取丰富反馈,并通过直接可微分优化实现无需偏好数据集的稳定奖励基线调整。实验显示该框架在未见过的 VBench-2.0 基准上整体性能超越最先进方法 Flow-GRPO 4.74%。
推荐理由:该工作提出无需偏好数据集的差异化奖励框架,在视频扩散微调任务上实现稳定优化并超越现有基线。
针对受限于硬件分辨率和信号相关斑点的超声视频,作者提出 UltraDiff 方法,利用冻结预训练扩散模型作为插件先验,在无需配对数据或网络重训练的情况下实现超分与去噪。
推荐理由:提出无需配对数据或重训练的超声视频复原方法,结合斑点感知保真度与冻结扩散先验提升下游测量精度。
针对现有跟踪即传播(TBP)方法在检测与身份关联耦合下易漏检或关联失败的局限,本文提出 TAQ-MOTR 框架。该方法通过预解码器混合查询生成器融合图像特征、轨迹记忆与可学习记忆,使检测查询适应当前未跟踪目标的发现及被遮挡目标的补充证据需求;同时引入仅用于训练的辅助检测分支以增强监督。
推荐理由:提出跟踪感知检测查询生成框架,解决多目标跟踪中漏检与关联失败问题。
论文针对组合图像检索任务中多模态大模型成分化理解未被充分利用的问题,提出 Factorized MLLM Embeddings 方法。该方法通过中间目标想象目标模拟视觉修改意图,将组合查询理解与判别式嵌入构建解耦,并利用分解表示蒸馏至深层注意力层以传播特征。实验表明该方法在多个 CIR 基准上优于现有工作。
推荐理由:提出 Factorized MLLM Embeddings 方法,通过解耦组合查询理解与判别式嵌入构建,在 CIR 基准上优于现有工作。
该预印本论文分析了将自然图像先验迁移至医学影像扩散去噪器的效果。研究发现,在像素空间和潜在空间下,自然图像初始化均能显著提升生成质量(相对 gFID 提升 21-34%),且这种增益与下游病理分类和放射组学特征提取能力正相关。研究进一步揭示,迁移收益主要源于空间结构的共享而非语义信息,混合域训练表明自然与医学图像在深层网络表示上具有相似性。代码已开源。
推荐理由:研究证实自然图像初始化可提升医学扩散模型生成质量,并揭示空间结构是迁移生效的关键通道。
该论文介绍 PROVE(Perturb-and-Repair Optimization for Vision-Language Evaluation),这是一种无需外部强监督或人工标注的自博弈框架。系统通过扰动、验证、修复和再验证的闭环,利用同一多模态骨干网络的参数更新来训练验证器,从而提升细粒度组合理解能力和视觉细节鲁棒性。
推荐理由:提出自博弈框架 PROVE,通过扰动 - 修复闭环训练视觉语言验证器,提升细粒度组合理解能力。
针对光伏组件地图需要完整实例恢复和精确描绘的挑战,本文提出了 Multi-View PV Module Mapper (MV-PVMapper),这是一个无需训练的框架,耦合了视觉基础模型与无人机摄影测量。
推荐理由:该工作提出无需训练的框架,利用多视角无人机影像实现光伏组件的高保真映射与实例恢复。
该研究针对重复机器人监测中环境变化导致视觉内容减少或结构重复的问题,提出一种结合稀疏可靠绝对姿态约束与会内相对姿态信息的配准方法。通过视觉地物识别、局部特征匹配及几何验证估计对齐假设,利用序列共识保留一致的姿态作为绝对锚点,再经高斯特征场优化与稳健位姿图优化完成完整轨迹注册。
推荐理由:论文提出稀疏锚点方法,在环境变化下实现跨会话轨迹注册,在 HILTI26 数据集上优于独立定位与 SfM 直接配准。
针对多模态离散扩散语言模型在迭代去噪过程中因过早依赖语言先验而产生幻觉的问题,本文提出了一种无需训练的推理策略 VIGOR。该方法通过对比原始图像条件化与视觉消融条件下的候选 token 置信度差异,优先处理受图像证据支持更强的位置,从而减少早期承诺对后续生成的偏差。
推荐理由:提出无需训练的推理策略 VIGOR,通过重排掩码位置顺序来缓解多模态离散扩散语言模型的幻觉问题。