UniMergeTrack:面向通用 RGB-X 视觉目标跟踪的分层模型合并方法
针对现有通用 RGB-X 跟踪器面临的知识隔离或优化干扰问题,本文提出 UniMergeTrack 新范式,通过分层模型合并保留任务特定优化并实现跨任务知识融合。
推荐理由:提出了 UniMergeTrack 分层模型合并范式,解决多模态跟踪中的知识隔离与优化干扰问题。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
针对现有通用 RGB-X 跟踪器面临的知识隔离或优化干扰问题,本文提出 UniMergeTrack 新范式,通过分层模型合并保留任务特定优化并实现跨任务知识融合。
推荐理由:提出了 UniMergeTrack 分层模型合并范式,解决多模态跟踪中的知识隔离与优化干扰问题。
世界动作模型(WAMs)继承了预训练视频生成模型的先验,但其变分自编码器(VAE)的视觉表征是为重建优化的而非操作。本文系统对比了多种视觉表征、五种融合机制及特征组合,发现强通用视觉表征能提供更广鲁棒性;通道级联合预测取得最高平均成功率;额外信息源需根据任务相关性选择。
推荐理由:系统对比了视觉表征与融合机制,提出 R^2-WAM 架构,在 RoboCasa GR1 Tabletop 任务上达到 84.7% 成功率。
针对自然图像预训练模型在医疗影像上迁移不可靠的问题,论文提出 FAD-ViT 架构,严格解耦空间与特征轴注意力,使特征轴注意力成为主要全局算子。实验显示,该设计在保持从头性能不变的同时,显著增强了跨域迁移能力,ImageNet 预训练带来的增益提升约三倍,且在参数更少、计算更低的情况下表现一致。
推荐理由:提出 FAD-ViT 架构,通过解耦空间与特征轴注意力机制,在医疗影像任务中实现显著更强的迁移效果。
作者引入 MVGraph 基准,用于评估大语言模型在多图推理任务上的表现,其中查询所需的证据分布在多个互相关联的视觉图视图中。该基准包含 8000 个实例,涵盖 8 种图论任务,源自部分图和时序快照两种多视图场景。
推荐理由:MVGraph 基准通过多视图图结构拆解了大模型的感知、对齐与组合能力,揭示了跨视图证据融合的瓶颈。
针对现有多模态图像融合方法在视觉与语义域存在优化鸿沟的问题,本文提出 W2F 新范式。该方法通过分割引导的融合损失增强对象感知结构指导,利用嵌入信息恢复先验提升退化条件下的可靠证据提供能力;引入交互式门控混合注意力与渐进耦合注意力模块确保局部全局场景表征;构建协作机制耦合视觉与语义融合任务,并通过特征搜索提取互补关键特征及梯度修正策略优化一致性。
推荐理由:提出 W2F 范式解决多模态图像融合中视觉与语义域的优化鸿沟,通过特征互补与信息交互机制提升感知能力。
针对查询需匹配由不同传感器构建的数据库这一场景,独立训练的编码器在特征空间引入不同的坐标系且缺乏统一参考系。该方法证明任意两系统间的相对变换是白化特征空间中保持空间的旋转,其角速度具有白噪声特性但协方差低秩,使得局部对齐可行。
推荐理由:提出无需训练的校准层,通过旋转子空间估计解决不同传感器或编码器间的跨模态对齐问题。
论文提出 TraceICL 框架(AVA),旨在解决交错多模态上下文学习中图像绑定错误、冗余示例干扰及噪声答案复制等问题。
推荐理由:该框架在冻结大模型上通过无梯度方法优化演示选择与一致性校准,平均提升最强基线 1.7 分。
10月8日,MIT韩松团队联合英伟达、香港大学和加州大学圣地亚哥分校发布了世界动作模型Long-WAM。该框架旨在满足实时控制要求的同时扩展因果世界动作模型的上下文长度,利用历史视觉信息辅助动作决策。
推荐理由:MIT韩松团队联合英伟达等发布的Long-WAM,通过分阶段预训练扩展了世界动作模型的视觉上下文长度,在保持实时响应的同时显著提升了复杂连续操作任务的成功率。
字节Seed团队研究发现,DeepSeek-V4系列模型在长上下文检索中表现出显著的“相位敏感性”,即同一条信息仅改变输入位置(Token站位),其检索准确率便会呈现与压缩步长一致的周期性波动。
推荐理由:字节Seed团队发现分块KV Cache压缩引入相位敏感性,导致模型检索能力随输入位置周期性波动,后训练与架构迭代可显著缓解该问题。
UNITAS 是首个将观测、动作和场景动力学统一在共享度量 3D 框架内的世界动作模型,使用 3D 点轨迹表示手部和夹爪动作,并以物理时间锚定 token。
推荐理由:UNITAS 提出首个原生 3D 的世界动作模型,统一观测、动作与场景动力学,在 RoboTwin 仿真与真实任务中均取得最优表现。
该论文针对因果视频扩散模型质量低于双向模型的问题,提出条件残差预测(CRP)方法,使模型仅利用过去无法提供的信息来补充当前输入。实验显示该方法在无需大尺寸教师或复杂蒸馏的情况下,将因果模型与双向模型的VBench差距从6.14分缩小至约0点。作者据此训练了2B参数的Optica模型,该模型可自回归生成5秒480p视频,在仅使用约1500万训练视频时达到82.78的VBench分数。
推荐理由:提出无需双向教师模型的残差预测方法,在仅用约1500万训练视频时将因果模型VBench分数提升至82.78。
该论文介绍了 TopoGPU,这是一种用于计算二维和三维图像诱导的立方体复形持久图的 GPU 流式处理管道。该方法采用分层感知离散 Morse 匹配及并行算法,在各项基准测试中平均端到端速度提升 53.24 倍,最高达 198.01 倍,并优于当前最先进方法 Cubical Ripser。
推荐理由:TopoGPU 提供 GPU 加速的持续同调计算工具,显著降低深度学习网络训练中的拓扑分析成本。
论文 GHARP 提出一种从少量输入图像和驱动表情信号生成实时 3D 人头的动画方法。该方法将任务分解为离线构建身份表示和运行时预测残差两个阶段,在预训练重建模型的语义潜空间中进行操作,实现了高保真与低算力的平衡。
推荐理由:该方法在 ACCV 2026 被接收,提出两阶段架构实现实时头部动画,并通过身体对齐网络解决全身模糊问题。
针对机器人学习中利用视点或背景等无关特征进行捷径学习的普遍问题,本文提出任务清洗方法。该方法基于域对抗训练,无需策略 rollout 即可通过动作边距指标评估不同视觉语言模型骨干对视觉捷径的易感性,并有效降低其对视觉捷径的依赖以提升分布外鲁棒性。
推荐理由:提出任务清洗方法,通过域对抗训练降低 VLA 对视觉捷径的依赖并提升泛化能力。
该论文提出 SAVER 框架,挑战了“更多时间观测即更可靠”的假设,主张在有限证据下学习可靠推理。SAVER 采用从稠密到稀疏的后训练策略,利用稠密视图作为训练时的参考来优化稀疏帧推理,结合定位奖励和可靠性门控参考奖励。
推荐理由:SAVER 框架通过强化学习利用稠密视频作为参考,在仅用少量帧的情况下实现可靠的稀疏推理,且无需问答标注。
针对视觉语言推理中感知与推理能力混淆的问题,本文提出 SPLIT-RL 分阶段后训练框架,将视觉推理与语言推理拆解为独立优化阶段并引入主张级优势计算。在 Qwen3-VL 和 InternVL3.5 等模型上,该方法相比标准 GRPO 平均提升准确率 1.4 至 6.1 个百分点,且能同时改善感知与推理能力。
推荐理由:提出分阶段训练策略,通过原子级视觉主张优化感知与推理能力。
论文介绍 OmniHOI 流程,旨在从单目 RGB 视频中重建手物交互的忠实轨迹并迁移至灵巧机械手。该方法在各阶段利用图像证据、接触几何和动力学约束物理一致性,直接优化对应表示以修正误差。
推荐理由:该工作提出 OmniHOI 流程,利用单目视频重建手物交互轨迹并转移至多自由度机械手,在仿真与真实机器人上均优于现有方法。
论文介绍 NavGPT-3,这是一个连接高层语言模型推理与底层物理控制策略的运行时系统。其核心包含基于长视界强化学习的语言模型(NavGPT VLA)和 OS 类调度器,支持线程化运行、工具调用及中断切换以应对突发环境变化。
推荐理由:该工作提出 NavGPT-3 运行时架构,通过分层调度连接语言推理与低延迟动作策略,首次实现自主体在导航任务中达到人类水平表现。
论文提出 SLVR 框架,旨在解决多模态大模型过度依赖语言先验的问题。该方法将显式思维链与潜变量推理结合,通过掩码答案文本并对比视觉干扰项进行训练,随后对规划、定位、证据选择和整合四个阶段分别施加监督信号。基于 Qwen2.5-VL-7B 的 SLVR 在 MMVP 和 BLINK Relation 等基准上取得显著提升,证明了结构化潜变量监督能在避免推理开销的同时增强细粒度视觉推理能力。
推荐理由:提出 SLVR 框架,通过结构化潜变量监督实现规划、定位与证据选择分离,在 Qwen2.5-VL-7B 上提升多模态推理基准表现。
InstantFusion 是一种轻量级共享潜在接口,旨在连接不同图像生成器的去噪轨迹。该方法引入模型特定的潜在自编码器(LAEs),将中间状态投影到共享潜在空间并解码至目标生成器空间,通过对齐同图匹配噪声水平的中间状态及同步局部去噪速度来约束该空间。
推荐理由:提出轻量级共享潜在接口,实现异构图像生成器间的去噪轨迹无缝切换与跨架构蒸馏。