多模态学习中的缺失模态鲁棒性:一种几何视角与参数编辑方法
论文系统揭示了全模态训练的多模态模型在推理时缺失某一模态反而表现不如单模态模型的异常现象,并将其归因于主参数子空间的结构化旋转。作者提出 Geodesic Unlearning 方法,利用测地线路径将输入子空间向单模态参考修正,在保持全模态精度的同时显著提升了缺失模态下的鲁棒性。
推荐理由:提出基于黎曼几何的参数编辑方法,通过修正主参数子空间结构来解决多模态模型在缺失模态时的性能退化问题。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
论文系统揭示了全模态训练的多模态模型在推理时缺失某一模态反而表现不如单模态模型的异常现象,并将其归因于主参数子空间的结构化旋转。作者提出 Geodesic Unlearning 方法,利用测地线路径将输入子空间向单模态参考修正,在保持全模态精度的同时显著提升了缺失模态下的鲁棒性。
推荐理由:提出基于黎曼几何的参数编辑方法,通过修正主参数子空间结构来解决多模态模型在缺失模态时的性能退化问题。
论文提出了 RAGrasp 框架,利用部署相机、机器人和夹爪采集的本地 RGB-D 模板构建记忆库,无需端到端重训练即可适应局部感知条件。系统结合自监督 DINOv2 特征与 SAM2 分割模型定位物体,通过两阶段检索选择模板并迁移抓取策略,经掩码支撑与轮廓接触约束优化后完成 2D-3D 转换。
推荐理由:该工作提出基于本地模板检索的抓取迁移框架,在有限标注下实现平面平行夹爪对已知与未知物体的高成功率抓取。
该论文提出了一种基于双过程理论的自动驾驶规划新架构,旨在解决神经网络在处理未见过的长尾情况时的不足。系统结合了用于常规任务的直觉学习规划与用于陌生情境的推理模型预测控制,并通过元认知组件和知识图根据感知信息与交通规则动态切换策略。研究在 CARLA 仿真环境中测试了该框架应对闯红灯等分布外场景的效果,结果显示其相比纯神经网络规划器将碰撞数量减少了 89%,并提升了特殊路权规则的遵守率。
推荐理由:该工作提出结合直觉规划与推理规划的混合框架,在 CARLA 仿真中针对闯红灯等长尾场景将碰撞数降低 89%。
论文提出利用工业级匹配引擎解决平衡离散最优传输问题,证明在中等规模(n=500 至 8000)下,Jonker-Volgenant 算法比熵正则化 Sinkhorn 及其加速变体 Greenkhorn 更快且精度更高。
推荐理由:原文通过实验对比证明,在中等规模离散任务中精确匹配算法比近似方法更快且更准,并给出了多机器人分配场景下的额外成本数据。
针对冻结视觉语言动作策略中演示视频难以适配智能体上下文的难题,本文提出无需训练的递归视频上下文学习方法。该方法将任务演示转化为由抓取、释放等子事件构成的层级结构,智能体在规划时读取粗粒度层级,执行时按需加载细粒度片段。实验显示,基于 RPent 框架应用此方法后,LIBERO-PRO 成功率从 92.6% 提升至 96.5%,LIBERO-Plus 从 86.7% 提升至 95.8%。
推荐理由:提出无需训练的递归视频上下文学习方法,将任务演示转化为层级结构,在 LIBERO-PRO 和 LIBERO-Plus 基准上分别提升成功率至 96.5% 和 95.8%。
论文提出 TAPDreamer 攻击框架,利用公开编码器构建固定局部扰动以攻击世界动作模型,无需访问目标策略输出。实验显示,在闭环评估中,单个冻结补丁覆盖约 6.5% 输入即可将 FastWAM 在 LIBERO 基准上的成功率从 97.7% 降至 0.0%,并显著降低 DreamWAM 和 Motus 模型的成功率,表明保护下游动作生成不足以防御此类攻击。
推荐理由:提出 TAPDreamer 攻击方法,证明仅保护下游动作生成不足,需同时防御针对共享视觉编码器的持久局部扰动。
该论文针对视频和高分辨率 3D 资产生成任务中稀疏注意力方法导致质量下降的问题,通过受控对比分析将其归因于令牌分组约束、交互选择不准及丢弃令牌导致的贡献丢失。作者提出 Meta-Cached Sparse Attention (MC-Sparse) 框架,在无需训练的情况下选择单个 KV 令牌并将相似查询组织为与瓦片对齐的组以适配 GPU 执行。
推荐理由:原文通过受控对比分析稀疏注意力导致质量下降的三大根源,提出无需训练的 Meta-Cached Sparse Attention 框架。
针对长视频理解中跨时间跨度信息检索的需求,本文提出了 VideoTapestry 这一无需训练的框架。该框架通过粗到细的层级构建预构造记忆,并分配专用智能体进行查询驱动的精细化定位与观察,最终组装出紧凑且保留细节的复合记忆。在 LVBench、LongVideoBench (Long)、Video-MME (Long) 和 EgoSchema 等基准上,相比直接推理实现了显著的绝对精度提升。
推荐理由:提出无需训练的查询自适应记忆框架,在长视频理解基准上实现绝对精度提升。
针对现有说话头生成方法忽视用户特定说话习惯的问题,本文提出 TalkLikeYou 框架,在运动空间建模习惯并通过流匹配实现推理一步的实时性能。该方法采用两阶段模仿学习策略,支持通过预设风格或参考视频指定目标习惯,并引入 PLAD 新指标量化口型动作的模仿精度与生成多样性。实验表明其能显著提升个性化表达效果,代码已开源。
推荐理由:提出 TalkLikeYou 框架,通过流匹配实现实时口型生成并引入 PLAD 指标评估个性化说话习惯的模仿效果。
针对前馈视觉几何 Transformer 在长序列重建中存在的累积漂移问题,论文提出 VGGT-Bridge 方法,通过引入非相邻块间的直接约束和反向帧修正策略来优化位姿图。该方法在 KITTI、Virtual KITTI 和 Waymo Open 数据集上显著降低了绝对轨迹误差(ATE),优于现有分块对齐方法的基线。该工作已接受发表于 ACCV 2026,属于预印本状态。
推荐理由:提出 VGGT-Bridge,通过粗粒度跳变边和反向帧修正解决长序列累积漂移问题。
论文介绍 Keepsake,一种无需训练、在线运行的固定容量空间记忆控制器。该方法针对长视界相机控制视频生成中场景一致性的维持问题,提出观测价值取决于内存库中替代方案数量的新视角。
推荐理由:提出 Keepsake 控制器,通过构建姿态 - 外观图动态评估观测值,在固定内存预算下显著降低长视频生成的 FVD 指标。
针对早产儿无标记姿态估计中人工标注易含误差的问题,本文提出基于小损失假设和训练动态的噪声标注检测框架。该框架利用混合卷积注意力模型预测关键点类别,通过交叉熵训练动态生成描述符并聚类划分干净与噪声子集。在包含65名住院早产儿的NeoPose数据集及COCO基准上的实验表明,该方法在多种噪声场景下对噪声关键点的检出F1分数最高达91.9%,且过滤噪声标注后下游姿态估计精度提升显著。
推荐理由:提出基于训练动态的噪声标注检测框架,在新生儿姿态估计数据集上实现最高91.9%检出率,并验证了其对下游任务精度的提升。
针对 AI 生成视频检测挑战,论文提出 MTOR 模型,结合全局视觉与文本表征的多模态分支及时间过度规律组件。实验在五个基准上覆盖 46 种生成器变体,性能优于 16 个基线,并对 12 种真实扰动具有鲁棒性。代码与模型将在发布时开放。
推荐理由:提出 MTOR 模型,融合多模态语义与时间过度规律特征,在五个基准上对 46 种生成器变体均达到最优性能。
Sungwoo Kang 发现整合环境传感器数据提升作物病害分类准确性的报告多为数据集构建伪影。通过分析两个韩国常用数据集,证明单一会话共享的传感器读数导致多模态网络仅凭记忆会话身份即可预测病害,91.9% 的测试集图像在训练集中存在精确传感器重复。
推荐理由:该研究揭示作物病害数据集存在严重的传感器数据泄露,建议采用会话隔离划分和纯时间基准以验证真实泛化能力。
作者引入 BabelFake 基准,包含来自 496 名参与者的 39.9 万段视频(1,323 小时),覆盖五种语言。该基准采用模块化生成管线,将 11 种现代视频操纵方法与 4 种语音克隆引擎配对,区分纯视觉与音视频联合操纵。评测显示检测难度取决于生成配对组合,且真实音频保留会导致性能显著下降;跨语言和人群评估揭示了不同架构的敏感性差异,而人类感知真实性与机器检测难度并不一致。
推荐理由:该基准涵盖五种语言及现代音视频合成管线,揭示了检测难度对生成配对的依赖性与跨人群敏感性。
DexForge 是一个基于可微物理的框架,用于将人类视频演示转化为高保真的机器人轨迹。该方法重建球状高斯物体模型和手 - 对象运动,构建结合高效高斯碰撞检测的可微仿真器,并融合接触感知的运动学重定向与力感知的动力学重定向以精确复现物理运动。
推荐理由:提出基于可微物理的框架,将人类演示转化为高保真机器人轨迹,在七种灵巧手实验中将成功率提升约 35-53 个百分点。
CLIP 类视觉语言模型在定向空间关系(如物体左右位置)上的评分接近随机水平,这种现象被称为‘读出盲视’。论文分析指出,当评分规则对主体和客体对称处理时,方向信息会被抵消。
推荐理由:论文提出无需额外训练的 ADR 方法,从冻结编码器中恢复被评分规则掩盖的空间方向信息。
该论文针对 Vision-Language-Action(VLA)策略在引入密集辅助信号时易损害指令遵循的问题,提出了一种受控接入方案。研究通过停止梯度保护主干网络,并对比了不同的注入拓扑结构与桥接初始化方式,发现主动初始化的残差桥接结构能以极小参数开销达到最优性能。实验表明,仅将真值作为输入会干扰模型,而推理时零化操作显示该桥接主要起训练正则化作用,激活后则承担负载。
推荐理由:本文通过受控实验揭示了在 VLA 策略中接入辅助信号的关键工程细节,指出初始化方式对性能的主导作用及主动桥接机制的必要性。
论文 VLA-ZO 针对大模型部署时的显存限制,提出一种仅作用于动作侧的零阶优化框架,在保持视觉语言前缀冻结的同时大幅降低适应时间并提升任务成功率。实验显示,该方法将端到端适应时间减少了约 25.6 倍至 32.5 倍,同时将 LIBERO 基准上的平均任务成功率从 48.27% 提升至 63.58%,为资源受限环境下的 VLA 模型自适应提供了新路径。
推荐理由:针对大模型部署时的显存限制,提出一种仅作用于动作侧的零阶优化框架,在保持视觉语言前缀冻结的同时大幅降低适应时间并提升任务成功率。
论文介绍 CentriQ,这是一种针对扩散 Transformer(DiT)的免校准量化技术。该方法通过在旋转前对每个 token 进行中心化处理,并利用秩 -1 全精度分支恢复均值,从而在无需数据的情况下确定量化范围。
推荐理由:提出一种无需校准的扩散 Transformer 量化方法,在低比特下保持生成质量并优于现有无校准方案。