多模态概念瓶颈模型:兼顾可解释性与开放词汇性能
针对传统概念瓶颈模型灵活性不足的问题,本文提出 Multimodal Concept Bottleneck Model (MM-CBM),通过双概念瓶颈层将图像和文本嵌入对齐到可解释特征。
推荐理由:提出将概念瓶颈模型扩展至 CLIP 结构的双层设计,在保持可解释性的同时实现零样本分类与检索任务。
针对传统概念瓶颈模型灵活性不足的问题,本文提出 Multimodal Concept Bottleneck Model (MM-CBM),通过双概念瓶颈层将图像和文本嵌入对齐到可解释特征。
推荐理由:提出将概念瓶颈模型扩展至 CLIP 结构的双层设计,在保持可解释性的同时实现零样本分类与检索任务。
EffiNav 通过融合深度信息与视觉语言实现高效物体目标导航,在 Habitat Matterport 3D 和 OVON 仿真基准及真实机器人场景中表现优异。该模型在成功率(SR)和路径加权成功率(SPL)两项指标上匹配或超越近期基线,有效解决了探索效率与泛化性问题。作者因机构署名错误已撤回论文,计划数月后重新提交修正版本。
论文提出了 SelFix 方法,解决扩散模型反演中多解选择问题。该方法通过最大化逆轨迹的直线性来选择固定点解,在保留收敛性的同时提升重建与编辑质量。实验显示,SelFix 在 FLUX.1-dev 和 PIE-Bench 上优于现有基线,实现了更优的真实图像重建和源保持提示词编辑效果。代码已开源。
SierpinskiCam 通过引入辛普森圆顶纹理线索与参考视频条件化机制,解决了现有几何引导在目标相机偏离源轨迹时出现的新区域缺失问题。该方法无需架构修改或逐视频适配,即在保持外观配准的同时实现了显著的相机可控性与几何一致性提升。实验表明其在多样且具挑战性的重拍场景中均取得了优于基线的性能表现。
该研究通过受控实验揭示 CLIP 测试时自适应(TTA)的驱动机制,提出开源基准 TTABC 整合超 20 种方法并标准化评估协议。分析表明适应增益主要源于测试时证据与可靠代理而非重度优化,且不存在适用于所有分布偏移的万能范式。项目页面已公开,论文被 NeurIPS 2026 E&D Track 接收。
针对扩散 Transformer(DiT)在图像编辑中延迟高的问题,本文提出 HiLo-Token 框架。该方法根据用户掩码区域分配更多 Token 以保留细节与上下文,对非编辑区则利用空间频率策略仅用高频 Token 捕捉局部特征、低频 Token 表征全局结构。
针对现有视觉 - 触觉学习依赖物体级对齐的局限,该研究构建了包含 505 个真实物体和 20,025 次触觉接触的 Touch3D 数据集,并建立了接触中心多模态触觉表示基准(CoMT-Bench)。
Next Forcing 是一种针对世界动作模型(WAM)的多块预测(MCP)框架,旨在解决自回归视频生成训练慢、收敛精度低及推理迭代耗时的难题。该方法引入轻量级辅助模块,同时去噪多个未来时间步的视频块,利用中间特征融合实现因果链式预测,为模型提供密集多尺度时序监督。
针对大规模无标签视频与有限真实交互数据训练潜在策略时,现有行为克隆方法易导致多模态动作分布坍缩的问题,本文提出 Latent Action Flow Policy(LAFP)。
推荐理由:提出利用流匹配保持潜在动作结构的方法,在模仿学习任务中平均成功率提升 8.2%。
针对手持或可穿戴设备中力觉与触觉融合受限于成本、尺寸及机械兼容性的问题,作者提出了 AetheRock 臂戴装置,集成改进的低成本 GelSlim-Mini 指尖传感器与指腹电阻压力传感器。
论文介绍 CSFlow,一种连接人眼对比敏感度函数与流匹配迭代去噪步骤的加权方案。由于真实图像信号集中在低频分量,这些分量在连续扩散过程中比高频分量更早达到高信噪比,从而在傅里叶空间形成软自回归结构;同时人眼对极低和极高频率需要更高对比度才能感知。
推荐理由:提出将人眼对比敏感度函数与流匹配去噪步对齐的加权方案,实验显示在仅推理微调下即可显著降低 FID 并提升生成质量。
该综述填补了面部表情识别(FER)领域缺乏系统性整体回顾的空白,将其置于更广泛的面部情感识别(FAR)范畴下。文章按任务、输入模态等七个维度构建分类学,对比分析了从手工特征到基础模型架构的演进及各类方法在真实场景下的优劣。研究还整理了公开数据集标注方案与基准测试性能指标,并讨论了当前挑战及未来研究方向。
该论文提出 FINO 方法,通过结合自监督目标与灵活的元数据引导,实现无标签的视觉基础模型弱监督微调。实验涵盖亚细胞荧光显微镜、地球观测、野生动物监测和医学成像等领域,结果显示该方法在保留信息因子的同时抑制虚假因子,性能优于匹配的自监督和全监督基线,并在部分领域超越专用系统。代码已开源。
SENTINEL 是一个无需训练或标注的可靠性评估框架,通过结合几何扫描统计与 RGB-D 相机深度一致性,为仅含距离信息的 LiDAR 生成每帧可靠性评分。当评分低于阈值时,系统自动丢弃受玻璃、镜面等干扰的脏数据并回退至轮速计,防止 SLAM 静默损坏。
论文提出 CADENCE 方法,针对工业仓储和共享工作空间中的机器人团队运动规划评估问题,指出标准指标如总成本(SoC)无法完全反映真实执行性能。研究在固定 7x7 工位上部署了七台差速驱动机器人,生成了涵盖空载、随机及瓶颈场景的 480 次硬件实验数据。
论文提出了 MineXplore,这是一个基于 MuJoCo 的开源导航基准,数据源自智利铜矿实地测绘。环境重构了 104,423 平方米的隧道网络,包含八边形截面、LiDAR 来源的锯齿状几何、三种地形摩擦区及周期性照明。
推荐理由:该基准提供基于真实矿场几何的地下导航环境,支持 GPU 加速学习流程,并验证了策略在 GNSS 拒止条件下的稳定性。
针对放射学中图像 - 报告配对存在的全局监督与局部病灶不匹配问题,该研究提出 GLINT 框架,通过稀疏门控对齐和密集特征正则化,在无需掩码监督的情况下实现了 3D CT 的零样本分割。该方法同时支持 2D CXR 和 3D CT,在分类、报告生成及分割任务上均优于自监督编码器和医疗视觉语言模型。代码已开源。
KITScenes 多模态数据集发布,包含高分辨率全局快门相机、400 米外长距激光雷达、4D 成像雷达及冗余 GNSS/INS。其 HD 地图据称最完整,首次将交通信号灯等元素以三维拓扑连接形式映射至重投影精度水平。
推荐理由:KITScenes 数据集发布高保真多模态数据与 HD 地图,填补了地理多样性与长距雷达空白。
针对长视界视频生成中的几何一致性难题,本文提出了基于深度图的记忆检索框架 CovRAG。该方法利用预训练 3D 先验构建目标视图覆盖图作为轻量级证据,并通过最大化残差覆盖增益迭代选择能解释未被时序上下文或先前记忆覆盖区域的帧。
针对 AI 生成图像检测器在真实数据上性能下降的问题,本文提出 BIAS-ID 透明化框架用于分析和量化检测器中的变换偏差。研究区分了偏差与鲁棒性缺失,并通过六个检测器和两个数据集的评估发现,部分最先进方法受常见处理相关偏见影响显著。作者提供了易于使用的库和代码以复现结果。
推荐理由:提出 BIAS-ID 框架以量化检测器中的变换偏差,揭示现有方法受数据处理偏见影响严重。
OmniMem 提出了一种针对自回归长视频生成的显式全范围稀疏 KV 缓存检索框架,有效解决了局部偏差与内存爆炸问题。实验显示该方法将动态度提升 52.3%,在保持强基线一致性的同时维持了相当的内存占用。该工作包含 31 页论文、13 张图表及 arXiv 预印本代码,属于计算机视觉领域的长视频生成研究。
arXiv 论文介绍 RoboWits 双手动机器人基准,旨在系统评估认知推理、创造性工具使用及应对意外条件的鲁棒性。作者提出多智能体协作框架自动生成种子任务并引入几何、材料等维度的突变。实验显示预训练 VLA 微调后在种子任务表现尚可,但在突变任务中显著失效;基于 GPT-6 Astra 的零样本策略虽优于所有微调模型,仍损失约五分之一成功率,表明仅靠更强基础模型无法解决鲁棒性差距。
论文提出 S2MDF 模块,旨在解决组合隐式表面表示中多个符号距离场(SDF)产生几何互穿、违反物理合理性的问题。该方法对向量值 SDF 施加硬约束,无需修改架构即可在训练或后处理阶段应用,计算开销极低且兼容标准网格化算法。实验表明,S2MDF 能将交叠减少至数值精度水平,同时保持重建质量,优于现有缓解策略。
针对未见类别和含噪观测下的 3D 形状补全难题,该研究提出 DinoComplete 框架,通过从 DINO 特征蒸馏多视图语义体并训练学生网络预测稠密语义特征,将其与几何表示融合并通过多尺度体素 Mamba 模块进行长程推理。实验表明该方法在 ShapeNet 未见类别和 ScanNet 对象上,相比先前的确定性或生成式方法具有更具竞争力的补全质量,同时参数量更少、显存占用更低且推理速度更快。
OmniGF 是一种统一的视觉语言框架,旨在解决传统模型仅擅长空间定位或 VLM 依赖离散文本生成导致精度受限的问题。该框架采用双分支解码策略:结构化语言分支生成离散推理状态,连续空间分支直接利用 VLM 的稠密隐藏态以克服坐标生成的空间瓶颈。
论文 OASIS 提出一种视觉运动策略,通过融合视觉语言与度量深度特征的 3D 感知编码器,结合 SE(3)末端执行器轨迹预测器,使动作解码器生成符合刚体运动的动作块。该方法在仿真和真实世界实验中均优于 VLA 和世界动作模型基线,提升了成功率与分布外泛化能力。材料为 NeurIPS 2026 Spotlight 接收的预印本,项目页面已公开。
针对视觉几何 Transformer 因全局注意力机制导致的计算成本随序列长度平方增长问题,本文提出 Good Token Hunting 策略。该方法通过两阶段框架进行 Token 选择:首先在帧间层面基于多样性保留关键帧以确保场景覆盖,随后在帧内层面利用全局注意力模式的熵引导分层稀疏化以剔除冗余 Token。
该论文提出 Flow Mismatching 方法,利用流匹配模型学习到的正常速度与目标图像几何路径速度之间的不匹配来检测异常,无需测试时优化或额外校准。实验在 MVTec-AD 和 VisA 数据集上验证了该方法与重建基线及近期流匹配方法的竞争力。
针对无人机视角下严重自运动和相机抖动导致的小目标检测难题,本文提出一种仅依赖图像的视觉引导检测框架。该方法首先利用基于单应性的全局运动补偿对齐相邻帧,随后引入双区间运动提取策略捕捉短时和长时运动线索,并通过轻量级双区间运动注入模块增强特征金字塔网络中的特征表示。
该论文指出代表性驾驶视觉语言模型(Driving VLAs)存在反事实障碍插入下的盲点规划问题,即车辆出现在前方时轨迹仍不变。研究通过偏差 - 方差分析发现模型依赖 ego 状态和指令的捷径,并提出了一种受逆运动学启发的架构:利用 LLM 预测未来视觉场景提供密集监督,并设计独立的逆运动学网络仅基于当前和未来视觉状态解码轨迹,以抑制对 ego 状态的依赖。
推荐理由:该研究通过逆运动学架构解决了智驾 VLA 模型依赖 ego 状态捷径的问题,仅用摄像头在 NAVSIM 和 nuScenes 上实现了 SOTA 轨迹规划性能。
论文提出 Z-Perturbation Reinforcement Learning (ZPRL) 方法,通过冻结预训练的流匹配策略并利用奖励驱动的残差扰动在紧凑的瓶颈潜变量空间进行在线强化学习适应。
推荐理由:提出通过瓶颈潜变量接口进行在线强化学习策略引导,在仿真与真实世界中均提升了预训练模仿策略的样本效率与成功率。
该论文提出 StitchVM(缝合价值模型),旨在解决基于奖励的对齐任务中需估计噪声潜变量价值函数的难题。方法通过兼容的特征接口连接冻结的扩散骨干网络前缀与预训练奖励模型后缀,利用闭式特征拟合选择接口并配合轻量蒸馏进行适配。
研究发现模型精度不受无信息哑元替换影响,表明现有数据中潜变量提供的额外信息有限且推理时生成的潜变量坍缩至狭窄区域。实验证实仅在诊断数据集上微调后模型才能因果依赖潜变量,未来进展需高质量中间步骤数据与更精准的潜变量预测。
该研究针对现有图像退化社区分组方案不兼容、基准定义后端特异导致结果难比的问题,提出了基于成像管线主导因果源与感知效应的双轴分类框架。框架利用 PSNR、SSIM 和 LPIPS 量化原生严重度层级,在不修改现有实现的前提下分离了因果起源、感知外观及下游任务影响。
CurveBench 是一个针对视觉拓扑推理的基准,包含 756 张手绘闭合曲线图像及人工验证的参考树。Gemini 3.1 Pro 在简单与困难任务上分别达到 71.1% 和 28.7% 精确匹配准确率。Qwen3-VL-8B 经强化学习微调后,在简单任务准确率达 31.7%,较基线提升显著。该基准已作为海报被 NeurIPS 2026 接收并公开评测协议与结果。
本文提出一种神经符号方法,将可微模糊逻辑与深度分割模型集成,把弱标注和领域先验统一为连续逻辑约束以微调 Segment Anything Model (SAM)。
推荐理由:将可微模糊逻辑与 SAM 结合,用弱监督约束生成高质量伪标签并训练无提示分割模型。
针对现有注意力级相机编码难以适配广角和鱼眼镜头的问题,论文提出了 Curved Ray Expectation Positional Encoding (CRePE)。
针对第一人称视角下的 3D 双手姿态估计与手势识别难题,该工作提出 EgoEV-HandPose 端到端框架及首个大规模真实世界立体事件数据集 EgoEVHands。
arXiv 论文介绍 PointForward 框架,旨在实现高保真驾驶场景重建。该方法初始化稀疏世界空间查询并通过时空融合聚合多视图信息以强制跨视图一致性,引入场景图组织动态实例并利用 3D 边界框实现实例级运动传播。实验显示其在大规模自动驾驶基准上达到最先进水平。材料为 NeurIPS 2026 接收的预印本版本,未报告真实机器人部署结果或具体硬件要求。
推荐理由:提出 PointForward 框架,通过点对齐表示解决多视图不一致问题,在大规模自动驾驶基准上达到最先进水平。
针对视觉语言动作模型缺乏带标注动作数据的问题,该研究提出 ALAM 模型,从无动作视频中提取物理世界变化先验。通过帧三元组学习受重建约束且符合组合与可逆一致性的潜在转换,构建局部加性转换空间。
推荐理由:该工作提出代数一致潜在动作模型,利用无标签视频构建结构化先验,显著提升 VLA 策略在仿真及真实任务中的成功率。