跳到正文
11月4日周三
  1. arXiv · 机器人与计算机视觉78

    共现先验压倒视觉空间证据:理解 VLM 在建筑被撞击危险检测中的误报

    该研究评估了 Qwen2.5-VL-7B 和 InternVL3.5-8B 在建筑场景中被撞击危险检测任务中的表现,发现尽管模型能识别物体并编码空间关系,但高达 100% 的远距离场景被误判为危险。实验表明工人存在与否对决策的影响远超空间距离,且注意力干预无法消除这种共现偏差。通过让模型基于自身编码的空间表征进行条件化决策,可将特异性从 0.36 提升至 0.58,优于阈值重校准方法。

    推荐理由:研究发现 VLM 误报源于决策层对共现先验的过度依赖,通过条件化空间表征可将特异性从 0.36 提升至 0.58。

  2. arXiv · 机器人与计算机视觉62

    FOX:基于嵌入空间解释的可泛化 AI 生成图像检测方法

    论文提出 FOX 框架,通过锁定专用于检测的 DINOv3 视觉表示并引导轻量级 VLM 进行法证解释,解决了多模态联合训练损害视觉表征泛化性的问题。该方法在 14 个未见生成器上平均 AUC 达 97.4%,并在 XPlainVerse 和 LOKI 基准上取得高分。材料为预印本,未提及同行评审状态或开源代码。

  3. arXiv · 机器人与计算机视觉68

    Is This 3D Asset Usable? Beyond the Beauty Render for Asset Curation

    该论文介绍了一种名为 DRE 的方法,通过融合对齐的美观、线框和 UV 接缝视图,利用冻结 ViT 分类器评估 3D 资产的可用性。在 TexVerse 数据集上该方法达到 86.36% 的平衡准确率,并在外部测试集上取得 88.9% 的准确率。研究证明专用诊断视图能发现仅靠美观渲染无法识别的缺陷,且推理过程无需依赖元数据。

  4. arXiv · 机器人与计算机视觉68

    CHROMA-MILL:低光照增强与白平衡联合校正研究

    该研究提出 CHROMA-MILL 数据集与 CTI-Retinexformer 模型,解决低光照图像增强(LLIE)与自动白平衡(AWB)的联合优化问题。现有方法通常先增强后校正,但缺乏评估 AWB 的地面真值;本研究在 RAW 域混合四种校准光源以合成物理有效的照明混合物并构建精确色度真值。

  5. arXiv · 机器人与计算机视觉48

    预训练骨干能否迁移至物理传感器?多模态初始化系统性研究

    该研究系统对比了 ViT、MAE、DINO 及 MultiMAE 等预训练骨干在包含 RGB、LWIR、NIR、Event 及深度分割等多传感器的自动驾驶任务中的迁移效果。实验基于 curated 的 2.82M 图像数据集,发现 MultiMAE 作为开箱即用的基线表现强劲且鲁棒性高,针对性改进虽带来增量提升但整体稳健。论文已获 WACV 2027 接收,代码与数据许可状态待进一步确认。

  6. arXiv · 机器人与计算机视觉74

    SurgEye:一种无需指令微调的手术场景理解感知 - 推理框架

    该论文提出了 SurgEye 框架,旨在解决手术计算机辅助干预中的场景理解难题。该方法利用视觉基础模型进行推理,无需依赖大规模问答对进行的指令微调。具体包括路由多任务感知(RMP)模块,通过公共感知标签学习特定任务路径以生成时空证据;以及代理组合推理(ACR)模块,利用冻结的大语言模型协调 RMP 专家与时间记忆工具,将跨任务和时间的证据组合为基于事实的答案。

  7. arXiv · 机器人与计算机视觉78

    点云分类的统计鲁棒性基准:我们仍需要旋转不变架构吗?

    该研究对 10 种点云架构进行了跨域基准测试,发现旋转不变架构在姿态鲁棒性上表现最佳,但在噪声鲁棒性上排名较低。作者重新训练了所有模型并验证了简单的不变性损失能有效提升遮挡和 LiDAR 噪声下的准确率,且标准骨干网络在全球旋转下仅存在角度无关的精度偏移。材料提供了用于分析点云鲁棒性和复现结果的基准包与工具。

    推荐理由:该基准通过统计假设检验对比了旋转不变架构与标准骨干网络在姿态、噪声和遮挡下的鲁棒性,并验证了简单的不变性损失可提升特定扰动下的准确率。

  8. arXiv · 机器人与计算机视觉72

    超越提议:基于区域一致性的开集目标检测

    针对稠密提议机制下同一物体关联提议间预测矛盾导致检测结果碎片化的问题,本文提出 OCSI-Net 框架。该框架将开集检测重构为以物体为中心的语义推理任务,通过聚合相关提议形成结构化区域簇并从累积的语义证据中推断区域级语义,从而在同一物体区域内强制一致的开集预测。

  9. Hugging Face Daily Papers48

    UniForget:统一多模态模型概念遗忘研究

    针对现有单路径方法在生成与理解双路径上联合遗忘不足的局限,研究提出 UniForget 框架。该方案在 BAGEL-7B-MoT 和 Janus-Pro-7B 模型上分别实现 80.0% 和 92.7% 的联合遗忘率,显著优于基线。分析显示该方法在抑制目标概念的同时需权衡能力保留,相关代码与论文已在 arXiv 发布。

  10. Hugging Face Daily Papers72

    Kling 团队发布关于视频生成背后多模态理解的观察与洞察

    Kling 团队发布了题为 Behind Video Generation 的技术报告,总结从 Kling 各代模型中获得的关于多模态理解的经验。报告指出生成质量是多模态理解在数据、条件、对齐和评估链条上的投射,并详细阐述了 Kllng-MLLM 架构、提示词增强策略、奖励建模及自动评估协议的设计思路。该材料为预印本论文,旨在为构建可控视频生成的理解栈提供实践指导。

  11. OpenCV Blog18

    OpenCV 直播演示构建机器人视觉皮层:结合 RealSense、Jetson 与 VLM 实现自主导航及自然语言控制

    OpenCV 于 11 月 5 日举办开发者专场,展示如何搭配 RealSense 深度相机、NVIDIA Jetson、ROS 2 及视觉语言模型构建机器人“视觉皮层”。现场基于 AgenticROS 演示了空间推理、自主导航、人形检测交互及自然语言控制等任务,并提供可运行的开源代码。

11月3日周二
  1. arXiv · 机器人与计算机视觉35

    混合神经视频表示的分辨率灵活解码框架

    该研究提出了一种基于均匀 2×上采样阶段的分辨率灵活解码器,通过逆向追踪目标分辨率确定特征尺寸并辅以最小填充或裁剪。在 UVG 数据集上,该方法在 1080×1920 和 810×1440 分辨率下均优于对应神经视频表示基线。论文已被 VCIP 2026 接收,代码与权重开放于 arXiv:2609.23555。

  2. arXiv · 机器人与计算机视觉43

    CRAD:面向非独立同分布数据的类级可靠性感知蒸馏方法研究

    CRAD 提出一种去中心化知识蒸馏框架,通过共享类后验实现异构架构间的参数聚合且无需中央服务器。该方法在 CIFAR-10、CIFAR-100 及 PathMNIST 数据集上,于严重非独立同分布条件下显著优于均匀平均等基线方法。代码已公开,论文已被 WACV 2027 接收。

  3. arXiv · 机器人与计算机视觉58

    MulTaBench:首个涵盖 40 个数据集的多模态表格学习基准

    论文介绍 MulTaBench 基准,包含 40 个数据集(20 个图像 - 表格与 20 个文本 - 表格任务),旨在解决现有评测仅关注模态共现而忽略任务特定微调的问题。实验表明,针对目标进行表示调优能提升多种表格学习器和编码器规模下的性能,该基准已获 NeurIPS 2026 Spotlight 接收。

  4. arXiv · 机器人与计算机视觉82

    基于梯度强化学习的分布匹配蒸馏引导:GDMD 框架

    论文提出 GDMD 框架,通过优先优化蒸馏梯度而非原始像素输出来重新定义奖励机制,解决了传统扩散蒸馏在少步生成中牺牲质量的问题。实验显示,该方法使 4 步模型的质量超越多步教师,并在 GenEval 和人类偏好指标上显著优于现有 DMDR 结果。

    推荐理由:提出 GDMD 框架,利用梯度强化学习解决蒸馏与采样速度冲突,在少步生成任务上超越多步教师及现有 DMDR 方法。

  5. arXiv · 机器人与计算机视觉65

    Stabilizing Consistency Training: 基于流图分析与自蒸馏的一致性模型稳定化研究

    该论文针对一致性模型从头训练时的不稳定性和低可复现性问题,从流图视角进行理论分析并揭示退化解成因。作者提出改进的自蒸馏方法 iSD 以优化梯度范数,并结合训练时分类器自由引导扩展为 iSD-T,在图像生成及无需预训练扩散模型的策略学习任务中提升了性能与稳定性。

  6. arXiv · 机器人与计算机视觉48

    PerNodeDrop:平衡专用子网与正则化的深度神经网络方法

    PerNodeDrop 是一种轻量级随机正则化方法,通过逐样本、逐节点扰动打破现有技术的噪声均匀性,在保留有益共适应的同时抑制虚假模式。该方法将权重丢弃操作从批次级别移至样本级别,有效缩小训练与验证性能差距并提升未见数据可靠性。实验表明,其在视觉、文本和音频基准测试上的泛化能力优于标准基于噪声的正则器。

  7. arXiv · 机器人与计算机视觉72

    Solving Stochastic Inverse Problems in Embedding Space 预印本发布

    该论文提出在嵌入空间中求解随机逆问题的方法,通过将随机模式映射到不变嵌入空间来恢复未知因果参数,无需手工设计目标函数或启发式规则。研究利用在大图像数据集上训练的嵌入模型获取鲁棒表示,并在物理、生物和社会三个自组织系统(反应扩散系统、胚胎发育模型及社会隔离代理模型)中验证了该方法在模式结果存在随机性时仍能可靠恢复参数的能力。

  8. arXiv · 机器人与计算机视觉35

    CAPT:面向联邦长尾学习的类别感知提示微调框架

    CAPT 提出一种结合类别感知与通用提示的双机制,解决非独立同分布数据与非均匀分布下视觉语言模型性能下降难题。该方法在 ImageNet-LT 和 Places-LT 基准上分别将整体准确率提升 6.1% 和 8.8%,显著优于现有最先进方法并增强尾部类别表现。该工作已获 ACM MM 2026 接收,相关代码与数据开放许可情况需查阅原文。

  9. arXiv · 机器人与计算机视觉12

    U-net 与改进型 CBAM 模块在胸部 X 光肺部分割中的新方法研究

    该研究提出一种结合卷积块注意力机制(CBAM)的改进 U-Net 架构,通过统一通道、空间及像素级注意力机制优化特征提取。实验基于 Dice 系数和 Jaccard 相似性指数评估,结果显示该方法在胸部 X 光肺部分割任务中显著提升了准确率。相关论文已上传至 arXiv,预印本版本为 v3。

  10. arXiv · 机器人与计算机视觉27

    Learning-based Axial Video Motion Magnification 提出轴向运动放大新范式

    该方法通过分解并沿用户指定方向放大运动,解决了现有技术在复杂振动下可读性差的问题。研究构建了专用合成训练数据集,在 ECCV 2024 会议上展示,其通用方法在常规运动放大任务中表现优于竞争基线。项目页面已开放代码与数据集下载。

  11. arXiv · 机器人与计算机视觉67

    MaskSense:对抗掩码图像生成中的视觉探索陷阱

    论文揭示掩码生成模型(MGMs)在适配强化学习时存在‘视觉探索陷阱’,即基于置信度的采样会牺牲主体多样性以优先解析低不确定性背景,导致生成空间过早坍缩。作者提出 MaskSense 框架,通过语义锚定路由采样机制保留高熵主体 token 的探索性,并利用全局熵转移锚定策略集中梯度更新于关键解码步骤。

  12. arXiv · 机器人与计算机视觉12

    LENS-GRF:一种用于痤疮严重程度分级与多评估者临床分析的去排列不变性损伤证据网络

    LENS-GRF 模型结合全局视觉 Transformer 与 YOLO11s 提案,在 ACNE04 数据集上实现 80.82% 准确率及 95.89% 内部精度。然而该模型在未适配的外部队列中仅达 35.00% 准确率,显著低于独立训练的基线(42.50%)。研究指出需提升损伤检测可靠性并建模分级差异差异方可投入临床使用。

  13. arXiv · 机器人与计算机视觉35

    不变形表面球面拓扑分析:基于球谐函数镜像对称性的几何描述符研究

    该研究证明奇数次实球谐函数在特定代数条件下与其镜像全等,并确定了满足此性质的曲线族分布。作为应用,该方法为亏格为零的表面提供了在参数化、位置及尺度变换下完全不变的描述符,能够精确记录手性并保持轨道距离稳定性。

  14. arXiv · 机器人与计算机视觉72

    Learning a Flow to Self-Supervised Representations

    arXiv 预印本论文介绍了一种名为 FBDM 的自监督表示学习框架,该方法通过非对抗性的速度回归联合训练编码器与辅助场,在三个 ResNet-18 基准测试中相比基于判别器的分布匹配方法提升了约 2.17 至 2.36 倍的每轮训练吞吐量,并额外占用约 0.21 GiB 峰值显存。

  15. arXiv · 机器人与计算机视觉51

    RSPDBench:面向地球观测任务的物理级遥感产品退化基准

    RSPDBench 是一个基于物理的遥感产品退化基准,用于评估视觉基础模型在包含空间、辐射、配准等缺陷的真实地球观测产品上的表现。该基准遵循 Sentinel-2 和 Landsat 8 规范,对七个基础模型及两个监督基线进行了测试,发现分辨率编码器和辐射增益的敏感性结构不同,且复合退化会导致性能大幅下降。

  16. arXiv · 机器人与计算机视觉70

    利用OCR头进行图像语义 verbalization 的研究

    本文研究了视觉语言模型(VLM)如何从像素映射到语义,聚焦于光学字符识别(OCR)机制。研究者在四个模型中鉴定出对OCR因果必要的注意力头,发现这些头实际上是通用的,能在所有图像 token 上输出可解释的语义特征(如将“bike”或“feathers”作为标签)。

  17. arXiv · 机器人与计算机视觉43

    Zero-Shot Cross-Material Ptychographic Phase Reconstruction Using Deep Learning 提出直接局部到全局学习框架,实现无迭代推理的相位重建

    该研究提出直接局部到全局深度学习框架,从衍射测量中无需迭代优化即可重构全场相位图。模型在 AuPd 和 MoS₂材料间实现零样本跨域迁移,相比迭代 ePIE 方法将端到端重建时间缩短约 10 倍,且在评估的学习基线中取得最佳 MSE、PSNR 和 MS-SSIM 指标。

  18. arXiv · 机器人与计算机视觉52

    标准色作为观察视觉编码器和 VLM 中概念可解码性的透镜

    Xiaofu Chen 等人提出使用标准色(canonical color)作为受控测试案例,探究视觉编码器在输入图像去除颜色后是否仍保留概念信息。研究构建了包含标准色物体的数据集,通过彩色和灰度图像探测发现,标准色信息可从灰度图中解码且与预测物体身份相关,表明两者存在概念联系。

  19. arXiv · 机器人与计算机视觉68

    Matching in Context:无需训练的视频时序定位方法

    针对文本引导的视频时序定位任务,现有无监督方法受限于独立帧编码和固定查询嵌入的不足,本文提出 DSE-VTG 框架。该方法在视觉侧融合多尺度相似性以增强时间上下文感知,在查询侧利用伪标签进行测试时自适应优化,无需微调骨干网络或调用大语言模型。

  20. arXiv · 机器人与计算机视觉53

    面向自动驾驶的跨载体零样本迁移:BEV-Forcing 辅助目标研究

    论文研究了多数据集训练及 BEV-Forcing 辅助目标,旨在提升视觉语言动作模型在自动驾驶中的跨载体泛化能力。通过引入鸟瞰图空间接口共享物体位置表示,该方法在小规模相机配置下能同时改善分布内与分布外性能;但随着训练载体数量增加,辅助任务的收益逐渐减弱。该研究为理解数据扩展对 VLA 迁移学习的影响提供了新视角。