跳到正文
11月3日周二
  1. arXiv · 机器人与计算机视觉82

    Probe-Guided Gradient Balancing for Multimodal Learning

    针对联合训练的多模态网络常因强模态主导而忽视弱模态的问题,本文提出 Probe-Guided Gradient Boosting (PGGB) 方法。该方法为各模态附加轻量级线性分类器以独立估计表征质量,利用由此产生的利用率差距信号,在保持强模态强度的同时自适应增强弱模态梯度。实验表明 PGGB 在高度不平衡的多模态数据集上优于最先进方法,且代码已开源。

    推荐理由:提出 Probe-Guided Gradient Boosting 方法,通过独立评估模态表征质量来自适应增强弱势模态梯度,解决多模态网络中强模态主导问题。

  2. arXiv · 机器人与计算机视觉78

    PixelBench:LLM 能否逐像素理解并生成图像?

    该研究报告了 PixelBench 基准,评估大语言模型在无专用图像解码器的情况下直接通过词汇表生成 RGB 像素的能力。研究发现强模型在文本到像素任务中能直接生成可识别图像,且像素理解能力与生成性能高度相关。作者还提出了像素重建微调(PRT)方法,通过混合指令数据提升模型在视觉基准上的表现,表明显式像素重建可作为有效的辅助监督信号。

    推荐理由:该报告提出 PixelBench 基准与 PRT 微调方法,证明大模型无需专用解码器即可直接生成像素图像。

  3. arXiv · 机器人与计算机视觉72

    MedHEB:跨异构临床证据的医学嵌入基准

    arXiv 发布 MedHEB 基准,包含来自 54 个数据集的 107 个检索任务,覆盖二维图像、三维体积和文本三种证据形式及全局、问题条件、区域级等粒度。结果显示现有模型在跨模态和区域级任务上表现不均,作者提供基于 MLLM 的 MedEmb 参考模型作为可复现基线,并开放预处理脚本与评估代码。

  4. arXiv · 机器人与计算机视觉72

    CellPlex:基于 H&E 图像的细胞级空间蛋白质组学预测基准

    CellPlex 是一个针对单细胞空间蛋白质组学预测的基准,包含七类涵盖结直肠癌、乳腺癌及胶质瘤等组织的样本集,共 717 个样本、4480 万个细胞和 149 种蛋白。研究通过统一评估协议发现,适配后的病理基础模型在所有数据集上均表现最佳,但跨未训练数据集的泛化能力不足;预测效果取决于组织类型而非测量细胞数量。作者将公开数据、划分及代码作为未来方法开发的测试床。

  5. arXiv · 机器人与计算机视觉38

    TERA:水下目标检测中的任务证据恢复框架

    TERA 是一个元数据盲接收端框架,结合任务引导像素修复与双状态特征校正以解决带宽受限下的图像退化问题。在 DUO-TX 基准上,该框架将冻结检测器的平均精度均值(mAP50:95)从 37.7% 提升至 50.0%,并在 RUOD-TX 上从 31.5% 提升至 41.3%。代码已开源,相关成果已被 WACV 2027 接收。

  6. arXiv · 机器人与计算机视觉45

    Peripheral Prototypical Contrastive Loss 提升医学图像分割鲁棒性

    Peripheral Prototypical Contrastive (PPC) loss 利用边界附近原型特征解决生物医学图像边界模糊难题,在含噪标签条件下仍保持训练稳定。实验显示该方法在多数据集上持续优于现有方法,且自适应局部区域策略进一步增强了鲁棒性。该成果已接受至 ISBI2026,为构建具备不完美标注能力的医学分割基础模型提供了可靠方案。

  7. arXiv · 机器人与计算机视觉35

    PCRD 框架利用高分辨率 2D 图像重建 3D 微结构

    PCRD 框架利用扫描电镜高分辨率 2D 观测,仅凭低分辨率微 -CT 输入实现特定样品的 3D 重构。在碳纤维复合材料任务中,该方法将 mAP 提升 1.66 个百分点,纤维中心线长度匹配度达 89.97%。独立验证显示其与同步辐射 X 射线 CT 数据在体积分数、直径及局部间距上高度一致。

  8. arXiv · 机器人与计算机视觉63

    EarthJev:一种针对 Sentinel-2 土地覆盖的非生成式自然语言问答模型

    该论文提出了 EarthJev,这是一个拥有 0.8B 参数的模型,能够直接对多光谱 Sentinel-2 图像补丁回答类型化问题而无需生成任何 token。模型通过从 RGB 核初始化的加宽输入层接收所有 12 个波段数据,并在单一位置读取选项字母的 logits 来输出答案,采用交叉熵和 Brier score 进行训练。

  9. arXiv · 机器人与计算机视觉20

    Hankel-FCN 实现基于多模态生理信号的自动化疼痛识别

    该研究提出基于 Hankel-FCN 的深度学习框架,利用 AI4Pain 数据集中的血容量脉搏(BVP)和呼吸(RESP)信号进行无手工特征工程的三分类疼痛评估。实验在 cs.CV 领域取得 67.09% 准确率和 66.41% F1 分数,多模态融合显著优于单一模态,但需进一步验证以推广至更广泛人群及临床场景。

  10. arXiv · 机器人与计算机视觉82

    对象检索并非无上下文:一种用于检测背景去除的反事实诊断方法

    本文针对对象中心检索管线中‘掩码背景后特征即代表物体’的假设提出质疑。作者引入 Keyhole Aperture Probe (KAP) 这一反事实诊断工具,利用现有泛分割数据集的真实掩码固定目标区域并仅变化外部像素,量化骨干网络的上下文依赖度。

    推荐理由:提出反事实诊断方法 KAP,揭示对象描述符仍依赖背景,并开源轻量适配器以在移除上下文时保持稳定性。

  11. arXiv · 机器人与计算机视觉72

    面向安全关键控制系统的在线主动学习架构

    该论文提出了 Control AI 架构,这是一种受生物智能预测 - 评估 - 修正过程启发的在线主动学习(OAL)框架。系统结合深度神经网络的层级表征能力与自适应控制的实时误差反馈机制,通过预测模型、可选的潜在模型及重建模型处理感官输入与状态映射。

  12. arXiv · 机器人与计算机视觉25

    微调模型鲁棒性系统评估:不同数据集与攻击类型下的表现分析

    该研究系统评估了微调预训练模型在不同数据集和攻击类型下的鲁棒性,旨在为图像分类任务中的模型选择提供见解。实验利用 MNIST、CIFAR10、CIFAR100 及 SVHN 等公开数据集,对比分析了 ResNet50、DenseNet 和 MobileNet 在干净数据及各类攻击后的防御性能差异。

  13. arXiv · 机器人与计算机视觉83

    Z-Cache:通过自反思加速扩散 Transformer

    针对扩散 Transformer 计算成本高且特征缓存会损害生成质量的问题,论文提出 Z-Cache 方法。该方法观察到全步计算后误差锐减的规律,设计为先预测未来缓存步骤的特征并执行全步计算,再基于前后计算结果回退修正预测,从而在维持高质量生成的同时实现加速(如 FLUX-dev 文生图任务达 6.22X)。代码已开源。

    推荐理由:提出 Z-Cache 方法,通过自反思机制修正特征缓存误差,在保持生成质量的同时显著加速扩散模型推理。

  14. arXiv · 机器人与计算机视觉73

    OCBI:用于图像篡改定位的顺序敏感跨分支交互

    该论文提出 OCBI 方法,作为 Co-Transformers 的扩展,利用局部跨分支融合模块和像素级自适应多尺度聚合来改进图像篡改定位。在 CASIA-only 任务训练下,OCBI 在五个干净测试数据集上的宏观 PixelF1 达到 0.5773,比基线高 0.43 个百分点;在 JPEG 压缩、高斯模糊和缩放等三种变换条件下,平均 PixelF1 超过基线 0.95 个百分点。

  15. arXiv · 机器人与计算机视觉42

    GaitFM:一种用于可穿戴步态评估的跨模态基础模型

    GaitFM 通过从大型视觉模型迁移知识并在约 4000 名参与者、123 万步态窗口的无标签 IMU 数据上预训练,显著提升了步态评估的泛化能力。该模型在涵盖临床与日常场景的多种传感器配置下,于包括参数估计、疾病检测及预后预测在内的 18 项步态相关任务中展现出强劲性能。此研究为缓解传感器和医疗领域的数据稀缺问题提供了新的跨模态路径。

  16. arXiv · 机器人与计算机视觉48

    MMCoT$^3$: 首个融合 3D 文本交错多模态思维链的 3D 场景理解框架

    MMCoT$^3$是首个将文本推理与任务相关 3D 证据显式交错的 3D 场景理解框架,通过歧义感知证据聚合机制解决多实例对齐问题。该方法基于包含约 176.2K 实例的 PointCoT 大规模指令微调数据集进行训练。在六个基准测试上的实验表明,该模型显著提升了性能并取得了最先进结果,有效避免了幻觉与推理错误。

  17. arXiv · 机器人与计算机视觉18

    Benchmarking Vision-Language Models for Urdu Nastaliq Handwriting Recognition 评测报告

    针对乌尔都语纳斯塔利克手写体识别难题,研究在 UNHD 数据集上对 Tesseract、UTRNet-Large 及六款 VLM 进行零样本基准测试。结果显示两款商业模型错误率低于开源与印刷体专用模型,其中一款商业模型甚至拒绝转录极难图像而非猜测。此外,VLM 修正 OCR 输出的增益有限,仅当输入文本来自 UTRNet 时提升显著(17.9% 至 21.9%)。

  18. arXiv · 机器人与计算机视觉45

    NatureFusion:将红外可见光融合重定义为自然互补增强

    NatureFusion 提出将红外与可见光图像融合重定义为自然互补增强,利用生成基础模型作为教师直接监督生成视觉自然的融合图像。该方法通过轻量级融合适配器蒸馏生成能力,并引入检测监督任务适配器强化红外互补贡献。实验表明其生成的图像在感知质量上优于七种多模态融合及单模态增强方法,且预训练检测分割模型在其上的准确率显著提升。

  19. arXiv · 机器人与计算机视觉70

    Recoverability-Aware Evaluation of Diffusion Video Inpainting and Object Removal

    该论文针对视频去物体任务中整体评分混淆生成与复制的问题,提出可恢复性分层评估框架和无需训练的证据引导采样方法。实验显示在 DAVIS 数据集上,主流扩散模型的去物体感知优势随背景可见帧数增加而缩小,且其利用干净视频轨迹中的可恢复内容能力不足。

  20. arXiv · 机器人与计算机视觉74

    VLMs Read Aloud:揭示视觉文本模型在识别与使用之间的差距

    论文发现视觉大模型能逐字转录图像中的文字却无法有效利用,存在‘读用差距’。提出的 ALOUD 方法将视觉分辨率用于寻找证据、语言 token 用于处理信息,在不保留原文的情况下,使 Qwen3-VL-8B 在压缩 5 倍的长文档上准确率从 27.7% 提升至 54.8%,接近原始文本的 58.5%。

  21. arXiv · 机器人与计算机视觉45

    Label-Free Localization and Test-Time Suppression of CLIP's Typographic Circuits

    针对 CLIP 类视觉语言模型在字体攻击下的语义脆弱性,研究提出头分解稀疏字典学习架构及无标签的清晰度与文本归因评分。通过测试时重加权注意力机制,该方法在五款 CLIP 变体及四个基准上使抗攻击分类提升最高 46.9%,仅损失 1% 通用感知精度。进一步提出的测试时自适应注意力路由策略在同等鲁棒性下突破了当前鲁棒性与感知的帕累托前沿。

  22. arXiv · 机器人与计算机视觉78

    Vocabulary Aligned Explanations for Computer Vision Models

    该论文提出了 FLUENT(Framework for Localized, Uncertainty-Aware Explanations in Normative Terminology)框架,旨在通过领域特定概念、视觉证据和专家知识来解释计算机视觉模型的图像分类结果。

    推荐理由:提出 FLUENT 框架,将领域规则与模型预测结合生成可解释的视觉证据。

  23. arXiv · 机器人与计算机视觉18

    Zada 等人在数据不平衡图像分类任务中利用纯噪声增强少数类样本的研究复现与验证

    研究复现了 Zada 等人关于在图像分类中使用纯噪声增强少数类以提升泛化性的核心主张,证实该方法配合新批归一化层能显著改善模型性能且对数据增强水平鲁棒。实验表明即使训练数据平衡,添加纯噪声图像也能提升分类效果,但性能增益与扩大网络规模或复杂数据增强的作用正交。代码基于 PyTorch 实现并公开了采样纯噪声及分别归一化的作者片段。

  24. arXiv · 机器人与计算机视觉64

    CuPH:基于像素的并行立方体持久同维算法

    作者提出 CuPH 算法,通过基于像素的层级同步扫描和免锁并查集方法,将图像持久同维计算的并行深度从线性降低至对数级。实验显示该算法比现有 GPU 基线快 18.6 到 99.6 倍,在拓扑感知分类和分割任务中分别加速 4.2 到 16.7 倍及 8.3 到 44 倍,同时保持精度不变。

  25. arXiv · 机器人与计算机视觉5

    ZOPGA-KD:零阶 PGA 引导无数据知识蒸馏方法

    ZOPGA-KD 提出一种仅需教师模型输出 logits、无需访问其架构参数或梯度的无数据知识蒸馏方案。该方法通过投影梯度上升从平滑随机噪声生成合成数据,并利用零阶梯度估计替代反向传播。在多个基准数据集上的评估显示,其蒸馏性能与可访问教师参数的方法相当。

  26. arXiv · 机器人与计算机视觉47

    Beyond Temporal Overlap:手语分割跨语料库的消费者感知评估研究

    该研究提出超越时间重叠度的评估框架,针对下游冻结识别器需求,在 DGS、BSL 及 Dicta-Sign 三个语料库上评测了 27 种输出结果。实验发现不同识别器对同交并比存在长短偏好差异,且 BSL 与 Dicta-Sign 呈现恢复参考词与降低误识率的反向权衡。论文建议从时间一致性、参考恢复、片段识别及序列误差四轴评估分割模型,已提交至 IEEE FG 2027。

  27. arXiv · 机器人与计算机视觉43

    PhoneValue-Bench:面向二手手机复购估值的多模态基准与数据集

    PhoneValue-Bench 填补了现有资源忽视店员对齐换机领域的空白,提供包含超两万订单及数十万标注图像的弱监督训练集。提出的 ValueAgent 流水线在 Bench-Full 测试集上达到 84.1/100 分,外观与店员字段填充率分别为 97.0% 和 54.1%,确立了实用的双真值基准。该工作包含可执行的公开评分器与提交 schema,旨在解决多视角外观与诊断屏幕的联合推理难题。

  28. arXiv · 机器人与计算机视觉48

    FusionGhost-Gait 模型在 ArabGait 数据集上实现鲁棒的遮挡步态识别

    FusionGhost-Gait 融合时空架构,在包含海湾服饰的 ArabGait 数据集上 Rank-1 准确率最高达 67.91%。该模型参数量仅 108,970-133,674、FLOPs 为 0.035-0.052 billion,较基线减少超 65% 参数与 75% 计算量。研究证实其在严重遮挡导致下肢姿态置信度下降场景下仍具轻量化部署潜力。

  29. arXiv · 机器人与计算机视觉59

    Smooth bounding box for object detection

    针对目标检测中常见的边界框标注误差问题,作者提出一种名为 Smooth Bounding Box 的策略来减轻标注不准确带来的负面影响。该方法基于对象尺寸分布,采用全局缩放校正和区间缩放校正两种方法估计并修正平均误差,同时设计了专门的微调策略以优化多参数。

  30. arXiv · 机器人与计算机视觉43

    离散生成聚类:用正则化 Wasserstein 距离提升聚类稳定性与可扩展性

    该研究将聚类分析形式化为离散生成建模,提出 Discrete Generative Clustering(DGC)框架以解决传统方法的训练不稳定问题。通过引入正则化 Wasserstein 距离替代 l2 损失并采用随机邻域选择,DGC 实现了 O(log K) 的推理复杂度且簇中心可直接解释为合成样本。GitHub 代码已公开,实验在多个基准数据集上验证了其有效性与优越性质。

  31. arXiv · 机器人与计算机视觉58

    Words Before Pixels:基于选择性模态路由的视觉语言模型遗忘方法

    论文指出当前视觉语言模型(VLM)遗忘研究多聚焦目标设计,忽视了遗忘样本在进入优化前的数据表示形式问题。作者构建了模态分解基准,通过实验发现文本表示比纯图像更能有效抑制不安全指令遵循行为,但纯文本遗忘可能削弱依赖视觉证据的视觉定位能力。

  32. arXiv · 机器人与计算机视觉20

    Bi-Sparse Matrix Factorization 结构化通道剪枝方法在 CIFAR-10 与 ImageNet-1K 数据集上实现显著压缩并保持高重建精度

    Bi-Sparse Matrix Factorization (BSMF) 提出一种新型卷积神经网络结构化通道剪枝方法,通过行/列双稀疏正则化区分共享冗余与单通道贡献。该方法基于交替方向乘子法构建高效更新方案,所有子问题均存在闭式解。在 CIFAR-10 和 ImageNet-1K 数据集上的实验表明,BSMF 在显著压缩网络的同时保持了高重建精度,源代码已公开。