跳到正文
11月6日周五
  1. arXiv · 机器人与计算机视觉35

    分类与特征学习损失函数归一化空间分析论文

    该研究指出分类精度反映样本局部性质,而特征学习追求数据集全局性质。通过重设计二元交叉熵(BCE)损失并调整归一化空间尺度因子γ,发现中等γ值能同时实现可靠分类与结构化特征。实验验证了BCE在长尾和开放集识别中优于传统方法的优势。

  2. arXiv · 机器人与计算机视觉75

    IMUDINO:首个用于惯性感知的自蒸馏基础模型

    这篇论文提出了 IMUDINO,这是首个针对惯性感知的通用基础模型(FM),旨在在人体活动识别、健康监测、动作捕捉和里程计等多样化任务上达到竞争性性能。针对以往惯性 FM 往往局限于单一子领域且泛化性差的问题,该研究通过语义保持的运动变换将 DINO 自监督学习范式适配到惯性数据,并采用支持可变输入长度与采样率的纯 Transformer 编码器架构。

  3. arXiv · 机器人与计算机视觉58

    LeNO:面向少步生成模型的奖励对齐噪声优化学习

    针对扩散和流基生成模型难以适配少步确定性生成器的问题,本文提出 LeNO 方法,将奖励引导的初始噪声优化摊销为学习残差传输,同时保持预训练生成器冻结。该方法利用 Local GRPO 和标量奖励学习锚点条件的噪声修正分布,消除了推理时的迭代测试优化。

  4. arXiv · 机器人与计算机视觉35

    Edge-Assisted Crowdsensing for Explainable Cyclist Safety Perception 系统发布

    该系统利用车把摄像头与视觉语言模型(VLM)提取交通属性,结合开放街图数据通过可解释增强机器(EBM)预测骑行安全评分。在伦敦两条路线的 1,362 帧标注数据上,模型 CPU 推理耗时 0.4ms,二元分类准确率达 72.2%,物理车道分离贡献 +0.97 分。重编码后以 54 Mbit/s 支持千名骑手连续监测,误差仅增加 1.4 个评分点,为基础设施成本效益分析提供直接依据。

  5. arXiv · 机器人与计算机视觉78

    ManimCode:面向教育动画生成学习的视觉自我修正

    ManimCode 是一个针对教育动画生成的数据与训练框架,旨在解决渲染后存在的视觉缺陷、解释缺失或内容错误问题。研究构建了包含 24,034 条经过渲染验证和过滤的 ManimData 数据集,记录了中间程序、执行错误及修正轨迹。

    推荐理由:该工作提出 ManimCode 框架,利用渲染反馈数据训练单模型实现教育动画的视觉自我修正与代码迭代。

  6. arXiv · 机器人与计算机视觉75

    DART:面向通用异常检测的领域无关残差迁移方法

    该论文提出 DART 框架,旨在解决通用异常检测(GAD)中残差混合了可迁移异常线索与纹理、几何等域特定外观因素的问题。该方法通过残差解耦模块分离异常相关信息和域信息,并结合跨域元训练增强效果。实验在 MVTec AD、VisA 和 BraTS 数据集上验证了其优于多种基线方法的效果,尤其在强域偏移场景下增益显著。

  7. arXiv · 机器人与计算机视觉78

    ProQuant:面向边缘多模态大模型的渐进式量化感知训练

    arXiv 论文 ProQuant 提出一种针对低比特多模态大语言模型(MLLMs)的权重 - 激活量化感知训练框架,旨在解决资源受限边缘设备的部署难题。该方法首先通过自重标方案对齐微调数据与预训练数据的分布,其次首创将多模态理解与语言建模能力解耦,利用渐进式块激活机制优先恢复多模态理解性能并引入视觉敏感因子识别关键层。

    推荐理由:提出针对低比特 MLLM 的渐进式量化感知训练框架,通过自重标与解耦机制显著改善 W4A8 精度下的性能。

  8. arXiv · 机器人与计算机视觉78

    通过上下文正则化交叉熵提升卷积网络的上下文偏移鲁棒性

    图像分类模型常因测试时上下文环境与训练期差异而性能下降,这种现象称为上下文偏移。本文提出一种新训练框架,利用空间特征归因引导模型更依赖物体相关特征而非背景线索。

    推荐理由:提出 ContrastiveCAMs 与 CR-CE 方法,通过抑制非因果上下文线索提升卷积网络在分布偏移下的鲁棒性。

  9. arXiv · 机器人与计算机视觉36

    MiniMax-H3 视频压缩模型通过自适应分词与熵建模实现实用级 20 kbps 生成式压缩

    MiniMax-H3 预训练因果视频 VAE 被适配为离散视频分词器,联合优化的自回归熵模型在 UVG、MCL-JCV 及 HEVC Class B 数据集上相比 GLC-Video 实现 BD-LPIPS 节省 82.2%--87.5%。该方法通过可微率代理优化分词分配,在极低码率下显著提升了感知质量与时间连贯性。

  10. arXiv · 机器人与计算机视觉7

    ATHAAR:首个用于手写阿拉伯科学手稿识别的标注数据集

    ATHAAR 是首个遵循文本批评指南、涵盖不同见证者与书法风格的手写阿拉伯科学手稿数据集,旨在解决当前视觉语言模型(VLM)在该领域的训练数据缺失问题。研究利用该数据集评估了跨脚本、章节及论著的任务迁移能力,揭示了现有系统在应对古代科学文本特异性时的局限性。相关代码与权重暂未提及开放许可,论文状态为 arXiv 预印本。

  11. arXiv · 机器人与计算机视觉65

    当地理空间基础模型遇见极高分辨率:基准测试其在超高分辨率地球观测影像上的表现

    该研究引入 VHR-Bench 基准套件,包含十个在 1.5m GSD 或更精细分辨率下的数据集,涵盖五个任务家族、八个应用领域及卫星与航空平台。评测结果显示,SkySense 在标签稀缺时领先,而基于网络预训练的 DINOv3 ViT-L 在全量标签下表现更佳;仅基于 Sentinel 尺度影像预训练的编码器效果最差。

  12. arXiv · 机器人与计算机视觉78

    旋转对 Token 不敏感:前馈几何 Transformer 后训练量化的一种结构准则

    论文提出 QMapAnything 框架,针对前馈 3D 重建模型中异质 Token 共享激活量化网格的挑战,证明传统的浮点保持旋转和平滑属于 Token-Blind 重参数化组,仅带来共模增益而保留相对 Token SNR。

    推荐理由:提出 QMapAnything 框架,证明旋转与平滑属于 Token-Blind 重参数化,结合统计量 Gamma 预测差异化偏差修正需求。实验显示 W4A8 精度接近全精度,W8A8 显存降低 2.2–3.1 倍且速度提升最高 3.1 倍,为资源受限边缘端部署前馈 3D 重建模型提供高效方案。

  13. arXiv · 机器人与计算机视觉78

    IDPrior:解耦身份生成与面部图像合成

    针对大规模带标签人脸数据集采集成本高及隐私伦理问题,本文提出 IDPrior 框架,将身份生成与图像合成解耦。该方法先在预训练人脸识别模型的嵌入空间学习扩散先验以建模面部身份分布并生成新颖身份特征,再以此条件化预训练的身份条件扩散模型进行多张同身份图像合成。

    推荐理由:提出 IDPrior 框架解耦身份生成与图像合成,在预训练人脸识别模型嵌入空间学习扩散先验以生成新颖且分布接近真实身份的特征。

  14. arXiv · 机器人与计算机视觉78

    InnerLogic-Surg:一种基于持续预训练的开源手术基础模型

    InnerLogic-Surg 是一个由数百万张手术图像持续预训练得到的开源手术视觉编码器家族(参数量 21M--300M),数据源自约 2900 小时的互联网手术视频。

    推荐理由:该工作通过持续预训练构建了开源手术视觉编码器家族,在多项基准任务中表现最优,为手术图像分析提供了可迁移的强基座。

  15. arXiv · 机器人与计算机视觉45

    SigDiffuser:基于废墟重建的自监督扩散模型用于手写签名验证

    SigDiffuser 提出一种基于“废墟重建(RFR)”任务的自监督框架,通过故意损毁签名结构引导视觉编码器学习鲁棒表征。实验在多语言数据集上显著优于现有自监督方法及手写签名验证模型,且证实极端损毁比轻微形变更能提升表征质量。代码将公开可用。

  16. arXiv · 机器人与计算机视觉42

    MIIB:基于部分信息分解的多模态自监督学习新框架

    针对多模态数据异质性与交互复杂性问题,研究提出基于部分信息分解的 MIIB 框架,通过双路径架构显式编码冗余、独特与协同信息。该方法利用变分界与基于分数的熵估计优化目标,无需显式互信息估算即可捕捉跨模态交互并抑制冗余信息。实验在多个基准上验证了其对现有最先进多模态自监督方法的持续改进效果。

  17. arXiv · 机器人与计算机视觉75

    FlyingDrones:基于物理渲染的光学流估计数据集与基准

    作者发布了一个名为 FlyingDrones 的基准,包含由物理渲染生成的密集真值光学流和分割掩码,并定义了分辨率归一化指标(EPE Norm)。研究评估了 16 个模型家族在分层子集上的表现,发现架构差异随分辨率增大而显著。此外,基于真实无人机视频的无真值运动对齐测试显示合成排名与真实性能存在中度相关性,微调实验表明该基准数据能有效降低误差并提升定位精度。

  18. arXiv · 机器人与计算机视觉49

    InfMasking:统一变分框架实现协同多模态学习

    InfMasking 提出一种基于无限掩码的统一多模态学习框架,在融合前随机掩蔽各模态特征以强制模型学习跨模态交互模式而非依赖主导模态。该方法通过优化闭式变分界值,在多个基准测试中提升了预测性能并提高了任务标签协同性的均值 PID 估计与 InterSHAP 归因得分。代码已公开,论文已被 IEEE TPAMI 接收发表。

  19. arXiv · 机器人与计算机视觉48

    Egocentric Action Recognition with Objects and Vision-Language Affordances 提出融合冻结 SlowFast 视频专家与基于物体功能(affordances)的注意力机制方法,在 MECCANO 数据集上将 Top-1 准确率从基线提升至 49.9%,代码将在论文接收后开源。

    该方法结合冻结 SlowFast 视频专家与生成零样本物体功能的注意力机制,利用视觉语言模型生成的交互功能过滤非活跃检测,将 MECCANO 数据集上 Top-1 准确率从 44.9% 提升至 49.9%,优于 SlowFast 及物体感知 RGB 基线。研究在标注框与官方检测器两种条件下评估性能,其中约半数精度损失源于非活跃物体检测干扰。代码将在论文被 IEEE FG 2027 接收后发布。

  20. arXiv · 机器人与计算机视觉72

    面向视觉生成的生成器对齐奖励建模与目标感知有界优化方法

    该论文针对视觉生成模型后训练阶段数据分布不匹配及属性监督混淆的问题,提出结合生成器对齐奖励建模(GARM)与目标感知有界优化(TABO)的框架。GARM 通过生成器支持匹配和内容匹配的真实对比降低无关内容干扰;TABO 将学习到的奖励映射为平滑的上界函数以抑制过优化。

  21. arXiv · 机器人与计算机视觉35

    基于内外先验融合的对齐神经图像压缩模型发布

    该研究提出基于四叉树空间通道联合建模的 IE-PFA 上下文模型,利用共享字典作为外部先源并通过 RWKV 模块高效融合内外先验。实验在七个基准上实现平均 BD-Rate 降低 21.65%,参数量仅 29.9M,编码与解码耗时分别为 61ms 和 52ms。代码已开源,支持单网络覆盖 64 个质量级别的变率编码。

  22. arXiv · 机器人与计算机视觉58

    Subspace Learning with Outlier Exposure for Out-of-Distribution Detection

    Hongxu Shen 等人提出一种名为 RecOE 的基于异常暴露的检测框架,旨在利用训练数据中的离群点作为代理分布外数据来微调深度神经网络。该方法通过学习来自分布内数据和辅助离群点的特征子空间,以最小化重构误差捕捉主导变化,并利用样本级目标和正交性正则化减少子空间重叠。

  23. arXiv · 机器人与计算机视觉78

    OptIMerge:一种基于优化的扩散模型融合方法

    针对图像到图像(I2I)扩散模型在多任务学习中的参数干扰与伪影问题,本文提出了 OptIMerge 框架。该方法通过最小化多任务损失函数学习轻量级合并系数,利用架构感知的变换对齐注意力层与卷积层的特征,在冻结专家网络的前提下实现了媲美联合训练的多任务能力。

    推荐理由:提出基于优化的多任务融合框架,解决图像修复类扩散模型直接平均导致的伪影问题。

  24. arXiv · 机器人与计算机视觉78

    标签库增长导致旧决策漂移:VLM 分类器审计与一致性保持方法

    Vision-language classifiers 在仅凭文本学习新标签时,其服务列表持续增长会静默改变基于 softmax 的 conformal scores,进而影响旧标签的决策。

    推荐理由:提出 PrefixCP 方法解决标签库增长导致的旧决策漂移问题,兼顾覆盖率保证与历史决策稳定性。

  25. arXiv · 机器人与计算机视觉82

    长视频问答增益来源受控审计:帧选择、证据注入与专家路由分析

    Shih-Yao Lin 发布 VideoRouteAudit 审计,在固定骨干网络与解码设置下分离了帧选择、非视觉证据注入和模型路由的影响。全量数据(n=900)显示无测试选择器显著优于均匀采样,最大增益仅 +1.2 分且置信区间包含零;小样本(n=200)评估极不稳定,35.8% 的抽样反转了全量效果。

    推荐理由:该审计发现长视频问答的增益主要来自模型切换而非帧选择,且小样本评估极不稳定。

  26. arXiv · 机器人与计算机视觉63

    ArtiVidRM:一种用于视频生成的可验证伪影作为评分标准的奖励模型

    该文提出 ArtiVidRM 模型,采用先观察后评分范式,将可见生成伪影组织成结构化列表并作为明确标准进行质量评估。该方法通过多奖励强化学习联合优化伪影预测与质量排名,在视频偏好基准上达到最先进水平,能为视频扩散模型优化提供有效信号并支持闭源生成器的伪影引导式改进。

  27. arXiv · 机器人与计算机视觉35

    感知失真新框架:空间切片匹配与时间误差对齐提升视频编码质量

    针对神经视频编码中感知质量与重构保真度的权衡问题,该研究提出区分可放松对应关系与必须保留的约束。方法上引入局部切片 Wasserstein 失真(SWD)进行一维最优传输以捕捉跨通道依赖,并采用运动轨迹上的流残差约束编码误差以保持时序一致性。

  28. arXiv · 机器人与计算机视觉63

    SD-LoRA:面向少样本视觉语言适应的训练时结构化蒸馏方法

    针对视觉语言模型的少样本适应问题,该研究提出 SD-LoRA 框架,旨在平衡细粒度视觉区分学习与部署效率。该方法在训练阶段利用异质图教师模型对高分辨率 ViT token 进行 patch-patch、全局 - 局部及视觉 - 文本关系的建模,并通过隐式蒸馏与原型预测对齐将结构偏置转移至共享的 CLIP-LoRA 骨干网络。

11月5日周四
  1. Hugging Face Daily Papers78

    多轮强化学习究竟提升了 LLM Agent 的什么能力?

    该论文评估了采样广度与交互深度对多轮智能体强化学习性能的影响,发现其优势依赖于充足的回合预算且集中于错误恢复与长程韧性,而非均匀提升单步决策质量。作者提出 BudgetMix RL 方法以缓解预算依赖带来的部署风险,并展示了其在多样化执行设置下的鲁棒性。

    推荐理由:原文通过多轮交互预算分析揭示强化学习在长程任务中的优势边界,并提出 BudgetMix RL 以缓解部署风险。

  2. arXiv · 机器人与计算机视觉7

    Learning Optimal Lattice Vector Quantizers for End-to-end Neural Image Compression 论文被 NeurIPS 2024 接收

    该方法提出针对潜在特征样本统计设计的率失真最优晶格向量量化(OLVQ)码本,克服了传统结构对均匀分布依赖的缺陷。实验表明其在保持计算效率的同时显著提升了端到端神经图像压缩的率失真性能,代码已开源。