跳到正文
10月30日周五
  1. Hugging Face Daily Papers71

    面向实时 iOS 应用界面导航的在线稠密强化学习与规划 - grounding 智能体研究

    针对现有视觉语言模型推理成本高及小模型易陷入静态轨迹记忆的问题,本文提出一种在真实 iOS 应用上直接训练 UI 导航代理的在线强化学习框架。该框架将代理解耦为规划与界面定位两个组件,利用 LLM 作为裁判提供稠密奖励信号,并引入 GiGPPO 邻居条件值估计方法以增强 critic 稳定性。

  2. arXiv · 机器人与计算机视觉72

    Ego-OSCAR:开源低成本双目头显采集系统与 550 小时语料发布

    作者发布了 Ego-OSCAR,这是一个基于商品化零件和 3D 打印的低成本(约 200 美元)开源头显采集平台。系统集成了硬件同步的全局快门双目相机与 6 轴 IMU,通过嵌入式 Linux SBC 进行端侧编码,并利用微控制器实现亚毫秒级时钟域桥接与故障监控。

  3. arXiv · 机器人与计算机视觉43

    Focused Forcing:面向视频扩散模型的帧级 KV 缓存选择方法

    Focused Forcing 是一种无需训练的 KV 缓存选择方法,通过结合注意力分数与历史帧多样性分数,针对每生成帧及每个头分配差异化预算。该方法在多种自回归生成范式下实现最高 1.48 倍端到端加速,同时提升视觉质量与文本对齐效果。代码已公开于相关 HTTPS URL。

  4. arXiv · 机器人与计算机视觉48

    安全关键激光雷达惯性里程计:基于流形确定性保护水平的新方法

    针对现有机器人概率导航系统缺乏在线安全评估保护水平的问题,研究提出一种基于新型流形集合成员滤波器的安全关键激光雷达 - 惯性里程计(LIO)。该系统利用点云噪声与估计不确定性的闭式关系,设计了流形椭球体集合成员滤波器(OM-ESMF),为下游自主操作提供确定性的位置可行集作为安全参考。实验结果表明,该方法能为多种机器人在不同环境中提供有效的确定性在线安全参考。

  5. arXiv · 机器人与计算机视觉67

    测试时纠错:一种基于视觉提示词的在线 3D 检测系统

    该研究介绍了一种名为 TTC 的在线 3D 检测系统,旨在通过多种辅助反馈在推理阶段即时纠正错误,无需重新训练即可提升已部署自动驾驶系统的安全性。系统核心是配备了一个由视觉提示词驱动的在线适配器(OA)模块,利用与 2D 检测结果不匹配、道路描述或用户点击等辅助信息生成针对感兴趣物体的图像化描述。

  6. arXiv · 机器人与计算机视觉48

    socx:基于 JAX 的 GPU 加速机会约束随机最优控制求解器

    socx 是一款利用 JAX 实现的 GPU 加速求解器,专为处理带机会约束的提升凸线性随机最优控制问题。在悬停线性的三维四旋翼测试中,其速度较 MOSEK 提升最高达 98 倍、较 SCS 提升 2224 倍,且能解决长达 N=1120 的时间步长任务而 MOSEK 会在 N=320 时耗尽内存。该工具通过分布式优化将问题分解为独立的线性二次型跟踪与欧几里得投影子问题并行求解。

  7. arXiv · 机器人与计算机视觉57

    GC-LIF:一种具备群耦合膜动力学的脉冲群等价神经网络

    该论文提出 GC-LIF 神经元架构,解决了在脉冲神经网络中破坏群等价性的问题。研究证明了当且仅当神经元参数沿群的联合轨道保持常数时,层才能在每个时间步保持等价性,并给出了闭式解。基于此理论构建的 SGE-Net 模型在未进行旋转数据增强的情况下,在多个数据集上实现了 $C_4$和$D_4$群不变性,且性能优于依赖旋转增强训练的普通脉冲神经网络。

  8. arXiv · 机器人与计算机视觉78

    联邦训练是否降低可解释性?集中式与联邦式深度伪造检测的 Grad-CAM 忠实度对比分析

    该论文系统研究了联邦学习对深度伪造检测模型解释性的影响。研究在 FaceForensics++ 数据集上评估 EfficientNet-B4 检测器,发现联邦模型的解释质量与数据异质性呈非单调关系:在接近独立同分布及中等异质条件下,联邦模型的解释忠实度不低于集中式基线;但在极端异质性下,解释完全失效且因果误导。研究提供了识别安全部署边界的实用指导,并开放了代码与数据分区以供复现。

    推荐理由:研究揭示联邦学习在深度伪造检测中解释性随数据异质性呈现非单调变化,极端异质下梯度解释失效。

  9. arXiv · 机器人与计算机视觉43

    Read, Allocate, Route:SpecSlot 角色耦合分词提升像素空间生成 Transformer 效率

    SpecSlot 是一种像素空间整流流 Transformer,通过仅让低频槽参与全局注意力而将高频细节建模为局部交互。在 ImageNet-512 上,该模型相比控制组 FID 提升 2.84、FLOPs 减少 3.9%,且成本仅为 JiT-B/16 的 38.2%。目前论文处于 ICLR 2027 审稿中,代码与权重暂未开放。

  10. arXiv · 机器人与计算机视觉78

    ElasticFormer:基于弹性计算的视觉 Transformer 实现 HRW 场景目标检测

    针对吉像素级高分辨率宽幅(HRW)成像中前景稀疏、分辨率极高及目标数量多样带来的挑战,本文提出 ElasticFormer 模型。该模型通过动态分配计算资源适应不同前景比例,利用 ElasticSelector 模块预测并选择包含目标的窗口以集中算力,结合三阶段训练策略解决无边界框标注时的损失函数问题。

    推荐理由:提出弹性计算架构与动态稀疏选择机制,在保持高解析度宽幅图像检测精度的同时大幅降低算力消耗。

  11. arXiv · 机器人与计算机视觉82

    NIF:面向几何一致性的定向框细化方法

    针对标准回归头预测误差导致边界位移的问题,论文提出 NIF 模块,利用法向交点场对粗粒度定向框进行精细化拟合。该方法在 DOTA-v1.0、DIOR-R 和 HRSC 等数据集上取得最佳单尺度结果,且在冻结检测器时仍能提升 AP75 与 mAP。代码已开源。

    推荐理由:提出 NIF 模块,用可微几何拟合替代回归头,在冻结检测器前提下提升定向目标检测精度。

  12. arXiv · 机器人与计算机视觉84

    AB-Attention:加速视频扩散 Transformer 的精确块注意力方法

    针对视频扩散模型推理中三维全注意力二次方成本高的问题,现有动态稀疏注意力在激进稀疏下保真度下降。本文提出免训练的 AB-Attention 方法,通过仅在查询块内聚类估算重要性、按包含概率加权采样以及优化内核以利用 Tensor Core,在保持甚至提升 PSNR(最高提升 4.4 dB)的同时跳过 89--92% 的注意力计算,实现高达 2.23 倍的端到端加速。代码已开源。

    推荐理由:提出免训练的高效视频扩散注意力机制,在 Wan2.1 和 HunyuanVideo 上跳过 89-92% 计算量同时提升 PSNR。

  13. arXiv · 机器人与计算机视觉38

    YOLOF-MLD:一种针对边缘设备的高效目标检测多级蒸馏框架,通过切片语义匹配与感受野对齐技术,在 Raspberry Pi 5 上相比 YOLO26n 实现参数减少 35.7%、推理速度提升 62.3%,并在 D-Fire 和 AFS 数据集上分别达到 71.6% 和 59.9% 的 mAP@50。

    该框架采用 YOLO26n 骨干网络与 SiSo 颈部结构,旨在解决轻量级模型在火烟监测等安全关键应用中难以兼顾精度与资源约束的问题,代码已公开。

  14. arXiv · 机器人与计算机视觉47

    QbD-VLA:基于任务成功的视觉语言动作模型混合精度量化方法

    QbD-VLA 提出一种利用短闭环评估中任务成功率来分配权重与激活位宽的混合精度量化方案。实验覆盖四个 VLA 模型及全部 LIBERO 套件,在平均约 4 比特权重和少于 6 比特激活下保持强性能;SIMPLER 增益较小,Franka Research 3 机械臂上仿真优选策略对 X-VLA 无成功率损失但针对$\pi_{0.5}$失效。代码已开源,部署前需真实世界验证。

  15. arXiv · 机器人与计算机视觉74

    ST-Pruner:基于谱结构与语义相关性的视觉 Token 剪枝方法

    针对大视觉语言模型推理成本高的问题,本文提出免训练的 ST-Pruner 框架,在 LLM 查询之前利用注意力独立的谱显著性与倒置的块文本相似度进行 Token 选择。实验表明该方法在多种 LVLM 上保留超过 95% 的全量 Token 性能,同时仅使用最多 11.1% 的视觉 Token,并在 LLaVA-NeXT 上实现 3.2 倍的端到端加速。论文已接受至 WACV 2027,代码开源。

10月29日周四
  1. Autoware · Releases82

    Autoware 2.0 发布:引入扩散规划器与生成 - 选择架构

    Autoware 2.0 正式发布,在原有规则基线栈旁新增 AI 规划器选项,采用生成 - 选择架构让用户通过 launch 参数选择 Diffusion Planner。基础模型与数据集已迁移至 Hugging Face,并引入 Autoware Index 管理外部仓库及 Autoware Reference Design 提供可复现的部署配置。

    推荐理由:Autoware 2.0 新增扩散规划器与生成 - 选择架构,并将基础模型迁移至 Hugging Face。

  2. Hugging Face Daily Papers72

    Mage-VL-Cowork:一种从演化架构中学习混合计算机使用的完整训练配方

    论文介绍了 Mage-VL-Cowork,这是一个 4B 参数的混合计算机使用智能体(CUA),旨在将视觉 GUI 交互与代码及终端执行无缝结合。研究通过 Mage-CUA-Forge 合成超过 29.3 万个桌面和网页任务,并采用分阶段课程学习策略,最终在 OSWorld-Verified 基准上达到 66.0% 的准确率,实现了同参数量下的最先进性能。

10月28日周三
  1. arXiv · 机器人与计算机视觉78

    Ctrl-A:一种基于控制理论的自适应在线数据增强机器学习方法

    本文介绍 Ctrl-A(ControlAugment),一种用于图像视觉任务的自动化数据增强算法。该方法引入控制理论原则,在模型训练过程中根据操作响应曲线动态、独立地调整增强强度分布,从而消除对个体增强强度的初始化需求,并减少使用损害模型性能的增强操作。

    推荐理由:提出基于控制理论的自适应在线数据增强算法,通过闭环机制动态调整增强强度以消除手动工程需求。

  2. arXiv · 机器人与计算机视觉82

    DEIMv2:融合 DINOv3 特征的实时目标检测模型

    该研究提出了 DEIMv2 系列目标检测模型,通过结合 DINOv3 特征与空间调优适配器(STA),在涵盖从 X 到 Atto 的八种模型规模上实现了性能与成本的优化。其中最大模型仅用 5030 万参数即达到 57.8 AP,而 S 版本成为首个参数量低于 1000 万且超越 50 AP 里程碑的模型。

    推荐理由:该工作将 DINOv3 特征引入检测框架,在保持参数高效的同时实现了性能突破。

  3. arXiv · 机器人与计算机视觉23

    Smart Surveillance:深度学习与混合方法用于动态场景分析、目标检测与运动追踪

    该研究在七场景基准(5,800帧)对比了六种运动触发器及 CNN 检测器等方案,发现基于检测器的触发器仅存储 19-28% 空闲帧且抗抖动能力强。在 VisDrone 数据集上,YOLO11n 输入分辨率从 640 提升至 1280 使 AP 从 15.5 增至 26.8,INT8 量化降低延迟 17%,长记忆追踪将 IDF1 提升 6.2 点。

  4. arXiv · 机器人与计算机视觉35

    自监督 SAR-光学编码器在商用 x86 硬件上的量化边缘推理研究

    团队在三种商用 x86 节点上部署了预训练的 SAR-光学掩码自动编码器,对比 FP32、FP16 和 INT8 精度下的延迟与能耗。结果显示 INT8 量化对微 mAP 影响仅为 +0.0006,可视为无损;CPU 延迟降低 1.45 倍至 1.53 倍,能效同步提升且最优设备随 CPU 性能增强从集成 GPU 转向 CPU。该研究为地球观测任务在低算力边缘硬件上的精度与成本权衡提供了实测依据。

  5. arXiv · 机器人与计算机视觉82

    V-LUMEN:面向视觉语言模型的视觉查找记忆

    论文提出 V-LUMEN,一种用于视觉语言模型(VLM)的视觉查找记忆机制。该方法利用冻结码本将连续视觉特征离散化,通过空间聚合哈希构建感知空间的记忆键,并利用文本条件的相关性信号进行调制;所有寻址均为非参数化操作,检索到的嵌入向量通过门控残差路径融合到骨干网络中。

    推荐理由:V-LUMEN 通过冻结码本将连续视觉特征离散化,在保持计算量恒定的前提下为 VLM 提供可扩展的外部记忆容量。

  6. arXiv · 机器人与计算机视觉7

    RetailLightNet 轻量模型结合雾计算实现实时零售分析

    针对云端视频分析的高延迟与隐私问题,该研究提出基于雾计算的 F RLN 框架,利用 NVIDIA Jetson Nano 等边缘设备运行。模型采用深度可分离卷积及运动门控帧选择技术,在 SKU110K 和 RPC 数据集上实现 0.988 的精度、0.976 的召回率与 F1 分数,优于现有 CNN 基线。

  7. arXiv · 机器人与计算机视觉56

    MoI-Bench:面向移动设备的图像生成与编辑基准

    论文介绍 MoI-Bench 基准,包含 64 个子任务和 1150 个样本,定义 16 种操作和 8 类视觉目标以构建细粒度评估体系。提出的 MoI-Eval 方法引入任务特定标准,从指令遵循、视觉质量和细节保留三个维度进行评分。评估结果显示,当前端侧模型在高效生成或编辑方面表现尚可,但扩大任务覆盖范围比进一步提升部署效率更为重要,未来需重点改进身份保持和文本渲染能力。

  8. arXiv · 机器人与计算机视觉68

    关于视觉基础模型数据高效微调的说明:多架构与微调范式的实证对比

    该论文针对视觉基础模型(如Mamba)的高效知识转移需求,系统评估了注意力、卷积和Mamba架构在视觉提示(VP)、线性探测(LP)、全量微调(FFT)及低秩适应(LoRA)等范式下的性能差异。研究通过扩展模型选择与超参数调优,提供了在资源受限条件下的实证概览,并探索了常用正则化技术在提升VP性能方面的应用,旨在为高效微调提供实用指导。

  9. arXiv · 机器人与计算机视觉75

    LearnPrunerV2:面向视觉语言模型的可学习渐进式 Token 剪枝方法

    针对现有视觉语言模型 Token 剪枝存在标准不可靠、策略僵化的问题,本文提出 LearnPrunerV2。该方法在骨干网络每层集成轻量可学习模块,融合内在视觉显著性与外在查询相关性进行重要性估计,并引入预算确定性剪枝以建立硬件友好型调度。实验表明,在 LLaVA-v1.5 上剪除 77.8% 视觉 Token 时保留了 99.8% 原始性能,优于现有最先进方法。

  10. arXiv · 机器人与计算机视觉58

    SAGE:一种用于视觉识别的显著性感知通用编码器

    论文提出 SAGE(显著性退火门控编码器),通过显著性引导架构、退火训练范式及两阶段质量感知机制,提升自监督 ViT 在密集预测任务中的表现。该方法在 COCO、ADE20K、TinyImageNet 等基准上达到最先进或竞争性结果,并在华为昇腾 NPUs 上实现多任务最先进性能。代码与预训练模型将在内部审核后发布。

  11. arXiv · 机器人与计算机视觉4

    亚撒哈拉民事登记簿手写文本识别:仅 CPU 推理的智能手机到档案流水线

    针对亚撒哈拉非洲地区缺乏 GPU 与联网条件的场景,研究团队构建了一套基于消费级设备与纯 CPU 推理的手写文本识别流水线。该方案利用乍得市政登记处 1,568 张图像数据微调 Kraken 模型,在六核笔记本上将字符错误率从 14.53% 降至 0.50%,单图处理耗时低于 6 秒且内存峰值低于 2.6 GiB。

  12. arXiv · 机器人与计算机视觉45

    CrowdCC:联合评测人群计数模型的抗腐蚀鲁棒性与部署量化性能

    CrowdCC 基准通过 A100 TensorRT 引擎在 FP32、FP16 及 INT8 精度下,利用 23 种部署动机腐蚀对 4 个数据集的 26 个模型进行联合评估。结果显示采集链路腐蚀导致最大性能下降,且 INT8 量化显著改变抗腐蚀鲁棒性却未稳定提升延迟或能耗。该基准代码已开源,旨在指导模型选择时需同时考量抗腐蚀能力与实测部署成本。

10月27日周二