面向实时 iOS 应用界面导航的在线稠密强化学习与规划 - grounding 智能体研究
针对现有视觉语言模型推理成本高及小模型易陷入静态轨迹记忆的问题,本文提出一种在真实 iOS 应用上直接训练 UI 导航代理的在线强化学习框架。该框架将代理解耦为规划与界面定位两个组件,利用 LLM 作为裁判提供稠密奖励信号,并引入 GiGPPO 邻居条件值估计方法以增强 critic 稳定性。
针对现有视觉语言模型推理成本高及小模型易陷入静态轨迹记忆的问题,本文提出一种在真实 iOS 应用上直接训练 UI 导航代理的在线强化学习框架。该框架将代理解耦为规划与界面定位两个组件,利用 LLM 作为裁判提供稠密奖励信号,并引入 GiGPPO 邻居条件值估计方法以增强 critic 稳定性。
作者发布了 Ego-OSCAR,这是一个基于商品化零件和 3D 打印的低成本(约 200 美元)开源头显采集平台。系统集成了硬件同步的全局快门双目相机与 6 轴 IMU,通过嵌入式 Linux SBC 进行端侧编码,并利用微控制器实现亚毫秒级时钟域桥接与故障监控。
Focused Forcing 是一种无需训练的 KV 缓存选择方法,通过结合注意力分数与历史帧多样性分数,针对每生成帧及每个头分配差异化预算。该方法在多种自回归生成范式下实现最高 1.48 倍端到端加速,同时提升视觉质量与文本对齐效果。代码已公开于相关 HTTPS URL。
针对现有机器人概率导航系统缺乏在线安全评估保护水平的问题,研究提出一种基于新型流形集合成员滤波器的安全关键激光雷达 - 惯性里程计(LIO)。该系统利用点云噪声与估计不确定性的闭式关系,设计了流形椭球体集合成员滤波器(OM-ESMF),为下游自主操作提供确定性的位置可行集作为安全参考。实验结果表明,该方法能为多种机器人在不同环境中提供有效的确定性在线安全参考。
论文介绍 GViT,一种使用 patch-conditioned 2D Gaussian primitives 作为输入 token 的监督分类框架。ViT-S 编码器预测位置、尺度、方向、颜色和透明度等参数,这些参数既用于通过可微渲染器重建图像,也作为分类器输入。
该研究介绍了一种名为 TTC 的在线 3D 检测系统,旨在通过多种辅助反馈在推理阶段即时纠正错误,无需重新训练即可提升已部署自动驾驶系统的安全性。系统核心是配备了一个由视觉提示词驱动的在线适配器(OA)模块,利用与 2D 检测结果不匹配、道路描述或用户点击等辅助信息生成针对感兴趣物体的图像化描述。
socx 是一款利用 JAX 实现的 GPU 加速求解器,专为处理带机会约束的提升凸线性随机最优控制问题。在悬停线性的三维四旋翼测试中,其速度较 MOSEK 提升最高达 98 倍、较 SCS 提升 2224 倍,且能解决长达 N=1120 的时间步长任务而 MOSEK 会在 N=320 时耗尽内存。该工具通过分布式优化将问题分解为独立的线性二次型跟踪与欧几里得投影子问题并行求解。
针对智能手机室内定位中行人 dead reckoning 积累的航向漂移、结构过渡及携带模式变化误差,本文提出一种由数据与模型共同驱动的分层多传感器上下文识别框架。
该论文提出 GC-LIF 神经元架构,解决了在脉冲神经网络中破坏群等价性的问题。研究证明了当且仅当神经元参数沿群的联合轨道保持常数时,层才能在每个时间步保持等价性,并给出了闭式解。基于此理论构建的 SGE-Net 模型在未进行旋转数据增强的情况下,在多个数据集上实现了 $C_4$和$D_4$群不变性,且性能优于依赖旋转增强训练的普通脉冲神经网络。
该论文系统研究了联邦学习对深度伪造检测模型解释性的影响。研究在 FaceForensics++ 数据集上评估 EfficientNet-B4 检测器,发现联邦模型的解释质量与数据异质性呈非单调关系:在接近独立同分布及中等异质条件下,联邦模型的解释忠实度不低于集中式基线;但在极端异质性下,解释完全失效且因果误导。研究提供了识别安全部署边界的实用指导,并开放了代码与数据分区以供复现。
推荐理由:研究揭示联邦学习在深度伪造检测中解释性随数据异质性呈现非单调变化,极端异质下梯度解释失效。
SpecSlot 是一种像素空间整流流 Transformer,通过仅让低频槽参与全局注意力而将高频细节建模为局部交互。在 ImageNet-512 上,该模型相比控制组 FID 提升 2.84、FLOPs 减少 3.9%,且成本仅为 JiT-B/16 的 38.2%。目前论文处于 ICLR 2027 审稿中,代码与权重暂未开放。
针对吉像素级高分辨率宽幅(HRW)成像中前景稀疏、分辨率极高及目标数量多样带来的挑战,本文提出 ElasticFormer 模型。该模型通过动态分配计算资源适应不同前景比例,利用 ElasticSelector 模块预测并选择包含目标的窗口以集中算力,结合三阶段训练策略解决无边界框标注时的损失函数问题。
推荐理由:提出弹性计算架构与动态稀疏选择机制,在保持高解析度宽幅图像检测精度的同时大幅降低算力消耗。
arXiv 论文介绍 LiDAR-SHIELD,这是一个统一的、完全 Docker 化的框架,用于对基于 LiDAR 的 3D 感知模型进行对抗鲁棒性压力测试。
针对标准回归头预测误差导致边界位移的问题,论文提出 NIF 模块,利用法向交点场对粗粒度定向框进行精细化拟合。该方法在 DOTA-v1.0、DIOR-R 和 HRSC 等数据集上取得最佳单尺度结果,且在冻结检测器时仍能提升 AP75 与 mAP。代码已开源。
推荐理由:提出 NIF 模块,用可微几何拟合替代回归头,在冻结检测器前提下提升定向目标检测精度。
针对视频扩散模型推理中三维全注意力二次方成本高的问题,现有动态稀疏注意力在激进稀疏下保真度下降。本文提出免训练的 AB-Attention 方法,通过仅在查询块内聚类估算重要性、按包含概率加权采样以及优化内核以利用 Tensor Core,在保持甚至提升 PSNR(最高提升 4.4 dB)的同时跳过 89--92% 的注意力计算,实现高达 2.23 倍的端到端加速。代码已开源。
推荐理由:提出免训练的高效视频扩散注意力机制,在 Wan2.1 和 HunyuanVideo 上跳过 89-92% 计算量同时提升 PSNR。
该框架采用 YOLO26n 骨干网络与 SiSo 颈部结构,旨在解决轻量级模型在火烟监测等安全关键应用中难以兼顾精度与资源约束的问题,代码已公开。
论文提出 PACK3D,这是一种针对打包 3D 体积数据的局部 - 全局注意力算子。该方法通过轴向 RoPE 索引真实的令牌网格坐标而非打包位置,将旋转应用于块摘要之前,从而保持压缩后的全局上下文在空间上可解释。
QbD-VLA 提出一种利用短闭环评估中任务成功率来分配权重与激活位宽的混合精度量化方案。实验覆盖四个 VLA 模型及全部 LIBERO 套件,在平均约 4 比特权重和少于 6 比特激活下保持强性能;SIMPLER 增益较小,Franka Research 3 机械臂上仿真优选策略对 X-VLA 无成功率损失但针对$\pi_{0.5}$失效。代码已开源,部署前需真实世界验证。
针对大视觉语言模型推理成本高的问题,本文提出免训练的 ST-Pruner 框架,在 LLM 查询之前利用注意力独立的谱显著性与倒置的块文本相似度进行 Token 选择。实验表明该方法在多种 LVLM 上保留超过 95% 的全量 Token 性能,同时仅使用最多 11.1% 的视觉 Token,并在 LLaVA-NeXT 上实现 3.2 倍的端到端加速。论文已接受至 WACV 2027,代码开源。
Autoware 2.0 正式发布,在原有规则基线栈旁新增 AI 规划器选项,采用生成 - 选择架构让用户通过 launch 参数选择 Diffusion Planner。基础模型与数据集已迁移至 Hugging Face,并引入 Autoware Index 管理外部仓库及 Autoware Reference Design 提供可复现的部署配置。
推荐理由:Autoware 2.0 新增扩散规划器与生成 - 选择架构,并将基础模型迁移至 Hugging Face。
论文介绍了 Mage-VL-Cowork,这是一个 4B 参数的混合计算机使用智能体(CUA),旨在将视觉 GUI 交互与代码及终端执行无缝结合。研究通过 Mage-CUA-Forge 合成超过 29.3 万个桌面和网页任务,并采用分阶段课程学习策略,最终在 OSWorld-Verified 基准上达到 66.0% 的准确率,实现了同参数量下的最先进性能。
无问芯穹(Infinigence AI)在NVIDIA Research推出的GPU算子性能评测榜单SOL-ExecBench上取得显著成绩,以88项单题第一位居所有参赛团队之首。
本文介绍 Ctrl-A(ControlAugment),一种用于图像视觉任务的自动化数据增强算法。该方法引入控制理论原则,在模型训练过程中根据操作响应曲线动态、独立地调整增强强度分布,从而消除对个体增强强度的初始化需求,并减少使用损害模型性能的增强操作。
推荐理由:提出基于控制理论的自适应在线数据增强算法,通过闭环机制动态调整增强强度以消除手动工程需求。
论文提出 HiAP 框架,将 ViT 剪枝转化为单阶段预算感知学习问题,联合分配四个粒度的稀疏度。该方法引入宏观与微观层面的随机 Gumbel-Sigmoid 门控,无需重要性启发式或二次微调即可收敛至稠密子网络。
该研究提出了 DEIMv2 系列目标检测模型,通过结合 DINOv3 特征与空间调优适配器(STA),在涵盖从 X 到 Atto 的八种模型规模上实现了性能与成本的优化。其中最大模型仅用 5030 万参数即达到 57.8 AP,而 S 版本成为首个参数量低于 1000 万且超越 50 AP 里程碑的模型。
推荐理由:该工作将 DINOv3 特征引入检测框架,在保持参数高效的同时实现了性能突破。
该研究在七场景基准(5,800帧)对比了六种运动触发器及 CNN 检测器等方案,发现基于检测器的触发器仅存储 19-28% 空闲帧且抗抖动能力强。在 VisDrone 数据集上,YOLO11n 输入分辨率从 640 提升至 1280 使 AP 从 15.5 增至 26.8,INT8 量化降低延迟 17%,长记忆追踪将 IDF1 提升 6.2 点。
团队在三种商用 x86 节点上部署了预训练的 SAR-光学掩码自动编码器,对比 FP32、FP16 和 INT8 精度下的延迟与能耗。结果显示 INT8 量化对微 mAP 影响仅为 +0.0006,可视为无损;CPU 延迟降低 1.45 倍至 1.53 倍,能效同步提升且最优设备随 CPU 性能增强从集成 GPU 转向 CPU。该研究为地球观测任务在低算力边缘硬件上的精度与成本权衡提供了实测依据。
论文提出 V-LUMEN,一种用于视觉语言模型(VLM)的视觉查找记忆机制。该方法利用冻结码本将连续视觉特征离散化,通过空间聚合哈希构建感知空间的记忆键,并利用文本条件的相关性信号进行调制;所有寻址均为非参数化操作,检索到的嵌入向量通过门控残差路径融合到骨干网络中。
推荐理由:V-LUMEN 通过冻结码本将连续视觉特征离散化,在保持计算量恒定的前提下为 VLM 提供可扩展的外部记忆容量。
针对云端视频分析的高延迟与隐私问题,该研究提出基于雾计算的 F RLN 框架,利用 NVIDIA Jetson Nano 等边缘设备运行。模型采用深度可分离卷积及运动门控帧选择技术,在 SKU110K 和 RPC 数据集上实现 0.988 的精度、0.976 的召回率与 F1 分数,优于现有 CNN 基线。
论文介绍 MoI-Bench 基准,包含 64 个子任务和 1150 个样本,定义 16 种操作和 8 类视觉目标以构建细粒度评估体系。提出的 MoI-Eval 方法引入任务特定标准,从指令遵循、视觉质量和细节保留三个维度进行评分。评估结果显示,当前端侧模型在高效生成或编辑方面表现尚可,但扩大任务覆盖范围比进一步提升部署效率更为重要,未来需重点改进身份保持和文本渲染能力。
该论文针对视觉基础模型(如Mamba)的高效知识转移需求,系统评估了注意力、卷积和Mamba架构在视觉提示(VP)、线性探测(LP)、全量微调(FFT)及低秩适应(LoRA)等范式下的性能差异。研究通过扩展模型选择与超参数调优,提供了在资源受限条件下的实证概览,并探索了常用正则化技术在提升VP性能方面的应用,旨在为高效微调提供实用指导。
FastBEVFusion 提出了一种简单快速且鲁棒的 3D 目标检测融合方案,在 nuScenes 数据集上实现超过 50 FPS 的推理速度。该系统基于半对齐 BEV 空间与轻量级交叉注意力模块,无需依赖深度估计即可有效处理 LiDAR 和相机数据。
针对现有视觉语言模型 Token 剪枝存在标准不可靠、策略僵化的问题,本文提出 LearnPrunerV2。该方法在骨干网络每层集成轻量可学习模块,融合内在视觉显著性与外在查询相关性进行重要性估计,并引入预算确定性剪枝以建立硬件友好型调度。实验表明,在 LLaVA-v1.5 上剪除 77.8% 视觉 Token 时保留了 99.8% 原始性能,优于现有最先进方法。
AxisQ 提出一种深度自适应比特分配框架,在浅层特征使用通道域、深层特征使用局部频率域以保留微弱边界。该方法在 CAMO 基准上实现 W2A2 量化,CFRN 和 CamoFormer-P 的加权 F-measure 分别提升 12.7% 和 33.3%,优于最强基线。
论文提出 SAGE(显著性退火门控编码器),通过显著性引导架构、退火训练范式及两阶段质量感知机制,提升自监督 ViT 在密集预测任务中的表现。该方法在 COCO、ADE20K、TinyImageNet 等基准上达到最先进或竞争性结果,并在华为昇腾 NPUs 上实现多任务最先进性能。代码与预训练模型将在内部审核后发布。
针对亚撒哈拉非洲地区缺乏 GPU 与联网条件的场景,研究团队构建了一套基于消费级设备与纯 CPU 推理的手写文本识别流水线。该方案利用乍得市政登记处 1,568 张图像数据微调 Kraken 模型,在六核笔记本上将字符错误率从 14.53% 降至 0.50%,单图处理耗时低于 6 秒且内存峰值低于 2.6 GiB。
CrowdCC 基准通过 A100 TensorRT 引擎在 FP32、FP16 及 INT8 精度下,利用 23 种部署动机腐蚀对 4 个数据集的 26 个模型进行联合评估。结果显示采集链路腐蚀导致最大性能下降,且 INT8 量化显著改变抗腐蚀鲁棒性却未稳定提升延迟或能耗。该基准代码已开源,旨在指导模型选择时需同时考量抗腐蚀能力与实测部署成本。
论文提出了 WeVisCut 系统,旨在解决长视频生成中跨镜头决策一致性问题。该系统将工具执行与策略学习相结合,利用编辑逆运算和验证重放技术构建数据管道,从 3,750 个成品视频中提取超过 130K 个训练样本。
针对仅需部分显存的 AI 负载,NVIDIA CUDA 13.4 支持在 Kubernetes 环境中通过内存机制进行 GPU 资源共享。该技术允许平台团队利用现有基础设施承载更多工作负载,有效解决全设备分配导致的容量闲置问题。
针对 Inclusion AI 模型 Ling-3.0-flash 在 NVIDIA DGX Spark 上的 batch-size-1 评估,分析显示解码阶段受限于读取模型权重的内存带宽。其中混合专家(MoE)计算与输出层投影是两大关键瓶颈操作。文章提出三种优化策略以突破该性能限制。