ConClick:元素级对比学习提升 GUI 定位精度
针对现有 GUI 定位模型易误点非目标元素的痛点,本文提出 ConClick 对比学习框架及 ConClick-Data 数据集(含 4,292 对挑战样本)。
推荐理由:该工作通过对比学习框架与专用数据集,显著提升了 GUI 定位准确率并提供了可复用的推理策略。
内容形态
可复用的视觉、机器人、仿真与智驾工程方法。
41 条精选近 30 天 20 条共收录 326 条
针对现有 GUI 定位模型易误点非目标元素的痛点,本文提出 ConClick 对比学习框架及 ConClick-Data 数据集(含 4,292 对挑战样本)。
推荐理由:该工作通过对比学习框架与专用数据集,显著提升了 GUI 定位准确率并提供了可复用的推理策略。
字节Seed团队研究发现,DeepSeek-V4系列模型在长上下文检索中表现出显著的“相位敏感性”,即同一条信息仅改变输入位置(Token站位),其检索准确率便会呈现与压缩步长一致的周期性波动。
推荐理由:字节Seed团队发现分块KV Cache压缩引入相位敏感性,导致模型检索能力随输入位置周期性波动,后训练与架构迭代可显著缓解该问题。
针对世界动作模型(WAM)高推理延迟限制机器人控制响应的问题,作者提出了 RealtimeWAM 这一无需重新训练的通用框架。该框架通过层间依赖重叠观测处理与预测、在视觉稳定区域缓存特征以及复用 Transformer 残差等策略协调并行执行与自适应计算。
推荐理由:该工作提出无需重新训练的通用框架,通过并行执行与自适应计算显著降低推理延迟,在真实任务中提升成功率。
论文提出 NeMo-DCR(Delta-Compressed Refit)方案,解决智能体强化学习中全量权重同步耗时过长的问题。该方法仅传输变化量且保证接收端比特位完全一致,利用仿射映射投影变化和可压缩 XOR 掩码处理残差,结合对象存储流式传输替代跨集群集体通信。
推荐理由:提出 NeMo-DCR 方案,通过位精确差分压缩将万亿参数模型跨集群重拟合时间从 87.5 分钟降至 150 秒。
该研究针对交互式视频世界模型中每块生成需多次昂贵去噪的问题,提出无需训练的 CtrlCache 框架。该方法利用控制信号提前到达的特性,分析相邻块在动作变化处的结构相似性差异,将块标记为初始、过渡、转向或稳态阶段。
推荐理由:提出无需训练的 CtrlCache 框架,通过控制感知调度与频率混合先验指导,在保持交互响应度的同时显著降低视频世界模型的推理成本。
针对视觉语言动作(VLA)策略频繁调用推理导致的高能耗问题,该研究提出 ActTune 框架,通过层间精度分配与基于负载的 GPU 工作点选择来优化能效。该方法利用轻量决策树从配置误差中学习,在每次策略调用前选择最佳精度,并异步应用校准后的 GPU 工作点以控制延迟预算。
推荐理由:ActTune 框架通过感知动作的量化敏感度与动态调整 GPU 工作点,在保持任务成功率的同时显著降低能耗并提升推理速度。
针对扩散或流匹配动作头在处理去噪轨迹时缺乏阶段感知的不足,该研究提出 StairVLA 框架,利用部分去噪动作作为高层长视界规划与局部精细化的接口。系统采用高层 VLA 进行早期去噪以生成可复用的长时序轨迹,同时由轻量级精炼器高频更新局部动作块。
推荐理由:该方法通过分层架构复用高层 VLA 计算并保留高频闭环修正,在 LIBERO 基准上提升成功率并降低推理延迟。
针对扩散 Transformer 重复去噪器评估带来的高计算成本,本文提出一种无需训练的框架,利用条件共模抑制效应构建固定模块复用调度。通过两阶段校准建立缓存簿,在推理时实现无需每输入估计策略的加速。实验显示该方法在图像模型上提升 1.66-1.72 倍,视频模型上提升 1.54-1.68 倍,并可结合 MagCache 或 SeaCache 进一步加速。
推荐理由:原文提出无需训练的微调框架,利用条件共模抑制效应构建固定缓存策略,在图像和视频生成模型上实现 1.54-1.72 倍加速。
该研究针对机器人操作中严格的推理截止时间问题,对四种代表性 VLA 模型在边缘 GPU 服务器和车载 SoC 上的运行行为进行了系统表征。实验通过 43,200 次闭环测试发现,动作张量维度决定计算或内存瓶颈,平台平衡可改变瓶颈位置,且 GPU 频率缩放存在依赖平台的能效甜点。
推荐理由:文章基于 4.3 万闭环实验,量化了边缘端 VLA 模型在 batch-1 控制场景下的瓶颈与能效权衡,为架构、硬件及运行时策略的联合设计提供数据支撑。
论文介绍 CentriQ,这是一种针对扩散 Transformer(DiT)的免校准量化技术。该方法通过在旋转前对每个 token 进行中心化处理,并利用秩 -1 全精度分支恢复均值,从而在无需数据的情况下确定量化范围。
推荐理由:提出一种无需校准的扩散 Transformer 量化方法,在低比特下保持生成质量并优于现有无校准方案。
针对模仿学习策略继承演示速度且测试时修改易导致分布外观测的问题,本文提出 FreeSpeed 模块,无需重新训练即可对预训练策略的动作块进行后处理以调节执行速率。
推荐理由:提出无需训练的模块,通过动作块的方向不一致性信号自适应调节执行速度,在仿真与真实任务中均保持高成功率。
针对 VLA 模型因频繁调用策略导致的停顿问题,本文分析发现长动作块内的错误集中在操作子技能转换处。为此提出 RACE 框架,利用辅助一步去噪预测切换时机并以此调节动作生成。在仿真基准中,RACE 在更长动作块下成功率优于微调及近期 SOTA;在真实机器人上,使用 4 倍长动作块将空闲时间减少约 5 倍且成功率更高。代码与演示已公开。
推荐理由:原文分析了长动作块中的错误集中点,提出通过辅助去噪预测切换时机来降低误差。
针对双系统视觉语言动作模型中通用推理模块固定频率调用的静态策略浪费计算资源的问题,提出 TUD 自适应推理框架。该方法利用缓存上下文下的动作重预测跨步离散度作为预测不确定性信号,无需人工标注或辅助模型即可动态跳过不必要的通用调用。在 VLA-Arena 基准测试及真实机器人实验中,TUD 在匹配调用预算下实现了更高的成功率,并将通用模型调用次数减少了 75%,同时有效分离成功与失败的轨迹。
推荐理由:提出基于预测不确定性的自适应推理框架,在保持低开销的同时显著降低通用模型调用次数并提升成功率。
针对大规模视觉语言动作模型计算成本高难以部署的问题,本文提出了 FastOPD 框架,通过同策略蒸馏将大模型知识迁移至紧凑学生网络。该方法结合单状态教师监督与自一致性目标,理论上可恢复理想少步模型的分布特性。
推荐理由:提出基于同策略蒸馏的轻量化框架,在仿真与真机实验中验证了大幅降低推理延迟同时保持性能的方法。
该论文提出 Mara Chain,一种将优化过程中被丢弃的候选方案转化为后续迭代基石的新方法。现有 propose-evaluate-select 流程常因直接丢弃不合格候选而导致重复探索相同失效模式;Mara Chain 则保留并利用先前尝试积累的证据对拒绝项进行迭代精炼,同时限制链长并应用 Pareto-filtered Top-N 选择以控制候选池规模。
推荐理由:该工作提出 Mara Chain,将优化中被丢弃的候选方案转化为后续迭代的基石,在 AppWorld、TerminalBench 2.1 和 MuSiQue 等基准上显著提升了任务性能并减少了采样次数。
Skild AI 在首次商业部署十个月后年经常性收入突破 1 亿美元,其中约 90% 来自操作任务。CEO Deepak Pathak 与总裁 Abhinav Gupta 强调部署是机器人研究的隐藏支柱,并介绍了基于 NVIDIA 基础设施的 S1 模型,该模型支持通过上下文学习适应变化而无需重新训练权重。
推荐理由:Skild 宣布营收突破 1 亿美元,并阐述其以部署为核心驱动模型 S1 研发的策略与成果。
文远知行正式发布物理 AI 认知基础模型 WeRide WITT(World Intelligence Toward Truth),该模型基于原子物理事实(APFs)框架,通过提取、推理、验证和整理可信事实来构建对物理世界的理解。
推荐理由:文远知行发布基于原子物理事实的认知基础模型 WITT,通过提取、推理与验证可信事实来降低幻觉并提升长尾场景挖掘效率。
Frontier Lab 宣布获得包括 Radical Ventures(领投)、8VC、Union Square Ventures 等在内的新一轮融资,总融资金额超过 5 亿美元。公司计划利用这笔资金继续推进机器人学习规模化,开发下一代模型并扩展物理数据引擎与计算基础设施。此前 GEN-1 模型已在灵巧操作任务中展现出高可靠性与执行速度提升,新资金将支持其构建跨形态、环境与应用的通用智能系统。
推荐理由:Frontier Lab 宣布获得包括 Radical Ventures、NVIDIA 等在内的新一轮融资,将用于加速机器人基础模型与物理 AGI 的研发及基础设施扩展。
Berkeley BAIR 团队发布 GRASP(Gradient RelAxed Stochastic Planner),一种针对学习到的动力学世界模型的梯度基规划器,旨在使长视界规划变得可行。
推荐理由:Berkeley BAIR 发布 GRASP 梯度规划器,通过升维状态与重塑梯度解决长视界规划脆弱性。
Figure 宣布 Figure 02 机器人在宝马斯巴坦堡工厂完成部署,在 10 个月内实现全天候运行并贡献了超过 3 万辆 X3 车辆的生产。该机器人完成了包括钣金装载在内的关键任务,累计运行超 1250 小时、执行超 120 万步动作。
推荐理由:Figure 02 在宝马工厂完成量产部署并贡献了 3 万辆 X3 生产数据,其硬件可靠性与机械臂设计经验已直接应用于 Figure 03 的架构重构。