GroundGUI:基于高质量数据与蒸馏强化学习的 GUI 定位模型
针对 GUI 智能体构建中高质量视觉定位资源稀缺的问题,作者提出了包含 58.6 万截图和 63.3 万指令实例的 ScreenRef 数据集,并设计了从监督微调到强化学习的 D2RL 训练方法。
推荐理由:作者提出 D2RL 方法并基于 ScreenRef 数据集训练出 GroundGUI-8B,在多项 GUI 基准测试中表现优异。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
针对 GUI 智能体构建中高质量视觉定位资源稀缺的问题,作者提出了包含 58.6 万截图和 63.3 万指令实例的 ScreenRef 数据集,并设计了从监督微调到强化学习的 D2RL 训练方法。
推荐理由:作者提出 D2RL 方法并基于 ScreenRef 数据集训练出 GroundGUI-8B,在多项 GUI 基准测试中表现优异。
该论文提出 All-St3R SLAM 框架,旨在解决现有动态 SLAM 存在的过度去除和计算成本高问题。系统结合 DUSt3R 的自运动预测与 All-Tracker 的点跟踪结果,仅分析两者差异来移除当前运动的像素区域,允许暂时静止部分用于跟踪。
推荐理由:该工作提出无需预定义标签的像素级运动掩膜方法,在仅用 RGB 输入下实现约 10 FPS 实时动态 SLAM,优于现有稠密方法。
针对现有表示对齐方法在后期层难以有效获取语义的问题,提出一种名为 RECON 的简单解决方案。该方法在训练阶段将预训练视觉编码器 token 输入到后期层;推理阶段复用 MLP 头作为代理并投影输出 token。实验表明,RECON 无需增加任何参数,收敛速度比 SiT 快 63 倍,比 REPA 快 25 倍。代码已开源。
推荐理由:提出无需增加参数的表示条件化方法,显著加速扩散 Transformer 训练收敛。
该论文针对现有模型难以同时兼顾静态 3D 和动态 4D 理解的难题,提出 DynThinker 统一框架。通过解耦指数移动平均(D-EMA)约束干扰敏感参数漂移,并结合语义引导的空间 - 动态融合(SDF)整合时空先验。在涵盖九个静态与动态基准的十项指标中,DynThinker 取得最高平均分,并在 ReVSI、DSR-Bench 及 DSI-Bench 等任务上刷新开源模型记录。
推荐理由:该工作提出统一框架解决静态与动态空间推理的干扰问题,在多项基准测试中取得开源模型最佳平均分数。
现有几何感知的多模态大语言模型(MLLM)通常依赖外部 3D 编码器提供结构先验,但这在推理时引入显著延迟和计算开销。本文提出 GeoThinker-F 框架,通过将因果 MLLM 隐藏状态转化为预测性潜在世界表征来内部化时空感知。
推荐理由:该工作提出 GeoThinker-F 框架,通过内部化时空感知消除对外部 3D 编码器的依赖,推理速度提升 3.6 倍。
该论文介绍 Player-1 框架,旨在超越演示数据限制,通过学习合成经验来提升计算机智能体的游戏控制能力。研究扩展了动作空间以支持相对指针运动和复合操作,并在 6,044 条精选轨迹上进行监督微调初始化。
推荐理由:该工作提出 Player-1 框架,利用合成数据与复合动作提升游戏控制能力,为通用数字代理训练提供新路径。
论文针对交互式视频生成中依赖小双向片段以降低延迟但牺牲质量的矛盾,提出 Speculative Sampling 策略。该方法通过追加噪声潜变量作为填充来扩展建模窗口并缓存预测结果,在保持条件不变时实现预测复用;同时支持增量交付与未来替换。
推荐理由:提出 Speculative Sampling 策略,通过缓存预测与噪声填充平衡大窗口质量与小窗口低延迟,为交互式视频生成提供新优化路径。
现有机器人策略记忆通常随观测序列演化,隐含地将每次更新视为相同的物理时长,忽略了相同观测历史可能跨越不同持续时间并需不同动作的事实。本文提出 Temporal Flow Policy (TFP),通过学习记忆动力学来保留过去事件并在测量的时间间隔内演化记忆状态。
推荐理由:提出将物理时间作为机器人策略记忆的关键维度,通过引入时间流机制提升在需要时序与记忆的物理操作任务中的成功率。
该论文提出 Graph-Reweighted Behavior Cloning (GR-BC) 框架,用于解决长程精确操作中混合质量数据的利用问题。方法构建任务条件化的目标可达性图,通过反向图搜索计算剩余步数并据此对动作片段进行后果加权,从而复用失败轨迹中的可恢复段并将人类干预作为恢复路径。
推荐理由:提出图重加权行为克隆框架,利用人类干预数据提升长程操作成功率。
该论文提出一种分层分辨率体素映射机制,将 LiDAR 数据同时整合为两种分辨率:机器人当前计划走廊内采用精细分辨率,其余区域采用粗糙分辨率。与传统导航管线不同,该方法建立反馈回路,让规划过程动态指导信息在不同叶节点的整合。
推荐理由:提出分层分辨率体素映射机制,在保持路径规划成本的同时显著降低存储与计算开销。
针对复杂动态环境中长视界多臂任务的安全在线执行难题,本文提出一种新的分布式动态高斯信念传播(DD-GBP)方法。该方法通过并行局部推理直接规划关节空间轨迹,利用统一的高斯过程参数化连接自适应规划视界、插值时间因子与连续执行。
推荐理由:提出分布式动态高斯信念传播方法,在四臂多目标动态场景中实现 92.5% 无碰撞完成率,并具备实时性与抗通信干扰能力。
该研究挑战了机器人基础模型必须使用连续向量表示动作的共识,通过从头训练的单任务和多任务 VLA 在仿真与真实硬件上的广泛对比发现,即便是最基础的均匀分箱量化等离散动作预测方法,其任务成功率也能匹配或超越连续动作策略。
推荐理由:论文通过仿真与真实硬件实验,论证离散动作预测在任务成功率上可匹敌甚至超越连续动作策略,并指出其核心挑战在于分布分解误差而非精度。
论文介绍 PreActIR 框架,该框架通过工具条件世界模型在执行前预测残差退化、图像质量及风险,并由独立验证器决定是否提交或回滚输出。实验显示,在固定候选池与预算下,该方法比试错方法减少 42.5% 真实工具调用和 63.4% 被拒绝调用,同时提升 Y-PSNR 0.92 dB。材料为 arXiv 预印本,处于审稿中。
推荐理由:提出 PreActIR 框架,在固定候选池与预算下比试错方法减少 42.5% 真实工具调用并提升 Y-PSNR。
该论文针对现有指代表达理解基准仅关注最终目标定位、忽视中间视觉参考依赖的问题,提出了轨迹级 REC 新范式与 ReferFlow-Bench 基准。作者提出 ReferFlow 模型,通过状态化区域隐变量推理解耦文本潜空间生成与坐标解码,并引入感知地标的 GRPO 优化策略,在通用指代理解基准及自建基准上取得领先性能。材料为预印本论文,未涉及真实机器人部署或产品发布。
推荐理由:提出轨迹级指代理解新基准与解耦生成架构,揭示当前模型在中间参考定位上的不足并提供改进方案。
InfiniSplat v2 针对前馈高斯重建在大视角变化下难以学习高质量属性的问题,提出解耦几何与属性预测的架构。方法在训练时使用真实相机位姿对齐预测高斯,并采用大角度目标视图监督。实验显示,该方法在六个数据集上实现了 SOTA 的 LPIPS 和 DISTS 指标,相比最强基线分别降低 25.8% 和 32.9%。研究还发现仅用图像重建监督学习的透明度会抑制几何不一致点。
推荐理由:该文分析前馈高斯重建在几何与属性解耦上的局限,提出冻结几何分支与大角度监督等新架构,在六个数据集上实现 SOTA 性能。
作者发布了 TacClaw-Infinity,这是一个针对接触丰富操作任务的大规模结构化 VTLA 数据集。数据通过分布式采集获得,涵盖家庭、实验室及工业场景,包含超过 10,000 小时视频、100 万集数和 10 亿帧画面,涉及千余种任务类型。研究团队开发了可扩展的轨迹重建与多模态质量控制流程,并验证了该数据集在三种异构机器人上的跨本体迁移能力,证明其无需特定机器人演示即可支持模型训练。
推荐理由:该工作发布了一个大规模触觉 - 视觉 - 语言 - 动作数据集,支持跨本体迁移且无需特定机器人演示。
针对多模态大语言模型(MLLMs)在后门攻击下的脆弱性,现有防御方法受限于对静态快照的依赖及特定启发式规则。本文提出 EVO-Detect 框架,将诊断范式从静态观察转向动态输出演化监测。
推荐理由:提出 EVO-Detect 框架,通过监测解码过程中的注意力流与 logits 流动态演化来检测多模态大模型后门攻击。
针对强化学习机器人在部署时因环境变化导致性能下降且难以重训练的问题,本文提出 TEMPO 方法。该方法利用冻结的预训练评论家(critic)作为代理,通过熵正则化缓解过度自信外推,并结合基于分数的记忆机制优先处理难样本以聚焦关键计算。
推荐理由:提出 TEMPO 方法,通过熵正则化与记忆引导优化策略,在仿真及真实机器人上实现测试时自适应。
该研究提出了一种在水印保护设置下的对抗性人脸规避攻击(PGD-L_2),旨在暴露仅依赖溯源或篡改检测无法保证可靠生物特征身份的结构性缺口。实验在受控面部图像、两种水印方案及两个数据集上评估,结果显示攻击在操作阈值下逃逸率超过 92%,同时保持 StegaFormer 水印恢复率高于 93% 和 FaceSigns 高于 99.7%,视觉质量 PSNR 高于 47dB。
推荐理由:论文揭示了水印有效但生物特征识别失效的结构化漏洞,在保持水印可恢复的同时实现了高逃逸率。
该论文提出了 GLoD-LVSM,一种用于大视角合成模型(LVSM)的紧凑、几何感知的场景表示方法,采用连续细节层级以匹配预算。
推荐理由:提出几何感知的连续细节层级场景表示,在保持渲染质量的同时显著降低 token 数量并加速推理。