跳到正文
2026 年 10 月 8 日 · 星期四每天 08:00 出刊

看懂日报 · 2026 年 10 月 8 日 · 星期四

kandong

第 3 期082026 年 10 月星期四
24件大事2个来源0件一手发布约 9 分钟读完
头条

GaugeBench 揭示描述变更致机器人策略性能骤降

今日物理 AI 领域聚焦具身智能与世界模型进展:GaugeBench 基准证实固定机制下仅改变物理等价描述(如关节轴方向)会导致 MetaMorph 等策略性能从 4030.6 骤降至 51.6;SimToolReal 框架提出在仿真中程序化生成工具原语以训练通用目标位姿操作策略,无需针对特定对象额外训练。

arXiv · 机器人与计算机视觉原文
01

具身智能

arXiv · 机器人与计算机视觉

SimToolReal:面向零样本灵巧工具操作的物体中心策略

论文提出了 SimToolReal 框架,旨在解决机器人灵巧工具操作难题。该方法通过在仿真中程序化生成大量工具类原语,训练单一强化学习策略以实现通用目标位姿操作,无需针对特定对象或任务进行额外训练。

arXiv · 机器人与计算机视觉

PEARS:基于物理先验的高效触觉操作策略适应方法

针对预训练机器人策略在部署时面对分布外条件性能下降的问题,该研究提出 PEARS 框架,利用视觉语言模型编码的物理先验诊断失败原因并更新接触力边界,同时通过触觉条件的扩散引导调整冻结策略的潜在噪声以修正运动与接触时序错误。

arXiv · 机器人与计算机视觉

What Enables In-Context Behavior Prompting for Manipulation?

论文提出行为提示范式,引入 DrawAnything 和 LIBERO-Gen 基准测试及 BPP 架构与 iPhUMI 手持接口,发现任务多样性而非演示数量是提升未见任务适应性的关键。在绘图与桌面操作任务中,该方法分别将误差降低 80.7%、成功率提升 20.8%,并开源所有组件以支持可复现研究。

arXiv · 机器人与计算机视觉

VT-MUSE:面向操作的视觉 - 触觉多模态统一序列表征学习

VT-MUSE 是一种针对视觉与触觉操作的多模态统一序列表征学习框架。现有方法常独立编码视觉和触觉观测后再融合,限制了捕捉细粒度跨模态依赖的能力;且多数方法仅关注当前时间步的观测而忽视接触的时间演化。

02

世界模型与仿真

arXiv · 机器人与计算机视觉

PointZero:一种用于学习可迁移 3D 动力学的 3D 点轨迹补全方法

PointZero 是一种基于 Transformer 的世界模型架构,通过 3D 点轨迹补全这一预训练目标,在不依赖机器人动作标签的情况下学习丰富的 3D 动力学先验。该方法在 PGND 基准测试及多项仿真与真实世界操作任务中表现优于或持平于基线。作者开源了包含 290 万帧合成数据的多样化数据集、模型检查点及完整训练配方。

Hugging Face Daily Papers

DAEDALUS:从自生成任务启动代理记忆的方法

针对大语言模型代理缺乏环境操作知识且易重复犯错的问题,该研究提出 DAEDALUS 方法,通过配对探索者与求解者代理,在无先验知识和验证器情况下自生成可解任务并提炼启发式规则存入记忆库。实验显示该方法在 AppWorld、τ²-bench 和 AutomationBench 等基准上相比无记忆基线平均成功率提升最高达 15.9 个百分点,且推理成本低于多数训练任务方法。研究代码与工件已开源。

arXiv · 机器人与计算机视觉

Learning Visual Feature-Based World Models via Residual Latent Action

该论文提出了一种名为 RLA-WM 的视觉特征世界模型,利用从 DINO 残差中学习的残差潜在动作(RLA)表示来预测未来状态,相比直接回归更清晰且不易幻觉。该方法在仿真和真实数据集上优于最先进的视频扩散模型,速度提升数个数量级。

arXiv · 机器人与计算机视觉

Demo: 视觉语言模型引导的电磁数字孪生在线校准

该论文演示了一种由视觉语言模型(VLM)引导的电磁数字孪生在线校准框架,使用宇树 G1 机器人和 NVIDIA Sionna。系统通过两次 VLM 调用:首先利用 ITU-R P.2040 标准将可见材料映射为电导率先验以辅助 Sionna 基于累积接收信号强度(RSS)进行梯度下降;其次利用剩余 RSS 校准误差和图像覆盖度在线规划下一测量点。

03

计算机视觉

arXiv · 机器人与计算机视觉

αTransfer:基于系数转移的高效模型合并方法

针对大规模模型合并时搜索最优参数系数成本高昂的问题,本文提出αTransfer范式。该方法利用同一家族内不同尺寸模型在合并系数上的性能分布高度一致的特性,在小代理模型上完成搜索后直接将系数迁移至大目标模型。实验表明,该方法在视觉Transformer和大型语言模型上分别实现了6倍和20倍的加速以及70%和85%的显存减少,同时保持了相当的性能水平。

arXiv · 机器人与计算机视觉

Visual Abstention in Unified Multimodal Models

论文提出“视觉回避”概念,定义当视觉变换在任务规则下不可能时,模型应识别并拒绝生成。作者构建了包含 1,050 对可行与不可行请求的 Draw-or-Decline (DoD) 基准,评估了 8 个统一多模态模型(UMMs),发现现有模型编辑能力与回避能力分离,且常因未察觉冲突而强行生成错误内容。

arXiv · 机器人与计算机视觉

看见不等于知道:VLM 何时不该回答空间问题(及原因)

本文介绍 SPATIALUNCERTAIN 框架,评估八个视觉语言模型对遮挡和透视导致的观测不确定性识别能力。研究发现模型行为未随证据可靠性变化而调整,存在投影关系易得但物理三维关系难解码的表征不对称,且提示或微调无法完全解决此类问题。

arXiv · 机器人与计算机视觉

基于运动的 AI 生成视频检测中的数据集偏差与捷径学习研究

该研究评估了四种最先进的基于运动的 AI 生成视频检测器的鲁棒性,发现其中三种存在显著的预处理和采样偏差,且性能高度依赖特定运动模式的数据集偏差;当移除该偏差时,所有检测器性能均崩溃至随机水平。研究还表明现有频率基检测方法在所有数据集上均保持强性能,建议采用更通用的频率路径并推动无偏数据集的开发。

arXiv · 机器人与计算机视觉

Vision Is Not Overhead:面向视觉语言模型的无损推测解码单步分块起草技术

arXiv 论文提出 GLANCE 方法,解决视觉语言模型(VLM)中自强化循环导致推测解码受阻的问题。该方法通过单次前向传播完成整个块的草稿生成与验证,无需压缩或隐藏图像信息,在保持输出一致的前提下显著提升推理速度。实验显示,GLANCE 在生产引擎中比自回归解码快至 3.05 倍,平均超越 EAGLE3-VL 头并在地面任务上提升约 11%。代码已开源。

Hugging Face Daily Papers

单图构建罗马:一种面向室内外的 3D 场景生成方法

论文提出一种从单张图像生成完整 3D 场景网格的方法,解决了现有预训练模型主要局限于孤立物体和室内场景的问题。该方法通过自适应分块处理远近结构差异、建立显式 2D-3D 对应关系以感知自由空间与未观测区域,并合成约 4000 个室外场景扩充数据。

arXiv · 机器人与计算机视觉

PlaySuite:面向交互式视觉智能的大规模评测基准

PlaySuite 是一个基于超过 5000 款开源视频游戏的交互式视觉智能评测基准,涵盖 Pygame、Unity 等多种引擎。研究构建了统一的闭环交互框架与 Video-LLM-as-a-judge 协议以支持异构游戏评估。对十四种近期开放模型的测试显示,尽管推理能力强,但模型在空间定位、动作执行和自我修正方面存在持续失败,揭示了感知与行动之间的差距。

arXiv · 机器人与计算机视觉

追踪并非永恒:视频世界模型对隐藏物体的保留机制研究

论文研究了视频世界模型在无法直接观测物体时的信息保持能力。实验发现冻结的 V-JEPA 2 预测器仅能部分保留静止物体,无法保留容器内移动物体,且移动物体痕迹在 0.3 秒内消失;而编码器本身可解码封闭容器内容达 3.5 秒。

04

快讯

(本期完)

看懂 日报由编辑系统根据公开来源自动编辑,每条均附原文 · 日报合订本