看懂日报 · 2026 年 10 月 8 日 · 星期四
kandong
GaugeBench 揭示描述变更致机器人策略性能骤降
今日物理 AI 领域聚焦具身智能与世界模型进展:GaugeBench 基准证实固定机制下仅改变物理等价描述(如关节轴方向)会导致 MetaMorph 等策略性能从 4030.6 骤降至 51.6;SimToolReal 框架提出在仿真中程序化生成工具原语以训练通用目标位姿操作策略,无需针对特定对象额外训练。
具身智能
SimToolReal:面向零样本灵巧工具操作的物体中心策略
论文提出了 SimToolReal 框架,旨在解决机器人灵巧工具操作难题。该方法通过在仿真中程序化生成大量工具类原语,训练单一强化学习策略以实现通用目标位姿操作,无需针对特定对象或任务进行额外训练。
紧凑机器人策略需要细粒度视觉表征
该论文提出 CoRP(Compressed Representation Policy),这是一个仅含 48.9M 参数的紧凑策略模型,不包含视觉语言模型或视频生成先验。
PEARS:基于物理先验的高效触觉操作策略适应方法
针对预训练机器人策略在部署时面对分布外条件性能下降的问题,该研究提出 PEARS 框架,利用视觉语言模型编码的物理先验诊断失败原因并更新接触力边界,同时通过触觉条件的扩散引导调整冻结策略的潜在噪声以修正运动与接触时序错误。
双向增量广义混合 A*:一种针对复杂动力学系统的高效任意时间规划方法
该研究针对非结构化环境中复杂动力学系统的运动规划难题,提出了一种改进的 Bidirectional Incremental Generalized Hybrid A*(Bi-IGHA*)算法。
What Enables In-Context Behavior Prompting for Manipulation?
论文提出行为提示范式,引入 DrawAnything 和 LIBERO-Gen 基准测试及 BPP 架构与 iPhUMI 手持接口,发现任务多样性而非演示数量是提升未见任务适应性的关键。在绘图与桌面操作任务中,该方法分别将误差降低 80.7%、成功率提升 20.8%,并开源所有组件以支持可复现研究。
VT-MUSE:面向操作的视觉 - 触觉多模态统一序列表征学习
VT-MUSE 是一种针对视觉与触觉操作的多模态统一序列表征学习框架。现有方法常独立编码视觉和触觉观测后再融合,限制了捕捉细粒度跨模态依赖的能力;且多数方法仅关注当前时间步的观测而忽视接触的时间演化。
FineART:面向双臂操作的细粒度标注数据集与视觉语言动作模型
作者开源了 FineART 数据集和 FineART-VLA 模型,旨在解决现有数据缺乏长程多步骤双臂任务支持的问题。该数据集包含 40,543 集(共 1,718 小时)跨越 151 个任务的轨迹及 533,913 个子任务标注。
世界模型与仿真
PointZero:一种用于学习可迁移 3D 动力学的 3D 点轨迹补全方法
PointZero 是一种基于 Transformer 的世界模型架构,通过 3D 点轨迹补全这一预训练目标,在不依赖机器人动作标签的情况下学习丰富的 3D 动力学先验。该方法在 PGND 基准测试及多项仿真与真实世界操作任务中表现优于或持平于基线。作者开源了包含 290 万帧合成数据的多样化数据集、模型检查点及完整训练配方。
CtrlCache:一种加速交互式视频世界模型的控制感知缓存方法
该研究针对交互式视频世界模型中每块生成需多次昂贵去噪的问题,提出无需训练的 CtrlCache 框架。该方法利用控制信号提前到达的特性,分析相邻块在动作变化处的结构相似性差异,将块标记为初始、过渡、转向或稳态阶段。
Sensitivity Shaping for Latent Modeling:一种提升生成动力学模型 OOD 检测能力的研究
该论文针对现有生成动力学模型将学习到的动力学视为固定、依赖事后代理进行分布外(OOD)检测而忽略控制不敏感导致信号抑制的问题,提出支持条件控制敏感性正则化方法。
DAEDALUS:从自生成任务启动代理记忆的方法
针对大语言模型代理缺乏环境操作知识且易重复犯错的问题,该研究提出 DAEDALUS 方法,通过配对探索者与求解者代理,在无先验知识和验证器情况下自生成可解任务并提炼启发式规则存入记忆库。实验显示该方法在 AppWorld、τ²-bench 和 AutomationBench 等基准上相比无记忆基线平均成功率提升最高达 15.9 个百分点,且推理成本低于多数训练任务方法。研究代码与工件已开源。
Learning Visual Feature-Based World Models via Residual Latent Action
该论文提出了一种名为 RLA-WM 的视觉特征世界模型,利用从 DINO 残差中学习的残差潜在动作(RLA)表示来预测未来状态,相比直接回归更清晰且不易幻觉。该方法在仿真和真实数据集上优于最先进的视频扩散模型,速度提升数个数量级。
NeMo-DCR:面向万亿参数规模智能体强化学习的位精确差分压缩重拟合方法
论文提出 NeMo-DCR(Delta-Compressed Refit)方案,解决智能体强化学习中全量权重同步耗时过长的问题。该方法仅传输变化量且保证接收端比特位完全一致,利用仿射映射投影变化和可压缩 XOR 掩码处理残差,结合对象存储流式传输替代跨集群集体通信。
Demo: 视觉语言模型引导的电磁数字孪生在线校准
该论文演示了一种由视觉语言模型(VLM)引导的电磁数字孪生在线校准框架,使用宇树 G1 机器人和 NVIDIA Sionna。系统通过两次 VLM 调用:首先利用 ITU-R P.2040 标准将可见材料映射为电导率先验以辅助 Sionna 基于累积接收信号强度(RSS)进行梯度下降;其次利用剩余 RSS 校准误差和图像覆盖度在线规划下一测量点。
AIM:自适应交互建模网络用于真实到仿真的软体模拟
针对可变形物体操作中的空间邻域误差累积及场景适配问题,论文提出 AIM 自适应交互建模框架。该框架利用运动历史与几何信息动态调整粒子关系,并通过几何条件化的全局通信协调整体响应。
计算机视觉
αTransfer:基于系数转移的高效模型合并方法
针对大规模模型合并时搜索最优参数系数成本高昂的问题,本文提出αTransfer范式。该方法利用同一家族内不同尺寸模型在合并系数上的性能分布高度一致的特性,在小代理模型上完成搜索后直接将系数迁移至大目标模型。实验表明,该方法在视觉Transformer和大型语言模型上分别实现了6倍和20倍的加速以及70%和85%的显存减少,同时保持了相当的性能水平。
Visual Abstention in Unified Multimodal Models
论文提出“视觉回避”概念,定义当视觉变换在任务规则下不可能时,模型应识别并拒绝生成。作者构建了包含 1,050 对可行与不可行请求的 Draw-or-Decline (DoD) 基准,评估了 8 个统一多模态模型(UMMs),发现现有模型编辑能力与回避能力分离,且常因未察觉冲突而强行生成错误内容。
看见不等于知道:VLM 何时不该回答空间问题(及原因)
本文介绍 SPATIALUNCERTAIN 框架,评估八个视觉语言模型对遮挡和透视导致的观测不确定性识别能力。研究发现模型行为未随证据可靠性变化而调整,存在投影关系易得但物理三维关系难解码的表征不对称,且提示或微调无法完全解决此类问题。
基于运动的 AI 生成视频检测中的数据集偏差与捷径学习研究
该研究评估了四种最先进的基于运动的 AI 生成视频检测器的鲁棒性,发现其中三种存在显著的预处理和采样偏差,且性能高度依赖特定运动模式的数据集偏差;当移除该偏差时,所有检测器性能均崩溃至随机水平。研究还表明现有频率基检测方法在所有数据集上均保持强性能,建议采用更通用的频率路径并推动无偏数据集的开发。
Vision Is Not Overhead:面向视觉语言模型的无损推测解码单步分块起草技术
arXiv 论文提出 GLANCE 方法,解决视觉语言模型(VLM)中自强化循环导致推测解码受阻的问题。该方法通过单次前向传播完成整个块的草稿生成与验证,无需压缩或隐藏图像信息,在保持输出一致的前提下显著提升推理速度。实验显示,GLANCE 在生产引擎中比自回归解码快至 3.05 倍,平均超越 EAGLE3-VL 头并在地面任务上提升约 11%。代码已开源。
单图构建罗马:一种面向室内外的 3D 场景生成方法
论文提出一种从单张图像生成完整 3D 场景网格的方法,解决了现有预训练模型主要局限于孤立物体和室内场景的问题。该方法通过自适应分块处理远近结构差异、建立显式 2D-3D 对应关系以感知自由空间与未观测区域,并合成约 4000 个室外场景扩充数据。
PlaySuite:面向交互式视觉智能的大规模评测基准
PlaySuite 是一个基于超过 5000 款开源视频游戏的交互式视觉智能评测基准,涵盖 Pygame、Unity 等多种引擎。研究构建了统一的闭环交互框架与 Video-LLM-as-a-judge 协议以支持异构游戏评估。对十四种近期开放模型的测试显示,尽管推理能力强,但模型在空间定位、动作执行和自我修正方面存在持续失败,揭示了感知与行动之间的差距。
追踪并非永恒:视频世界模型对隐藏物体的保留机制研究
论文研究了视频世界模型在无法直接观测物体时的信息保持能力。实验发现冻结的 V-JEPA 2 预测器仅能部分保留静止物体,无法保留容器内移动物体,且移动物体痕迹在 0.3 秒内消失;而编码器本身可解码封闭容器内容达 3.5 秒。
快讯
- VeriFine:面向具身推理的自我改进可扩展验证框架Hugging Face Daily Papers
- ReDex:通过手指级顺应性交互修复仿真到现实的灵巧操作策略arXiv · 机器人与计算机视觉
- SMART:基于大规模合成预训练的零样本仿真实物关节物体操作arXiv · 机器人与计算机视觉
- LipDA:基于口型与头部姿态不一致性的唇同步伪造检测与溯源框架arXiv · 机器人与计算机视觉
- Selective Transfer of RL Updates for Visual Reasoning:一种基于筛选强化学习更新的视觉推理能力迁移方法arXiv · 机器人与计算机视觉
- DepthWorld:用于机器人操作的 3D 世界模型arXiv · 机器人与计算机视觉
- LHM-Humanoid:面向杂乱场景的长视界人形运动控制arXiv · 机器人与计算机视觉
- 通用稠密奖励用于长周期机器人任务研究arXiv · 机器人与计算机视觉
- BAT:通过在线策略切换平衡敏捷性与稳定性的长时程全身人形机器人控制arXiv · 机器人与计算机视觉
- 大规模预训练数据集无法保证图像分类微调后的鲁棒性arXiv · 机器人与计算机视觉
- HARMONY:面向单目图像的场景合成分层智能体推理框架arXiv · 机器人与计算机视觉
- GeoPID:一种分解并引导视觉语言模型中视觉信息的几何框架arXiv · 机器人与计算机视觉