跳到正文
11月10日周二
  1. arXiv · 机器人与计算机视觉78

    面向机器人世界模型空间泛化的动作表示研究

    Yuhang Sun 在 arXiv 上发布了一项关于机器人世界模型中空间泛化的研究。该工作通过受控的机器人剥离基准,评估了在世界、物体和表面坐标系下定义的动作表示如何捕捉跨空间配置有效的物理关系。

    推荐理由:该研究通过受控的机器人剥离基准,评估了不同坐标系下动作表示对物理关系捕捉的有效性,为设计具备跨空间配置泛化能力的机器人世界模型提供了理论依据。

  2. arXiv · 机器人与计算机视觉72

    连接机器人中基于证据的共同信念更新基准与分层评估协议

    针对现有评估仅关注最终结果而忽略证据归因、信念更新及矛盾处理的问题,本文提出 CREG 基准以衡量多机器人系统的共享推理轨迹。该基准包含 350 个确定性生成的场景,覆盖七种规范后验参考情境,并引入独立对数几率检查器与盲审机制。

  3. arXiv · 机器人与计算机视觉85

    Planners Exploit Deterministic Error: Dithered Low-Bit World Models

    论文发现基于采样的规划器在低比特世界模型中因确定性舍入误差而崩溃,提出通过迭代内重绘的共享抖动方案可在不训练的情况下消除大部分损害。实验显示该策略将 W8A4 整数模型的规划速度提升 1.9-3.3 倍,且无需额外校准或训练即可在多个基准任务上恢复性能。

    推荐理由:原文揭示了低比特量化导致规划器崩溃的机制,并验证了无需训练的抖动策略可恢复性能。

  4. arXiv · 机器人与计算机视觉74

    基于生成轨迹模型进行状态估计与控制:一种无需微调的推理增强方法

    论文提出利用预训练扩散模型联合表示状态、动作和观测,通过粒子滤波维护关于状态历史的竞争假设并据此引导动作选择。实验在部分可观测导航与视觉操作任务上验证了该方法相比无滤波的动作生成策略,能提升状态估计精度与任务性能,且无需修改预训练模型或额外测试时信息。

  5. arXiv · 机器人与计算机视觉49

    物理实验室自驱动测试床对比贝叶斯与智能体优化算法

    该研究开发了一套集成商用仪器的物理测试床,实现了连续 24 小时无人值守的闭环自主实验。系统在四小时内完成六次独立任务,利用智能体优化器将匹配目标吸光度光谱所需的迭代次数较传统贝叶斯优化减少最多 52%,并成功解决后者在 48 次内未收敛的目标。该平台可作为参考基准,用于评估包括大语言模型指导在内的新兴 AI 策略,以应对真实世界中昂贵且耗时的实验部署挑战。

  6. arXiv · 机器人与计算机视觉56

    HINT-VLM:基于具身视觉语言模型的类人机器人粗糙地形交互导航研究

    针对类人机器人在户外粗糙地形中需同时处理地形通过性与物体可移动性的挑战,本文提出 HINT-VLM 混合规划框架。该方法利用视觉语言模型(VLM)提供语义先验,并通过高斯过程残差模型修正以生成具身化的概率性可移动性估计,进而融入分层不确定性感知规划中。这是首个通过预测式可移动性推理解决粗糙地形下 NAMO 问题的方案。

  7. arXiv · 机器人与计算机视觉42

    Qubit-to-Motion:混合量子强化学习中的可追溯动作溯源框架

    Qubit-to-Motion 提出了一种支持约束序列化的证据中心框架,通过四组 Pauli-Z 读出作为唯一输入并记录 SHA-256 指纹实现决策到接触的可追溯性。在 MuJoCo 仿真中,该框架在五种 30 物体场景变体下完成全部 150 次放置任务,推理耗时约 8.60ms,位置误差控制在微米级。代码托管于匿名仓库,预印本状态待正式注册。

  8. arXiv · 机器人与计算机视觉42

    K-PWM:部分观测下的控制导向结构化双线性世界模型

    K-PWM 是一种无需单独训练推理网络的世界模型,通过扩展卡尔曼滤波在部分观测下实现概率隐状态推断与 MPPI 控制。该方法在 Gymnasium MuJoCo 系统上相比基线降低了长视界预测误差并大幅减少训练时间,在高维 Menagerie 机器人上也实现了低计算量的实时追踪精度。论文已被 NeurIPS 2026 接收,代码与权重开放许可待注册。

  9. arXiv · 机器人与计算机视觉73

    打破驾驶世界模型的幸存者偏差:一种中性世界模型方法

    arXiv 论文提出中性世界模型(NWM),通过混合常规驾驶与真实事故视频训练,利用边界框引导目标纠正现有模型因数据仅包含安全结局而产生的幸存者偏差。实验表明 NWM 能更准确预测迫近碰撞且保持低误报率,在 NAVSIM 挑战场景中辅助决策优于基线,并在零样本实验中实现向未见传感器观测的迁移。

  10. arXiv · 机器人与计算机视觉72

    如何‘训练’外科医生?通用智能体手术场景理解基准评测

    针对手术数据稀缺且评估协议碎片化的问题,本文提出两阶段框架:SurgKnowBench 基准整合公开数据集以评估预训练多模态大语言模型(MLLM)的手术能力边界,发现当前模型在关系与流程理解上存在短板;SurgAgentGym 环境允许通用智能体在不进行额外手术训练的情况下,通过工具介导的证据检索提升推理时的理解效果。

  11. arXiv · 机器人与计算机视觉72

    GenRM-Flow:生成器即流匹配中的过程感知奖励模型

    本文提出 GenRM-Flow 框架,论证视频生成模型的微调目标(如 DPO、RWR)在数学上等价于利用生成器的速度预测误差作为奖励信号。该框架使偏好调优后的生成器直接在噪声潜空间充当过程感知奖励模型,无需依赖外部视觉语言模型或辅助评分头。理论分析表明不同优化路径均指向同一最优策略,且提取的过程奖励可无缝替代 FlowAWR 中的外部评分器,从而在不增加额外网络的情况下提升下游视频生成效果。

  12. arXiv · 机器人与计算机视觉45

    DeepSoMo:通过预测潜在动力学实现本体感知下的可变形物体运动估计

    DeepSoMo 是一种基于学习的框架,利用自监督潜在预测约束在部分可观测条件下估计软体机器人的可变形物体运动。该方法在高保真有限元仿真环境中评估,相比架构匹配的循环基线模型,在轨迹估计、姿态恢复、形状重建及接触推断上均表现一致提升。论文为 arXiv 预印本(arXiv:2611.11242),目前处于实验阶段。

  13. arXiv · 机器人与计算机视觉62

    DexForesight:基于隐式空间前瞻的灵巧策略 grounding 方法

    论文提出 DexForesight 框架,通过在灵巧策略潜在空间中注入动力学感知的世界表征来学习隐式空间前瞻性。该方法利用离线场景深度、运动学手几何和演示轨迹训练动作条件化的空间世界模型,预测三维手部点运动和视觉特征变化(包括相机遮挡的手指)。

  14. arXiv · 机器人与计算机视觉55

    CrossLiDAR:可控多传感器激光雷达序列生成

    针对高保真激光雷达仿真在结构控制与时序一致性上的瓶颈,本文提出了 CrossLiDAR 统一框架。该模型基于修正流目标与多模态扩散 Transformer 骨干,通过跨传感器交互模块和 ControlNet 风格分支支持结构条件输入(如 BEV 先验或 3D 边界框),并采用自回归方式扩展短序列以增强长时序连贯性。

  15. arXiv · 机器人与计算机视觉45

    SoftPAT3D:物理增强的文本到三维场景生成框架发布

    SoftPAT3D 框架通过物理仿真为生成的可变形物体构建静水密碰撞网格与弹性参数,解决了现有管线仅支持刚体且无法处理自相交几何的问题。在全部六十五个提示词测试中,该系统实现了零非预期穿透,并支持场景编辑与机器人操作任务。该预印本论文包含 33 页内容、13 张图示及完整代码权重开放许可。

  16. arXiv · 机器人与计算机视觉74

    ObjectWorld:基于大规模 3D 全物体流数据的世界模型

    该论文提出全物体流(3D full-object flow)表示,将稠密 3D 轨迹分配至目标物体完整表面(含遮挡区域),统一适用于刚性与柔性物体。作者构建了一个包含 1210 小时视频与物理仿真的数据集,并训练了接收图像与任务描述、预测全物体流的世界模型。实验显示该表示具有可靠的标注质量、可扩展的流预测能力,并在新型场景与机器人本体上实现了有效的下游操作。

  17. arXiv · 机器人与计算机视觉83

    BAT-WAM:连接动作与触觉的世界 - 动作模型用于灵巧手

    BAT-WAM 是一种针对世界 - 动作模型(WAMs)的框架,旨在解决灵巧操作任务中关节状态和全手掌触觉观测缺失的问题。该框架通过 RGB 条件化的连续潜在桥梁连接触觉流与动作流,实现双向学习,并利用视觉信息作为连续上下文。

    推荐理由:BAT-WAM 框架通过视觉与触觉表征的双向桥梁,在掩码条件下显著降低触觉重建误差,并在真实机器人实验中优于基线。

  18. arXiv · 机器人与计算机视觉72

    Locating and Repairing Domain Shift in VLM Trajectory Planning

    论文针对视觉语言模型(VLM)作为端到端驾驶规划器时面临的跨城市域偏移问题,挑战了以往将其视为单一数量进行统一对齐的观点。研究通过激活补丁分析发现,域偏移在模态轴(图像与文本 token)和层轴上呈现结构化分布,且层间划分具有架构依赖性和数据集稳定性。

  19. arXiv · 机器人与计算机视觉58

    面向目标条件化潜在规划的动态感知动作学习

    论文提出 Dynamics-Informed Action Learning (DIAL) 框架,旨在弥合潜在世界模型中动态学习与规划应用之间的差距。该方法在训练阶段通过 rollout alignment 让前向模型接触自回归预测的潜在状态,并利用多步逆动力学监督训练轻量级逆动力学头;测试时利用该头构建动态感知的动作序列以初始化交叉熵方法(CEM)搜索分布。

  20. arXiv · 机器人与计算机视觉85

    Latent-WAM++:面向端到端自动驾驶的世界与动作表征塑造

    论文提出 Latent-WAM++,一种面向端到端自动驾驶的以表征为中心的世界动作模型(WAM)。该方法通过场景 - 自车未来预测、SIGReg 分布稳定化及冻结几何先验构建世界表征;利用改进的 MeanFlow 速度空间目标直接预测多模态轨迹提议并实现一步采样;同时对齐视觉语义衍生的停止梯度目标以优化预输出动作特征。

    推荐理由:该工作提出 Latent-WAM++,通过重塑中间表征监督与冻结几何先验,在 NAVSIM v2 实现 SOTA 性能并将端到端规划器训练成本降低 88.1%。

  21. arXiv · 机器人与计算机视觉35

    Latent-Action World Models 跨角色身体结构的动作迁移实证研究

    该研究针对无标签视频学习动作的潜在动作世界模型,探索了其在不同身体结构(如猫、Blob 和人类)间的动作迁移可行性。实验在包含六种身体计划的合成基准及 DeformingThings4D 数据集上验证,发现固定相机下基线屏幕运动得分高达 0.71,而跟随相机的最佳模型对未见动物家族仅得 0.46。

  22. arXiv · 机器人与计算机视觉83

    Grip, Trace, Write:面向高自由度机器人书写的力感知模仿与强化学习框架

    论文提出 Grip, Trace, Write 框架,构建力感知仿真环境以解决传统刚性安装笔的局限。该方法采用双分支 Actor 解耦握笔稳定性与手臂腕部书写动作,保留闭环耦合关系;训练流程先通过行为克隆初始化逆运动学演示,再利用墨水、接触力、时间和握持奖励进行强化学习优化。实验表明该策略在多种任务中提升了完成度、精度和效率,且无需微调即可泛化到未见过中英文内容,为灵巧工具使用提供了测试基准。

    推荐理由:该工作提出力感知仿真环境,通过双分支策略解耦握笔与书写并强化学习优化,在未见中英文内容上实现泛化。

  23. arXiv · 机器人与计算机视觉45

    部署后多目标适应:关于世界模型在远程机器人团队中的立场

    针对远程非结构化环境中硬件或任务变更导致策略失效的问题,文章提出利用世界模型预测更新后的环境条件以评估现有策略,避免物理执行候选方案带来的风险。研究明确了基于模型的策略重评估、验证预测与实测性能一致性以及融合共享信息支持团队协同适应等关键优先事项。该观点旨在推动世界模型在部署后多目标适应领域的进一步调查与应用。

  24. arXiv · 机器人与计算机视觉82

    Mental Imagery That Matters:治愈多模态推理中的潜在坍缩

    该论文提出 Mental Simulation Collapse (MSC) 现象,指出当前多模态大模型在潜在空间进行视觉推理时,往往仅通过文本路径计算答案,内部生成的视觉潜变量对结果影响微乎其微。作者引入 AnchorSim 对比蒸馏框架训练模型,使生成的视觉潜变量变得关键,从而在多模态推理基准上提升性能并修复该失效模式。

    推荐理由:本文揭示了潜在多模态推理中的‘思维模拟崩塌’失效模式,并提出 AnchorSim 框架使内部视觉状态对预测产生实质性影响。

  25. arXiv · 机器人与计算机视觉67

    Tiresias:面向语言条件的世界模型研究

    该论文针对自然语言指令驱动的内部模拟规划任务,提出了统一的共享任务 LCWM 及包含 15 个数据集的基准 LCWM-Bench。作者引入了 Tiresias 智能体,通过选择性想象机制结合扩散策略、轨迹排序器与视频预训练世界模型实现高效规划。实验表明该方法在导航、机器人、3D 游戏和驾驶等多域任务上具有竞争力的性能,为研究语言引导的世界模型规划提供了统一评估起点。

  26. arXiv · 机器人与计算机视觉5

    Qwen3-VL-8B-Instruct 用于野火城市界面结构威胁识别的零样本评估

    Qwen3-VL-8B-Instruct 在零样本提示下对 1,824 张合成图像和 45 帧受控燃烧实验视频进行结构级火灾威胁识别,有效输出准确率分别为 94.0% 和 69.2%,显著优于随机基线。模型在视觉特征清晰时能准确识别目标,但在复杂场景中解读空间关系存在困难。该双轨测试协议为评估视觉语言模型在物理火场条件下的行为提供了可扩展的压力测试与受控参考基准。

  27. arXiv · 机器人与计算机视觉35

    LSRP*:支持异步动作的多智能体路径规划可扩展 anytime 算法

    LSRP* 是一种新型 anytime 规划器,能在获取初始解后持续优化直至预算耗尽。该算法在最多 1000 个智能体的多种地图测试中,可处理比 LSRP 多 25% 的智能体并将解成本降低最高 40%。研究针对传统同步动作假设的局限性进行了改进与验证。

  28. arXiv · 机器人与计算机视觉76

    面向人与类人机器人运动的统一惯性编码器

    该研究提出一种统一惯性编码器,通过运动学 IMU 合成在共享输入空间下联合训练人类与类人机器人数据,结合连续时间编码及传感器随机化。模型无需物理仿真、真实机器人训练轨迹或微调,即可零样本迁移至宇树 G1 实体机器人,在五个数据集上实现最低速度误差(G1 实机为 0.099m/s),并支持仅基于人类数据训练的类人机器人运动描述检索与泛化。

    推荐理由:提出统一惯性编码器,实现从人类运动到宇树 G1 机器人的零样本迁移与速度估计。

  29. arXiv · 机器人与计算机视觉75

    超越语义类别:通过嵌入条件高斯混合模型进行在线物理参数估计

    该论文提出一种实时物理参数估计器,用交互驱动的高斯混合后验替代固定语义类索引,直接基于连续视觉嵌入检索和加权历史交互。方法包含支持感知的融合机制以应对稀疏数据,并通过学习到的嵌入优化提升检索相关性。实验显示该方法能恢复多模态物理信念、拒绝无关历史且不依赖空间地图离散化;在高保真自动驾驶赛车仿真中,控制器随圈数增加积累证据而自适应调整,提升了性能并保持摩擦感知行为。

  30. arXiv · 机器人与计算机视觉73

    从视频到数字孪生:野外视频的世界模型与高斯泼溅探索性研究

    该研究利用公开的新闻走场视频,验证了生成式世界模型结合 3D 高斯泼溅技术将普通影像转为度量级可探索 3D 场景的可行性。实验显示,商业世界模型在少量帧输入下能恢复相机姿态与深度并融合为约 74.7 万个高斯泼溅点,但在未观测区域外推失败且需脚本填充;本地优化的高斯泼溅虽真实但仅在拍摄路径附近有效。

  31. arXiv · 机器人与计算机视觉65

    Seeing Like a Shopper:验证语言模型作为合成消费者

    该论文提出利用视觉语言模型(VLM)构建“合成购物者”,在购物篮层面复现了真实家庭在不同国家的消费模式,并在货架选择层面发现并消除了位置与标签带来的干扰效应。作者引入了 ShelfSight 基准平台,通过独立渲染产品、位置和价格来分离偏好与回答效应,使 VLM 能像预算型消费者一样对价格和陈列做出响应。

  32. Hugging Face Daily Papers78

    世界模型需要多少曝光才能学会未见过的游戏机制?

    论文提出 MechEval 基准和 WARC 模型,研究世界模型在陌生环境中通过有限交互学习新机制的能力。结果显示,WARC 模型在半数情况下仅需约 80 次曝光即可达到 80% 的预测准确率,且测试时训练能将闭环探索效率从 0.15 提升至 0.46。该工作为 ARC Prize 2026 论文赛道投稿,代码与权重已开源。

    推荐理由:该研究在 ARC-AGI-3 基准上量化了世界模型学习新环境机制所需的曝光次数,并展示了测试时训练对闭环探索效率的提升。

  33. 盖世汽车 · 汽车资讯70

    百度Apollo披露全模态世界模型Apollo World

    百度Apollo在深圳AI Day首次披露智能体驱动的全模态世界模型Apollo World,提出“2+3”判断标准以支撑高安全要求的自动驾驶验证。该模型具备因果性、交互性及物理准确性等核心能力,支持行程级闭环测试与多场景按需复现,旨在降低真实路测成本并加速车端迭代。

  34. Hugging Face Daily Papers38

    多模态智能体跨场景自进化机制综述与分析

    该综述调查了多模态推理、生成、GUI/Web 导航及具身操作四种场景下,无需人工标注的自进化机制在跨场景转移时的不对称性来源。研究将自进化定义为包含经验生成、反馈获取与更新整合三阶段的循环,并分析稀缺因素组合如何限制不同方向的能力迁移。文章提出通过匹配预算测量来推翻当前未验证的结论,共 44 页含 15 张表格和 4 幅图表。