跳到正文
  1. arXiv · 机器人与计算机视觉77

    当世界即测试套件:面向物理世界的智能体智力综述

    该文是一篇关于“面向物理世界的智能体智力”的综述论文,探讨了语言模型如何为机器人编写程序(如策略生成、奖励函数设计),以及如何利用物理仿真、形式化检查等手段进行低成本且可靠的验证。文章分析了从软件测试到物理测试的范式转移,讨论了经验留存机制及当前面临的基准评测挑战,指出未来进展依赖于建立类似持续集成的物理验证流程。

    推荐理由:本文提出将物理世界视为测试套件,探讨智能体在机器人编程中的写作、测试与学习机制。

  1. 上海人工智能实验室 · 科研动态78

    上海AI实验室发布开源书生科学多模态大模型S2.1 Flash

    上海AI实验室发布并开源书生科学多模态大模型S2.1 Flash(简称书生-S2.1 Flash),依托统一表征架构支持分子、光谱等多类科学数据输入,融合视觉感知操控科研软件能力。模型在递归式自我改进模式下持续迭代优化,已在CT切片恢复、遥感水域变化量化、航空发动机装配建模检查及脑电伪迹剔除四项任务中验证闭环执行能力,推理成本显著降低且交付可复核的工程文件。

    推荐理由:上海AI实验室发布书生-S2.1 Flash,融合科学多模态理解与通用智能体能力,支持在专业软件中执行复杂科研任务并交付可复核的工程文件。

  1. arXiv · 机器人与计算机视觉82

    AFTER:一种用于错误驱动保留的具有自适应快慢时间尺度的世界模型

    针对机器人交互中动力学突然且持久变化的适应难题,论文提出了 AFTER-WM 世界模型。该模型受人类大脑预测编码启发,利用预测误差驱动快速修正(衰减)与慢速修正(持久),并动态调整预训练专家的组合权重而不改变其本身,以平衡响应性、稳定性与持续性。

    推荐理由:提出 AFTER-WM,利用快慢时间尺度自适应机制解决动力学突变下的预测误差累积问题。

  1. arXiv · 机器人与计算机视觉82

    MineXplore:面向无 GPS 地下环境的强化学习探索开源基准

    论文提出了 MineXplore,这是一个基于 MuJoCo 的开源导航基准,数据源自智利铜矿实地测绘。环境重构了 104,423 平方米的隧道网络,包含八边形截面、LiDAR 来源的锯齿状几何、三种地形摩擦区及周期性照明。

    推荐理由:该基准提供基于真实矿场几何的地下导航环境,支持 GPU 加速学习流程,并验证了策略在 GNSS 拒止条件下的稳定性。

  1. arXiv · 机器人与计算机视觉82

    GPWM:将世界建模为 3D 粒子运动

    论文介绍 GPWM,一种直接操作 3D 物理空间的生成式粒子世界模型,通过结合流匹配与扩散强制力来生成刚性、可变形及颗粒材料的连贯轨迹。该模型在包含 2550 万帧的 ParticleWorlds 数据集上训练,统一架构覆盖多种材质与交互场景,平均将预测误差降低 31%。此外,GPWM 支持噪声空间规划,通过搜索潜在噪声而非动作空间来实现目标导向的操作,在推和抓取等接触丰富任务中表现优于传统方法。

    推荐理由:该工作提出基于粒子运动的生成式世界模型,在统一架构下实现多材质预测并支持噪声空间规划以解决接触丰富任务。

  2. arXiv · 机器人与计算机视觉78

    RoboImagine:一种利用语义和视觉反馈进行后训练的机器人世界模型框架

    论文提出了 RoboImagine 框架,旨在通过后训练自回归式机器人世界模型来支持规划与决策。该方法通过候选未来轨迹的多样性搜索、冻结的多模态评估器提供的语义偏好以及像素级视觉一致性反馈,共同驱动策略优化。实验在 RT-1、BridgeV2 和 RoboCasa 等真实及仿真操作任务上验证了其在提升 PSNR、降低 LPIPS 指标以及增强长序列预测方面的有效性。

    推荐理由:该框架通过语义与视觉反馈结合,在机器人世界模型训练中提升了预测质量与长序列生成能力。

  1. Hugging Face Daily Papers78

    多轮强化学习究竟提升了 LLM Agent 的什么能力?

    该论文评估了采样广度与交互深度对多轮智能体强化学习性能的影响,发现其优势依赖于充足的回合预算且集中于错误恢复与长程韧性,而非均匀提升单步决策质量。作者提出 BudgetMix RL 方法以缓解预算依赖带来的部署风险,并展示了其在多样化执行设置下的鲁棒性。

    推荐理由:原文通过多轮交互预算分析揭示强化学习在长程任务中的优势边界,并提出 BudgetMix RL 以缓解部署风险。

  2. arXiv · 机器人与计算机视觉78

    基于生成式海洋模型的闭环自适应采样方法

    针对稀疏海洋观测场景,研究提出一种多机器人闭环自适应采样框架,利用单一学习到的生成式海洋模型完成预报、不确定性估计、规划及数据同化。该方法在潜在空间构建集合预报并解码至物理状态,结合可达性约束选择采样点,实验表明其 A-或 D-最优策略优于静态与随机基线,同时揭示了模型不确定性与预报误差的偏差问题。

    推荐理由:提出闭环自适应采样框架,利用生成式海洋模型进行预测与不确定性估计,多机器人策略优于静态基线。

  1. arXiv · 机器人与计算机视觉78

    DRAP:面向物理 AI 持续学习的动力学 - 风险自适应可塑性

    论文提出 DRAP(Dynamics-Risk Adaptive Plasticity),这是一种无需回放机制的物理 AI 持续学习方法,旨在解决小步策略误差累积导致闭环任务失败的问题。

    推荐理由:提出无需回放机制的 DRAP 方法,通过轨迹风险加权梯度累积来动态调节模型张量的可塑性,在 OpenVLA 子网络上实现了 LIBERO 基准任务中旧行为保留与新任务获取的平衡。

  1. arXiv · 机器人与计算机视觉78

    为什么 Koopman 结构无法帮助可微世界模型进行类人机器人全身跟踪

    该论文测试了将 MLP 世界模型替换为具有升维状态空间线性动力学的 Koopman 结构后,对 Unitree G1 全身体跟踪策略的影响。实验发现 Koopman 结构并未带来性能提升(返回精度持平甚至略低),且训练速度变慢约 15%。研究指出,由于策略动作跨越曲率区域,仿射模型仅在策略操作点切线处准确,而 MLP 能直接读取动作信息,因此在固定状态下表现更好。

    推荐理由:实验表明在 Unitree G1 全身体跟踪任务中,Koopman 线性结构并未提升可微世界模型性能,MLP 仍是更优选择。

  2. Hugging Face Daily Papers78

    Harness-S:通过兄弟 Harness 学习实现可泛化智能体训练

    论文提出 Harness-S 方法,针对智能体训练中基座执行系统(harness)的局部性、互补性和非平稳性问题,引入方向性 Harness 演化构建可复用的兄弟 Harness 池。

    推荐理由:提出 Harness-S 框架,利用辅助 harness 修复基座执行失败并将能力迁移至策略,在 AppWorld 等基准显著优于纯策略训练。

  1. arXiv · 机器人与计算机视觉78

    FlapSim:一种可组合的 MuJoCo 扑翼仿真平台及降阶气动模型层级

    该论文提出了 FlapSim,一个模块化的开源 MuJoCo 仿真平台,用于解决扑翼飞行中高频气动动力学与低频飞行控制/强化学习动态之间的协调问题。研究在 48 个涵盖频率、舵机、风场等场景的独立测试集中,对比了五种降阶配置,发现结合多速率时钟同步、三维流入耦合及相位锁定谐波合成的五块模型架构,在保持 65.19 倍 CPU 加速的同时将平均力矩保真度提升至 0.9646。

    推荐理由:该工作提出了 FlapSim 模块化开源平台,在 MuJoCo 框架下实现了高频扑翼气动与飞行控制的确定性模拟,并量化了不同简化模型在精度与速度间的权衡。

  1. arXiv · 机器人与计算机视觉85

    WorldFlow:通过大规模预训练实现视频与 3D 运动联合预测

    针对现有视频世界模型隐含 3D 动力学、动作表述绑定特定机器人配置以及 3D 运动预测仅使用流监督信号等局限,该工作提出 WorldFlow,这是一个生成式世界模型,能够联合预测未来视频和基于查询的 3D 轨迹。

    推荐理由:该工作提出统一架构联合预测视频与三维轨迹,在仿真及真实数据上均取得最佳位移误差。

  2. arXiv · 机器人与计算机视觉82

    Seeing and Imagining as One:GenSight 统一视频生成与 4D 感知用于具身世界建模

    论文提出了 GenSight,这是一个统一的具身世界模型,将未来视频生成和稠密感知整合进同一个预训练视频扩散 Transformer 中。该模型使用统一的时空表示处理视频、深度、具身分割和首帧相对 2D 光流,基于共享 DiT 骨干网络并通过轻量级任务调制在同一架构内预测所有模态。

    推荐理由:该工作提出将视频生成与稠密感知统一于单一架构,为具身世界建模提供了新的跨模态一致性思路。

  1. arXiv · 机器人与计算机视觉82

    RynnWorld-Latent:一种基于通用潜在动作的跨具身世界模型

    论文提出了 RynnWorld-Latent,这是一个利用 3D-grounded latent actions 作为共享条件接口的跨具身视频世界模型。该模型在预训练阶段联合使用了人类交互视频、机器人演示和仿真 rollout,无需统一的原生动作空间。

    推荐理由:该工作提出基于通用潜在动作的跨具身世界模型,支持在人类视频与机器人演示上联合预训练,并验证了其在真实机器人上的策略成功率提升。

  1. Hugging Face Daily Papers78

    Skill^infty:实现智能体技能优化的递归自我改进

    该论文提出 Skill^infty 框架,通过让元智能体利用可编码为技能的元技能来诊断执行轨迹、生成候选方案并分配搜索预算,从而实现技能优化过程的递归自我改进。

    推荐理由:提出递归自我改进的 Skill^infty 框架,在技能优化任务上超越人工与现有方法。

  2. arXiv · 机器人与计算机视觉78

    视频世界模型需要可预测的潜变量:一种兼顾动态建模与像素准确性的新架构

    针对现有视频世界模型在长序列推演和分布外泛化上的不足,本文提出将时序可预测性作为潜空间设计准则的新方法。通过结合时序表示学习目标与过去条件解码器架构,该方法在不牺牲像素预测精度的前提下简化了未来预测任务。

    推荐理由:提出将时序可预测性作为视频世界模型的潜空间设计准则,在同等训练预算下实现推理成本降低 5 倍、训练加速 7 倍以上及泛化误差显著下降。

  3. arXiv · 机器人与计算机视觉78

    WorldFailBench:世界模型是否理解策略失效?

    针对物理测试与仿真准备成本高且现有基准仅关注结果成功与否的问题,该研究提出 WorldFailBench 基准,旨在检验世界模型是否能忠实复现策略的失效机制。该基准包含三个任务:失败原因(复现可观测错误)、失败阶段(评估失效集中点)及失败边界(考察场景变化下的成败转换条件)。

    推荐理由:该基准通过三个任务揭示现有世界模型在复现策略失败原因、阶段及边界上的显著差距,为构建更可靠的评估工具提供方向。

  1. arXiv · 机器人与计算机视觉82

    UniAction:用于世界模型的统一动作条件化框架

    UniAction 是一种统一的动作条件化框架,旨在解决现有世界模型因动作类型而异导致数据碎片化的问题。该框架将任意动作表示为稀疏的动作元素集合,每个元素具有离散语义身份和连续时空坐标,并直接映射到预训练视频模型的固有位置空间。

    推荐理由:UniAction 提出统一动作条件框架,将异构动作映射至共享时空结构并引入基数校准注意力,在四类动作形式上优于专用专家模型。

  2. arXiv · 机器人与计算机视觉78

    面向代理自博弈的语义表示:VERID 基础设施在自动化实验室中的应用

    针对复杂高维生物搜索空间探索中物理执行受限于静态自动化和未建模物理变异的瓶颈,本文提出 VERID(Verified Infrastructure for Discovery Laboratories),这是一种持久化、高保真的实验室工作站语义数字孪生基础架构。

    推荐理由:提出 VERID 语义数字孪生基础设施,通过仿真验证与错误恢复机制解决湿实验室自动化瓶颈。