基于生成式海洋模型的闭环自适应采样方法
针对稀疏海洋观测场景,研究提出一种多机器人闭环自适应采样框架,利用单一学习到的生成式海洋模型完成预报、不确定性估计、规划及数据同化。该方法在潜在空间构建集合预报并解码至物理状态,结合可达性约束选择采样点,实验表明其 A-或 D-最优策略优于静态与随机基线,同时揭示了模型不确定性与预报误差的偏差问题。
推荐理由:提出闭环自适应采样框架,利用生成式海洋模型进行预测与不确定性估计,多机器人策略优于静态基线。
技术方向
物理仿真、数字孪生和仿真到现实,保留物理设置、平台条件和实机迁移证据。
431 条精选近 30 天 278 条共收录 1,783 条
针对稀疏海洋观测场景,研究提出一种多机器人闭环自适应采样框架,利用单一学习到的生成式海洋模型完成预报、不确定性估计、规划及数据同化。该方法在潜在空间构建集合预报并解码至物理状态,结合可达性约束选择采样点,实验表明其 A-或 D-最优策略优于静态与随机基线,同时揭示了模型不确定性与预报误差的偏差问题。
推荐理由:提出闭环自适应采样框架,利用生成式海洋模型进行预测与不确定性估计,多机器人策略优于静态基线。
ELA 是一种针对机器人模仿学习的新框架,旨在解决动作标注数据稀缺的问题。该方法联合训练潜在动作模型、潜在动作策略和动作解码器,能够从丰富的无动作标签视频演示中学习,并仅需少量带动作标签的机器人演示即可实现下游控制。实验表明,该框架在仿真和真实世界的操作任务中均优于现有的潜在动作基线方法,且通过轻量级 4M 参数动作解码器与现有模仿学习方法无缝集成,无需修改策略架构或训练目标。
推荐理由:ELA 框架联合优化潜在动作表示与解码,仅需少量标有动作的演示即可利用海量视频数据提升策略性能。
百度正式披露全新世界模型ApolloWorld,利用AI构建持续变化的虚拟交通环境,支持多智能体交互与完整行程级别的实时推演。该系统已应用于萝卜快跑的全球化测试验证,宣称其虚拟路测效率相当于一辆配备安全员的真实测试车连续行驶三年。
推荐理由:百度披露ApolloWorld世界模型,支持实时推演完整Robotaxi行程,宣称虚拟路测效率可达真实测试的三倍。
论文提出了 ToolSpace 框架,旨在解决现有 MCP 环境合成方法数据为中心、导致工具接口不匹配及任务跨度不足的问题。该方法从真实 MCP 服务和开放智能体语料库的执行轨迹中,利用确定性规则挖掘数据、状态和重试依赖,而非依赖大模型判断。
推荐理由:该工作提出以工具为中心的合成框架,通过挖掘真实执行轨迹构建环境图,显著提升了长程任务中多模态模型的评测难度与得分。
PyRUA-DataFarm 利用 LLM Agent 接收任务请求与一次校准数据,在仿真中自动重建场景、专家控制器及成功判定器,并通过视频模型渲染多视角合成视频。
推荐理由:提出用 LLM Agent 自动构建仿真环境与视频渲染,生成低成本且真实可用的机器人训练数据。
论文提出 Route Anything 统一框架,通过构建涵盖语言、视觉、视频、语音及机器人操作的跨模态基准矩阵(含 37.4 万次运行数据),研究了在质量与成本权衡下的最优路由机制。实验显示,基于输入的 oracle 路由比最佳固定候选者提升 5.4 分,学习到的路由器进一步提升性能并减少 24% 的策略时间,平均效率提升 8.82 倍。
推荐理由:构建了跨模态任务路由框架,证明动态策略选择比固定候选者更优且能显著降低计算成本。
arXiv 预印本论文提出一种从人类演示学习灵巧操作的框架,核心在于提取演示中的接触结构而非关节运动。该方法通过模拟 MANO 手模型恢复接触力,利用独立于手部形态的接触锚定重定向技术将数据迁移至不同机械手,并采用残差强化学习策略修复动力学可行性。
推荐理由:该工作提出无需真实机器人训练数据的三阶段流程,利用接触结构锚定将人类演示迁移至不同形态的机械手并恢复物理一致性。
论文提出 DEED(Data-Efficient Post-Training and Experience-Driven Learning)框架,旨在弥合基准性能与可靠现实操作之间的差距。
推荐理由:提出 DEED 框架,通过数据高效微调与经验驱动学习在单 GPU 上实现 Unitree G1-Edu 机器人超市补货任务。
针对外骨骼辅助中用户与设备需协同适应的非平稳学习问题,本文提出分阶段多智能体训练(SMAT)框架。该方法在 MyoAssist 仿真环境中,先让肌肉骨骼模型学习无助力步态及适应附加质量,再训练外骨骼策略,最后实现双向反馈下的共同适应。
推荐理由:提出分阶段多智能体训练框架,在仿真与物理实验中均实现无需个体重训的持续正向助力。
论文提出 DRAP(Dynamics-Risk Adaptive Plasticity),这是一种无需回放机制的物理 AI 持续学习方法,旨在解决小步策略误差累积导致闭环任务失败的问题。
推荐理由:提出无需回放机制的 DRAP 方法,通过轨迹风险加权梯度累积来动态调节模型张量的可塑性,在 OpenVLA 子网络上实现了 LIBERO 基准任务中旧行为保留与新任务获取的平衡。
针对多智能体强化学习缺乏安全保证且传统控制屏障函数易不可行或过于保守的问题,本文提出 Backup-Horizon CBF 方法。该方法沿时间步长评估安全性直至车辆停止,在控制约束下保持递归可行性并精确考虑几何形状。
推荐理由:提出递归可行控制屏障函数,在仿真中实现多智能体强化学习的安全保障与实时性。
论文提出一种动作条件潜变量前瞻(action-conditioned latent foresight)方法,构建潜在世界 - 动作模型以在执行前评估指令序列。
推荐理由:提出动作条件潜变量前瞻方法,在仿真与真实机器人任务中均优于基线,验证了潜在世界 - 动作模型的有效性。
论文提出了 IGSW 框架,旨在实现高保真的 4D 城市场景多天气编辑以支持端到端自动驾驶训练。该方法将背景高斯外观分解为共享反照率与法线及特定辐照度残差,并利用扩散模型生成的教师图像和内在映射提供软监督;第二阶段通过结构保持门控抑制不可靠区域并增强目标天气外观。
推荐理由:提出 IGSW 框架,通过解耦高斯场景建模与结构保持的天气细化,解决了多天气编辑中的结构失真问题。
针对基于相机的在线 HD 地图系统易受传感器故障影响的问题,本文提出 ReSMap 框架,将离线缓存的卫星图像作为相机失效时的冗余互补源。该框架通过预测 - 融合模块和以物体为中心的跨模态查询解码器,利用各分支的置信度进行像素级可靠性加权并合并更新,无需学习路由网络。模型在 nuScenes 数据集的所有划分及范围设置下均达到最先进性能,特别是在相机故障场景下显著提升了鲁棒性。
推荐理由:提出利用卫星图像作为相机失效时的冗余备份,在 nuScenes 数据集上实现包括相机故障场景在内的最先进性能。
针对动态驾驶场景中生成数据与现实观测差距大的问题,论文提出 ReconDreamer# 框架,实现重建与生成的自进化闭环协同及基于几何先验的自适应地面建模。在 Waymo、nuScenes 等基准测试中,该方法显著提升了三维表征能力:Waymo 数据集上横向偏移 6 米时,NTA-IoU 和 NTL-IoU 分别提升 8.8% 和 3.0%,FID 降低 15.1%。
推荐理由:提出自进化闭环框架,通过生成与重建模型互促提升动态驾驶场景的三维表征能力。
作者 Aman Upganlawar 分享了其在 UrbanTwin Sim2Real LiDAR Challenge V2X-Real 赛道的最终方案,该方案仅使用合成数据训练并在真实 Ouster OS1-64 雷达上评估。
推荐理由:作者分享了在 UrbanTwin 挑战赛中解决坐标系对齐、分类级 NMS 及零值点建模的三项关键工程修正,为仿真到现实的 LiDAR 检测提供了可复用的诊断思路。
该论文描述了作者团队在 UrbanTwin Sim2Real LiDAR 挑战赛 LUMPI 赛道的最终方案,该方案仅使用合成数据训练并在未见过的真实路边激光雷达上评估。
推荐理由:作者提出针对路边 LiDAR 小目标检测的几何修正与分布对齐方法,并分享了可预测提交分数的实验方法论。
作者发布 RoboScope Kit 以解决仿真基准评估慢、接口不统一的问题。该工具通过 Python 类封装模型与基准适配器,实现并行调度与渲染优化;在 LIBERO-Long 和 RoboTwin Easy 等任务上,相比官方 StarVLA 评估器速度提升 4.45 至 6.16 倍,四 GPU 配置下比单卡基线快 25 倍以上。代码与项目页面已开源。
推荐理由:该工具通过统一接口与调度优化,将机器人策略评估速度提升数十倍,相关团队可据此加速现有训练流程。
论文 PrimeSim 提出了一种动作条件化的多视图世界模型模拟器,通过渐进式中期训练和后期训练解决动作跟随与多视图一致性难题。该模型在 30,110 小时、22 个平台的数据上预训练,支持刚性及可变形操作任务的长程仿真,并在多个基准测试中领先开源同类模型。作者发布了模型权重、推理代码及训练代码,但材料仅基于 arXiv 预印本,未提及同行评审状态或真实机器人部署结果。
推荐理由:原文给出了跨具身演示训练的世界模型架构与代码入口,相关团队可据此评估其仿真一致性与长程规划能力。
11月3日,百度在Apollo Day上首次披露面向物理AI的智能体驱动全模态世界模型Apollo World,并提出“2+3”判断标准。该模型具备因果性与交互性,强调物理准确性、持久性和实时性。
推荐理由:百度Apollo首次披露面向物理AI的因果性、交互性驱动的世界模型,提出2+3判断标准并用于萝卜快跑全球化测试。