AmodalBox:基于图像生成资产的自动化 3D 边界框标注框架
针对稀疏驾驶场景中 LiDAR 点云仅覆盖物体小部分的挑战,本文提出 AmodalBox 框架,利用图像生成的 3D 资产作为非遮挡几何先验。该方法通过建立输入图像与渲染视图的对应关系,将标准非遮挡几何与部分观测的世界空间 LiDAR 点云对齐。
推荐理由:该方法利用图像生成资产作为几何先验解决部分遮挡问题,在 nuScenes 和 Waymo 数据集上显著提升了检测性能。
技术方向
物理仿真、数字孪生和仿真到现实,保留物理设置、平台条件和实机迁移证据。
425 条精选近 30 天 289 条共收录 1,722 条
针对稀疏驾驶场景中 LiDAR 点云仅覆盖物体小部分的挑战,本文提出 AmodalBox 框架,利用图像生成的 3D 资产作为非遮挡几何先验。该方法通过建立输入图像与渲染视图的对应关系,将标准非遮挡几何与部分观测的世界空间 LiDAR 点云对齐。
推荐理由:该方法利用图像生成资产作为几何先验解决部分遮挡问题,在 nuScenes 和 Waymo 数据集上显著提升了检测性能。
论文提出 Latent-WAM++,一种面向端到端自动驾驶的以表征为中心的世界动作模型(WAM)。该方法通过场景 - 自车未来预测、SIGReg 分布稳定化及冻结几何先验构建世界表征;利用改进的 MeanFlow 速度空间目标直接预测多模态轨迹提议并实现一步采样;同时对齐视觉语义衍生的停止梯度目标以优化预输出动作特征。
推荐理由:该工作提出 Latent-WAM++,通过重塑中间表征监督与冻结几何先验,在 NAVSIM v2 实现 SOTA 性能并将端到端规划器训练成本降低 88.1%。
论文提出 Grip, Trace, Write 框架,构建力感知仿真环境以解决传统刚性安装笔的局限。该方法采用双分支 Actor 解耦握笔稳定性与手臂腕部书写动作,保留闭环耦合关系;训练流程先通过行为克隆初始化逆运动学演示,再利用墨水、接触力、时间和握持奖励进行强化学习优化。实验表明该策略在多种任务中提升了完成度、精度和效率,且无需微调即可泛化到未见过中英文内容,为灵巧工具使用提供了测试基准。
推荐理由:该工作提出力感知仿真环境,通过双分支策略解耦握笔与书写并强化学习优化,在未见中英文内容上实现泛化。
论文介绍 GUARD 框架,该框架利用扩散和流匹配生成的机器人策略的训练分布构建异常信号,将其与稀疏任务奖励结合并通过学习到的 Q 函数传播以引导去噪过程。在 Adroit 平台的四个灵巧操作任务中,该方法在标称和扰动动力学下平均成功率分别达到 96.0% 和 80.0%,优于最强基线 21.0 和 20.0 个百分点且保持最低异常分数。
推荐理由:提出利用训练分布中的异常信号引导去噪过程,在不修改预训练策略的情况下提升灵巧操作成功率与仿真到现实迁移效果。
波士顿动力 Atlas 团队工程师 Xiaoyu Wu 分享了将 Atlas 机器人改装为轮式的研究项目,通过替换脚踝执行器并调整模型,利用强化学习实现了侧滑漂移和空中转体等高难度动作。该项目旨在验证在硬件极限下全身体控制器与真实执行器的协同效果,成功缩小了仿真与现实差距,相关技术洞察已反馈至标准配置中。
推荐理由:作者分享了将 Atlas 机器人改装为轮式并成功通过强化学习实现高难度动作的测试床项目,验证了精准电机模型与全身体策略在硬件极限下的协同作用。
针对传统闭环评估依赖图像生成与感知重编码导致成本高且存在仿真实隙的问题,本文提出 FlowSim 这一免渲染仿真范式。该方法直接从上一帧潜在表示和目标帧符号场景条件预测内部潜在表示,绕过图像渲染和感知重编码步骤。
推荐理由:提出免渲染的闭环仿真范式 FlowSim,直接预测潜在表示以加速端到端系统评估。
这篇论文提出了一种混合系统,将学习任务控制器和神经 3D 安全监控器集成到传统工业工作流中。研究团队在电机生产线上部署该系统,自动执行变形电缆插入和焊接任务。系统在少于 20 分钟的真实数据下连续运行了 5 小时 10 分钟,完成了 108 个电机的组装,无需物理围栏且产品质检通过率高达 99.4%。
推荐理由:该预印本展示了学习增强型自动化在真实电机产线的应用,实现了无围栏连续作业与高质量焊接。
该论文在 arXiv 发布,介绍了对 NanoVDB 数据结构的两项基础改进:动态 GPU 原生拓扑更新和体素顺序访问范式。前者通过位并行算法实现了形态学膨胀、网格合并等动态操作;后者将活跃体素流式传输为线性序列,消除了树遍历需求。这些贡献打破了原有只读限制,使其适用于动态几何过程与仿真,并在三维重建、流体模拟等基准测试中进行了评估。
推荐理由:原文介绍了动态拓扑更新与体素顺序访问范式,使 NanoVDB 成为动态 GPU 仿真的高性能主表示。
论文发现机器人通过搜索对抗从人类偏好学习的奖励模型时,真实目标回报会受损;在 HalfCheetah 和 Hopper 等任务中,更难的 MPPI 搜索使真实回报下降最高达 76%,且人类标签在某些场景下仍被利用。研究证明经校准的χ²正则化 MPPI 是测试中最安全的修复方案,能从预训练策略中恢复 86-94% 的真实回报。
推荐理由:研究揭示基于人类偏好的奖励模型在规划搜索中易被利用,并提出经校准的采样控制方法以恢复真实目标回报。
arXiv 预印本论文 LACART 提出了一种结合前瞻控制屏障函数、松弛控制李雅普诺夫函数和二次规划的方法,旨在解决自动驾驶赛车场景下的碰撞避免与参考跟踪问题。该方法在仿真中显示具有更低的计算耗时,并展示了基于摄像头的估计与无线执行机构在小型车辆上的演示。论文还分析了前瞻点清除与车身清除之间的关联条件及硬件限制。
推荐理由:原文介绍了结合前瞻控制与二次规划的碰撞避免方法,并在仿真中验证了计算效率提升。
针对传统刚体仿真在处理复杂表面和精细网格碰撞时效率低下的瓶颈,本文提出了一种从头设计的仿真框架 Lodos。该框架引入了新的宽相位与窄相位碰撞检测例程及后续接触动力学计算,在保持物理保真度与现有主流模拟器相当的同时,将详细网格碰撞场景的吞吐量提升了约一个数量级。源代码已开源。
推荐理由:提出专为接触丰富场景设计的轻量级仿真框架,在保持物理保真度的同时将详细网格碰撞吞吐量提升约一个数量级。
该论文提出了 VICTR 框架,旨在解决机器人基础模型在未见任务中仅凭视觉相似性进行上下文检索的局限性。研究引入了一种基于参考演示、语言指令和当前观测的“进度感知”上下文检索机制,通过估计任务相对进度来对齐当前状态与已演示的执行阶段。
推荐理由:针对 VLA 模型在未见任务中上下文检索效果受限的问题,提出基于进度感知的价值函数估计框架,显著提升了真实世界操作任务的成功率与进展率。
论文提出了 ForPC 框架,旨在解决人形机器人在不修改工作场所的情况下操作现有手推车以搬运重物的难题。该框架通过两阶段强化学习调节车速,首先训练运动先验以提供平衡支持,随后基于车载观测推断力潜变量和状态潜变量(无需外部传感器),并协调手臂、腰部与腿部的调整及基座速度指令。
推荐理由:提出无需外部力传感器的全身控制框架,在仿真中训练即可将人形机器人推重达 30kg 的推车速度误差降低 68.2%。
Spatial Harness 提出将场景表示为显式的可执行世界状态,以物理引擎反馈为基础进行空间推理。系统通过 Perceiver 整合问题约束与视觉估计确定物体和相机坐标,并在物理引擎中实例化状态,由 Reasoner 执行视角变换并引导推理。
推荐理由:该工作将场景表示为可执行的物理状态,利用物理引擎反馈来校准视觉语言模型的推理过程。
上海AI实验室发布书生·天枢(Intern·LabOS)分布式自主实验室网络操作系统,旨在组织各地实验室协同开展湿实验。该系统以SCP-Lab为统一接口,借助书生物理世界模型W0驱动机器人完成操作,打通异构设备自主执行与数据回传链路。材料描述的是系统架构与功能验证,未报告真实药物上市或大规模商业化部署结果。
推荐理由:原文给出了科研操作系统与物理世界模型的协同设置及开放入口,相关团队可据此判断它是否适合现有实验流程。
该论文提出 ReFlowSET 框架,旨在从合成孔径雷达(SAR)观测生成光电(EO)影像。针对现有方法依赖预训练自然图像编码器的局限,该方法通过联合 SAR-EO 重构审计选择编码器,并在选定潜在空间从头训练较小的条件 DiT。
推荐理由:提出 ReFlowSET 框架,通过联合 SAR-EO 重构审计选择编码器,并在选定潜在空间从头训练条件 DiT,实现 SAR 到 EO 图像翻译的最先进性能。
论文提出 WoVR 框架,旨在利用世界模型作为强化学习(RL)的可靠仿真器以进行视觉语言动作(VLA)模型的策略后训练。针对现有方法因幻觉和长视界误差累积导致推演不稳定的问题,WoVR 通过可控的动作条件视频世界模型、关键帧初始化推演以及世界模型与策略的共同演化来调节 RL 与不完美的想象动态的交互。
推荐理由:提出 WoVR 框架,通过可控视频世界模型与关键帧初始化解决幻觉问题,实现长视界稳定推演与策略优化。
Adam Y. Shavit 提出停车问题的形式化分析,区分了静态适配、最终可达性与资源受限可达性三种间隙指标。研究证明在特定场景中,倒车入库与直进式停车的不对称性源于有限操作次数下的修正需求差异:一次反转即可满足倒车入库的最小间隙要求,而直进式停车至少需要两次反转才能达到同等安全裕度。
推荐理由:该文通过形式化论证揭示了倒车入库与直进式停车在有限操作次数下的可达性差异,为理解驾驶员直觉提供了理论依据。
论文介绍 GPWM,一种直接操作 3D 物理空间的生成式粒子世界模型,通过结合流匹配与扩散强制力来生成刚性、可变形及颗粒材料的连贯轨迹。该模型在包含 2550 万帧的 ParticleWorlds 数据集上训练,统一架构覆盖多种材质与交互场景,平均将预测误差降低 31%。此外,GPWM 支持噪声空间规划,通过搜索潜在噪声而非动作空间来实现目标导向的操作,在推和抓取等接触丰富任务中表现优于传统方法。
推荐理由:该工作提出基于粒子运动的生成式世界模型,在统一架构下实现多材质预测并支持噪声空间规划以解决接触丰富任务。
针对机器人操作移动物体时观测滞后导致技能成功率预测不准的问题,作者提出时间索引技能成功模型,用于预测给定延迟后启动技能的整任务成功率。该模型在 MuJoCo 仿真中,于 100 至 300 毫秒延迟下比静态能力模型提升 2.8 至 6.2 个百分点;在真实 UR5e 机器人上,针对注入 0.2 秒延迟的滚动球捕捉任务,该模型预测成功率与校准度优于静态模型。
推荐理由:提出时间索引技能成功模型以解决延迟下的技能选择与定时问题,在仿真与真实机器人实验中均验证了校准性。