Agentic RSR:基于场景重建与执行 grounding 的机器人从现实到仿真再到现实的策略框架
论文提出了 Agentic RSR 框架,旨在解决场景重建与策略开发分离的问题。该框架利用视频、任务描述和已知机器人模型,通过智能体恢复度量尺度并迭代优化场景,随后在 MuJoCo 中检查交互并开发从特权姿态到视觉观察的策略。
推荐理由:提出将场景重建与策略开发通过同一任务链接的框架,在真实机器人上实现了 80% 的仿真成功率保留。
技术方向
三维重建、空间表示、视觉定位和可交互环境中的感知与推理。
760 条精选近 30 天 559 条共收录 4,114 条
论文提出了 Agentic RSR 框架,旨在解决场景重建与策略开发分离的问题。该框架利用视频、任务描述和已知机器人模型,通过智能体恢复度量尺度并迭代优化场景,随后在 MuJoCo 中检查交互并开发从特权姿态到视觉观察的策略。
推荐理由:提出将场景重建与策略开发通过同一任务链接的框架,在真实机器人上实现了 80% 的仿真成功率保留。
针对大型语言模型和视觉 Transformer 在需要空间理解的任務中表现不佳的问题,该研究提出 Flow-of-Thought(FoT)框架,通过生成视觉草图作为中间推理步骤来模拟人类的心智意象。
推荐理由:该工作提出通过生成视觉草图作为中间推理步骤来弥补大模型在空间理解上的不足,并在 Tetris 等任务上达到极高准确率。
论文提出了 DynStream 框架,用于从长时未标定视频流中实现动态 4D 场景的在线重建与逼真渲染。该方法在局部时间窗口内重建场景,并增量对齐融合为全局一致的场景,无需单场景优化。通过联合约束跨窗口几何一致性并建模随时间变化的场景内容,实现了高效重建和高质量渲染。实验表明,该框架在多种动态室内外场景中均达到了最先进的性能水平。
推荐理由:该工作提出在线流式 4D 高斯重建框架,解决长视频无位姿连续处理与逼真渲染难题。
论文提出了 COOL 框架,旨在让机器人在日常环境中从观察中自主学习物体归属关系并维持长期空间记忆。该框架利用基于代理的好奇心驱动数据收集策略,引导机器人前往最具信息量的位置以更新陈旧观测。离线实验、消融研究和现实世界评估表明,COOL 能够从真实交互中推断出归属关系,并利用这些知识进行条件化的导航和任务执行。
推荐理由:论文提出 COOL 框架,通过好奇心驱动的数据收集学习物体归属关系并维持长期空间记忆。
论文 HARMONY 针对单目图像重建中语义理解与几何对齐的矛盾,提出结合智能体推理与视觉几何基础模型的层级框架。该方法先通过相机标定建立语义空间帧,利用 VLM 推理恢复房间布局及物体放置顺序,按墙体、家具到装饰品的层级进行深度优先遍历放置,并通过点云估计进行几何细化以对齐渲染图像。实验表明其在合成与真实世界图像上均优于基线,且相比 GPT-6 Astra 在物体排列和场景细节保留方面表现更优。
推荐理由:提出结合智能体推理与视觉几何基础模型的层级框架,解决单目图像到复杂室内场景的高保真重建难题。
PointZero 是一种基于 Transformer 的世界模型架构,通过 3D 点轨迹补全这一预训练目标,在不依赖机器人动作标签的情况下学习丰富的 3D 动力学先验。该方法在 PGND 基准测试及多项仿真与真实世界操作任务中表现优于或持平于基线。作者开源了包含 290 万帧合成数据的多样化数据集、模型检查点及完整训练配方。
推荐理由:该论文提出无需机器人动作标签的预训练目标,在仿真与真实操作任务上均优于基线。
该论文针对稀疏关键点提取与匹配任务,提出一种仅需正样本对即可学习的强化学习奖励机制,无需依赖准确的相机姿态、深度监督或负样本对比。方法在 MegaDepth1500 数据集上将 AUC@5 从 56.58 提升至 59.65,并扩展至弱监督的全流程稀疏匹配管道及低纹理医学视频序列。代码与数据已开源,论文获 ECCV 2026 最佳论文奖。
推荐理由:提出仅利用正样本对的强化学习奖励,在无需负样本或深度监督下实现鲁棒的特征学习与匹配。
该研究针对非结构化环境中复杂动力学系统的运动规划难题,提出了一种改进的 Bidirectional Incremental Generalized Hybrid A*(Bi-IGHA*)算法。
推荐理由:论文提出双向增量广义混合 A*算法,通过分层分辨率与冻结顶点机制解决搜索耦合问题,在仿真及真实机器人系统中验证了计算效率提升。
本文介绍 SPATIALUNCERTAIN 框架,评估八个视觉语言模型对遮挡和透视导致的观测不确定性识别能力。研究发现模型行为未随证据可靠性变化而调整,存在投影关系易得但物理三维关系难解码的表征不对称,且提示或微调无法完全解决此类问题。
推荐理由:该研究揭示了 VLM 在空间推理中忽视观测可靠性的缺陷,指出单纯微调无法解决视角冲突下的判断偏差。
针对动态物体、遮挡和光照变化导致的 RGB-D 直接视觉里程计退化问题,该研究提出 Con-DSO 框架,利用统一的学习不确定性模型解决光密与几何一致性假设被违反的挑战。
推荐理由:该工作提出一致性感知的不确定性模型,在多个公开基准上显著降低了 RGB-D 直接稀疏里程计的绝对轨迹误差。
针对现有视频世界模型缺乏一致 3D 几何的问题,作者提出一种结合学习到的立体深度与联合因子图的校准流程,从同一物理机器人收集的数据集中恢复共享运动学参数及场景外参。
推荐理由:论文提出结合立体深度与因子图的校准流程,构建支持多视角几何推理的 3D 世界模型。
PhysLDM 是首个针对体形可变形动力学的潜空间自编码器与扩散范式。该方法通过整体时空 VAE 避免标准压缩的阶梯伪影,在米级场景中实现约 2.48 毫米的重建精度和高达 78 倍的 Token 压缩率。
推荐理由:PhysLDM 提出首个基于潜空间扩散的高保真体形变形仿真范式,在米级场景中实现约 2.48 毫米重建精度,并证明扩散模型比确定性回归更适合处理混沌动力学。
针对分布偏移下的人群导航安全难题,本文提出一种基于自适应椭球形共形预测的风险感知框架。该方法将结构化预测不确定性转化为条件在险价值信号以调节拉格朗日安全惩罚,在分布外设置下相比最先进基线提升了 5.68-7.44 个百分点的成功率并降低了 5.44-6.64 个百分点的碰撞率。
推荐理由:该方法利用各向异性椭圆体处理分布偏移下的不确定性,在仿真与物理机器人上均验证了提升成功率并降低碰撞率的有效性。
该论文演示了一种由视觉语言模型(VLM)引导的电磁数字孪生在线校准框架,使用宇树 G1 机器人和 NVIDIA Sionna。系统通过两次 VLM 调用:首先利用 ITU-R P.2040 标准将可见材料映射为电导率先验以辅助 Sionna 基于累积接收信号强度(RSS)进行梯度下降;其次利用剩余 RSS 校准误差和图像覆盖度在线规划下一测量点。
推荐理由:该工作演示了利用视觉语言模型引导电磁数字孪生在线校准的框架,在真实室内场景中实现了低误差的材料电导率估计与路径规划。
论文提出 Hierarchy-GBP(H-GBP)框架,旨在解决高斯信念传播(GBP)在处理大规模空间智能任务时的效率瓶颈。该方法采用两阶段迭代策略:首先利用粗粒度图近似快速修正全局误差并投影回原图,随后使用 GBP 细化局部误差。
推荐理由:提出分层高斯信念传播框架,通过粗粒度近似加速全局误差修正,在大规模位姿图优化中收敛速度显著快于标准算法。
论文提出一种从单张图像生成完整 3D 场景网格的方法,解决了现有预训练模型主要局限于孤立物体和室内场景的问题。该方法通过自适应分块处理远近结构差异、建立显式 2D-3D 对应关系以感知自由空间与未观测区域,并合成约 4000 个室外场景扩充数据。
推荐理由:该方法将物体中心生成器改造为适应室内外场景,通过自适应分块与显式对应关系提升几何精度。
该论文提出 miniTE 轻量级框架,结合执行诊断、跨引擎数值对齐及高效原生 W4A4 GEMM 计算,解决大语言模型强化学习中训练与采样引擎间的不一致问题。
推荐理由:原文介绍了 miniTE 框架,展示了在 Qwen3-30B-A3B 模型上实现原生低比特强化学习稳定训练与高吞吐率的实验结果。
论文提出了 Look-Before-Move 框架,将相机规划解耦为观察规范与运动执行,通过语义观察契约、蒙特卡洛视点搜索和语义轨迹接地技术,在动态三维故事世界中实现叙事驱动的视觉注意力。
推荐理由:该工作提出叙事驱动的视觉注意力框架,在动态三维故事世界中实现先观察后移动的相机规划。
UniWAM 是一种统一架构,整合物理推理器、世界生成器和动作预测器,旨在联合学习物理世界的语义理解、视觉生成和动作预测。研究团队开发了严格的数据清洗与标注流程以处理人类第一视角数据和机器人数据,并在预训练中利用视觉问答等互补监督信号适配具身任务。
推荐理由:该工作提出统一架构融合物理推理与动作预测,并验证了人机混合数据预训练的缩放定律。
arXiv 论文 PACT 提出一种端到端模型,联合从单目视频中估计人体姿态、环境接触点及接触力。该方法在人体重建基础模型上引入可学习的接触力 token 与时序 Transformer,利用物理监督增强运动与力的时空一致性。
推荐理由:提出端到端模型联合估计人体姿态、接触点与力,并引入物理监督与合成数据管线解决标注稀缺问题。