LLM-as-policy 的物理递归自我改进能力来源:一项观测缩放律研究
本文系统研究了物理递归自我改进(Physical RSI)的机制、缩放行为与泛化性,引入 PhysRSI-eval 通过首次尝试性能、效率、成功率、预算和失败后改进五个维度量化 VLM 在 18 个操作任务中的表现。
推荐理由:该文提出物理递归自我改进观测缩放律,通过五轴指标量化 VLM 在操作任务中的表现与改进机制。
技术方向
物理仿真、数字孪生和仿真到现实,保留物理设置、平台条件和实机迁移证据。
425 条精选近 30 天 289 条共收录 1,722 条
本文系统研究了物理递归自我改进(Physical RSI)的机制、缩放行为与泛化性,引入 PhysRSI-eval 通过首次尝试性能、效率、成功率、预算和失败后改进五个维度量化 VLM 在 18 个操作任务中的表现。
推荐理由:该文提出物理递归自我改进观测缩放律,通过五轴指标量化 VLM 在操作任务中的表现与改进机制。
论文提出 PrismWAM,旨在解决世界动作模型(WAM)将外观与物理构型纠缠的问题。该方法将世界状态分离为语义上下文和受物理规律支配的演化过程,构建了从语义规划到物理卷展再到可执行动作的流水线。
推荐理由:提出将语义与物理状态解耦的 PrismWAM,仅凭 RGB 输入在仿真和真实环境中实现操作性能超越大规模预训练基线。
针对现有数据集在评估无人机任务级意图方面的不足,该工作发布了 AeroIntent 仿真基准,包含由 22 条轨迹程序生成的 990 个雷达、RGB、红外和深度观测序列。基于此基准提出的 AeroMIR 推理器在严格的轨迹不重叠协议下,平均准确率达 71.56%,优于最强基线 7.79 个点。该基准与模型为多模态无人机意图识别提供了可复现的基础。
推荐理由:该工作发布了一个包含多模态序列的无人机任务意图识别基准,并提出了融合雷达轨迹与视觉证据的结构化推理器。
论文提出 SpaRV(Sparse Radiance Voxels),一种通过可微射线步进渲染的稀疏辐射体地图方法,旨在解决机器人仿真、导航和检测中对照片级真实且几何准确的地图需求。
推荐理由:提出 SpaRV 方法,利用稀疏辐射体与可微射线步进实现 LiDAR 与图像联合映射渲染,解决大场景几何一致性与显存限制问题。
针对长序列操作因累积误差和搜索复杂度高的难题,本文提出向量量化世界模型(VQ-WM),将离散长程搜索与连续视觉反馈控制相结合。该方法利用首达时间估计器作为准度量以对齐控制器能力,在汉诺塔物理操作中仅凭短轨迹数据即实现 100% 成功率,并能泛化执行训练集未见的长序列解法;同时在涵盖操作与移动的多项仿真基准上,性能优于最强世界模型。
推荐理由:提出结合离散长程搜索与连续视觉反馈的潜在反馈运动规划框架,在汉诺塔任务中实现仅用短轨迹数据即达 100% 成功率。
本文提出 FLASH-CBF-RRT,旨在解决传统直线转向浪费样本和二次规划控制器计算开销大的问题。该方法通过闭式运动学边界计算碰撞清除时间视界,使规划器能在安全范围内使用恒定速度进行自适应步长转向(障碍物附近短、开阔空间长)。
推荐理由:FLASH-CBF-RRT 通过闭式解计算安全时间视界,在保持 RRT-Connect 100% 成功率的同时将规划耗时降低 3.82 倍。
论文 Time-JEPA 针对视频世界模型缺乏物理状态演化信息的不足,提出用低维时序对齐的物理量作为辅助监督信号进行微调。该方法在自动驾驶、机器人操作和人体运动等多个领域均提升了当前状态解码、多步未来预测及运动学重建性能,且在跨条件与变量分布偏移下表现更稳健。外部评估显示其能增强对物理异常及交互的敏感度,且方法可迁移至不同视频骨干网络。
推荐理由:该工作提出用低维时序物理量辅助监督视频世界模型,在自动驾驶、操作与人体运动等多域任务上提升状态解码与未来预测能力。
论文提出 Fréchet Forcing 方法,用于微调世界模型以解决长序列生成中的漂移问题。该方法在无需教师模型或在线评论器的情况下,利用流匹配损失、上下文保真度和现实匹配三个约束,使模型在机器人操作和相机控制探索任务中能在超过 4,000 帧的长序列内保持稳定性并遵循动作指令。材料为 arXiv 预印本,未提及同行评审状态或具体部署许可。
推荐理由:提出无需教师模型的 Fréchet Forcing 方法,通过流匹配与统计约束解决长序列生成漂移问题。
NVIDIA Isaac Lab 3.0 正式向公众发布,确立了下一代机器人学习的基准。该版本引入工厂式多后端架构,允许任务在 Newton、PhysX 等物理引擎及不同渲染器间切换而无需重写逻辑;提供 Warp 原生数据路径实现零拷贝访问;并支持 Kit-less 执行模式以简化部署流程。
推荐理由:NVIDIA Isaac Lab 3.0 正式发布,提供跨物理引擎与渲染器的统一任务接口及零拷贝数据路径。
中国电信人工智能研究院与伽马智能联合推出NEXUS,这是一个面向人形机器人的跨地形感知运控基座模型。该模型将广泛的全身行为覆盖与环境感知相结合,让机器人在保留动作特征与意图的同时,根据所处地形自主调整身体姿态与接触。
推荐理由:中国电信与伽马智能联合提出NEXUS基座,通过仿真生成跨地形配对数据并采用两阶段训练,实现人形机器人在保留动作意图下自主适应复杂地形。
论文介绍 ADEPT 框架,旨在通过大规模强化学习在多自由度机器人本体上实现从原始视觉 - 触觉感知直接求解长视界任务的 sim-to-real 灵巧性迁移。该方法先在通用物体放置任务上预训练灵巧策略,再以后训练下游策略,解决了多指机器人难以从零发现新行为的问题。
推荐理由:论文提出 ADEPT 框架,通过预训练与后训练结合强化学习解决多指机器人灵巧操作难题,并开放了相关代码。
FELT 是一个利用现有成对视觉 - 触觉数据学习接触感知表征的框架,通过冻结视觉编码器和独立的查询解码器为下游策略提供生成的触觉图像或接触感知特征。在四项富接触的真实机器人任务实验中,直接融入学习到的接触感知特征使成功率提升 15-22.5 个百分点,证明了该方法无需真实触觉硬件即可提升操作性能。
推荐理由:该框架利用视觉数据生成触觉表征,在四项真实机器人任务中使成功率提升 15-22.5 个百分点。
针对城市人行道导航中复杂结构与动态行人行为带来的挑战,本文提出 SidewalkBench 基准。该基准基于 NVIDIA Isaac Sim 构建,包含程序化生成与真实扫描的高保真场景,并集成了丰富的反应式行人事件与高效动画系统。
推荐理由:SidewalkBench 基于 Isaac Sim 构建高保真城市人行道仿真环境,对 9 个视觉导航模型在行人交互与长程任务上的表现进行量化评估。
论文 OrbiSim 提出一种新型机器人仿真范式,将世界模型定义为完全可微的物理引擎,以连接结构化场景资产、神经动力学与下游强化学习。该方法支持从显式状态转换到视觉观测生成的端到端可微性,从而解决传统模拟器难以处理的接触建模、稀疏奖励下的梯度策略优化及直观物理推理等任务。
推荐理由:该工作提出将世界模型作为可微物理引擎,支持端到端梯度优化与接触建模,为机器人策略训练提供新路径。
该论文针对自动驾驶车辆在未知摩擦条件下的控制难题,提出了一种结合优化规划与间接自适应鲁棒控制(IARC)的双层框架。上层通过求解带约束的最优控制问题生成满足所有约束的时间最优可行轨迹;下层利用 IARC 在线估计与摩擦相关的未知参数,并结合模型补偿与鲁棒反馈确保瞬态和稳态跟踪性能。
推荐理由:提出结合优化规划与间接自适应鲁棒控制的双层框架,解决未知摩擦下的车辆轨迹跟踪问题。
论文介绍 CoreDNA,这是一种无需代理模型训练或大量标注的无监督核心集估计方法。该方法通过池化视觉基础模型的神经元激活值,将每张图片的分布与数据集整体分布进行比较,从而同时捕捉低层视觉结构和高层语义信息。
推荐理由:提出 CoreDNA 无监督任务无关核心集选择方法,在感知与动作多任务上匹配或超越现有水平。
当前视频世界模型的内存测试常将场景设置、动作执行与结果展示混为一谈,导致低分被误读为遗忘。本文提出 MIST 评测,分离变化指令与应留下的记忆痕迹,定位到模型能设景却无法执行指令的瓶颈。
推荐理由:提出 MIST 评测与 M3-Agent 方法,从执行侧诊断视频世界模型的记忆失效瓶颈并提升基准。
Ayush Deshmukh 等人提出了一种结合传感器对齐、触觉校准及新型域随机化的框架,在 Shadow Dexterous Hand Lite 上实现了无需视觉的连续拨珠旋转。物理实验完成单次连续 225 次(112.5 圈)180°旋转,速度约 0.36 转/秒,刷新了该任务的硬件基准并明确了触觉感知的关键区域贡献。
推荐理由:该研究在 Shadow Dexterous Hand Lite 上实现了无需视觉的连续拨珠旋转,验证了触觉校准与仿真域随机化对跨越 Sim-to-Real 鸿沟的有效性。
该技术报告介绍了 LY-GWM-RoboCasa-Human300 策略,该策略结合了经 Human300 微调的 GR00T-N1.5 动作生成器、动作条件化的图动力学模型以及学习到的二元状态奖励评分器。
推荐理由:该报告提出结合人类动作微调与图动力学模型的预测引导策略,在 RoboCasa 基准上实现了优于历史基线的成功率提升。
本文提出一种无需额外训练的框架,将冻结的姿态估计器 VGGT 与重建骨干网络 TokenGS 结合,解决坐标系不一致与平移尺度失配问题。在包含 107 个场景的测试中,该方法在全视角及仅四张稀疏视图条件下均能达到接近 COLMAP 参考的质量(22.47 PSNR),实现了完全无需 COLMAP 的姿态自由重建流程。
推荐理由:该工作通过坐标系对齐与尺度修正,证明冻结的 VGGT 与 TokenGS 组合在稀疏视图下即可达到全视角质量,无需额外训练。