PrismWAM:在世界动作模型中解耦状态表示
论文提出 PrismWAM,旨在解决世界动作模型(WAM)将外观与物理构型纠缠的问题。该方法将世界状态分离为语义上下文和受物理规律支配的演化过程,构建了从语义规划到物理卷展再到可执行动作的流水线。
推荐理由:提出将语义与物理状态解耦的 PrismWAM,仅凭 RGB 输入在仿真和真实环境中实现操作性能超越大规模预训练基线。
技术方向
三维重建、空间表示、视觉定位和可交互环境中的感知与推理。
760 条精选近 30 天 559 条共收录 4,114 条
论文提出 PrismWAM,旨在解决世界动作模型(WAM)将外观与物理构型纠缠的问题。该方法将世界状态分离为语义上下文和受物理规律支配的演化过程,构建了从语义规划到物理卷展再到可执行动作的流水线。
推荐理由:提出将语义与物理状态解耦的 PrismWAM,仅凭 RGB 输入在仿真和真实环境中实现操作性能超越大规模预训练基线。
针对图像空间推理训练中瓶颈阶段动态变化的难题,论文提出 CALIPER 自适应过程奖励框架及 SpatialTrace 轨迹语料库。该方法通过组内岭回归估计各阶段参考覆盖率与答案正确性的关联,利用其作为效用代理逐步更新奖励权重;同时引入闭环机制监控估计器可靠性以指导回滚、多样化 rollout 及早停。
推荐理由:提出 CALIPER 自适应过程奖励框架,利用 SpatialTrace 解决图像空间推理训练瓶颈动态变化问题。
本文介绍了一种针对水下结构的完整 GPU 驻留多机器人三维检测流水线。给定三角网格和携带短距窄视场相机的 K 个机器人,该流程计算六自由度轨迹以覆盖目标表面比例并最小化总成本。
推荐理由:作者提出了一套完整的 GPU 驻留多机器人水下结构三维检测流程,包含可见性计算与路径规划等核心模块的 CUDA 实现。
针对扩散模型训练中通用 ODE 数值方法因时间离散化粗糙导致性能下降的问题,本文提出基于轨迹几何理论的最优线性跳跃(LEAP)方法。该方法利用低维度和跨轨迹一致性,在局部轨迹子空间构建监督最小二乘优化问题,无需模型评估即可精确逼近未来状态。
推荐理由:提出基于最优线性跳跃的采样加速方法,无需模型评估即可在多种模态下提升扩散模型生成效率。
针对现有数据集在评估无人机任务级意图方面的不足,该工作发布了 AeroIntent 仿真基准,包含由 22 条轨迹程序生成的 990 个雷达、RGB、红外和深度观测序列。基于此基准提出的 AeroMIR 推理器在严格的轨迹不重叠协议下,平均准确率达 71.56%,优于最强基线 7.79 个点。该基准与模型为多模态无人机意图识别提供了可复现的基础。
推荐理由:该工作发布了一个包含多模态序列的无人机任务意图识别基准,并提出了融合雷达轨迹与视觉证据的结构化推理器。
针对平面相机游戏(如俯视和等距视角)中动作控制依赖特征条件导致空间不一致的问题,本文提出 ActionRoPE 这一无参数动作接口,将动作驱动的光学位移直接转换为世界坐标旋转位置,使同一世界位置的 token 地址随时间保持不变。
推荐理由:提出 ActionRoPE 接口将动作转化为世界坐标,配合 CNS 调度策略,显著降低平面相机游戏世界的重访漂移并提升控制保真度。
论文提出了 OV-PEAR 框架,用于解决未知工业物体的 6D 位姿、尺度及操作就绪 3D 模型构建问题。该框架通过三阶段流程实现物体分割、外观感知视图检索与显式尺度搜索,并将多视角 RGB-D 证据反投影至物体规范坐标系以验证体素占用率,从而抑制幻觉并生成可信模型。
推荐理由:针对未知工业物体,提出基于多视角观测验证的位姿尺度估计与重建框架,在真实机器人装配任务中实现高成功率。
该论文介绍 UniJev 框架,通过共享头在文本、图像和视频上进行联合监督训练。研究发现监督决策模型能提升所有模态的准确率,而现有强化学习校准算法对视觉校准效果不一致且改变不大。
推荐理由:提出 UniJev 框架与 Cora 方法,在联合训练中分离准确率校准并降低图像视频 ECE。
论文提出 SpaRV(Sparse Radiance Voxels),一种通过可微射线步进渲染的稀疏辐射体地图方法,旨在解决机器人仿真、导航和检测中对照片级真实且几何准确的地图需求。
推荐理由:提出 SpaRV 方法,利用稀疏辐射体与可微射线步进实现 LiDAR 与图像联合映射渲染,解决大场景几何一致性与显存限制问题。
论文提出了 InteractAgent,这是一个用于长程人机场景交互的多模态大模型系统。该系统采用单一大模型同时担任规划者与评估者,并冻结一个运动大模型作为执行器,形成闭环控制架构。
推荐理由:该文提出 InteractAgent,利用冻结运动大模型与多模态大模型构建闭环规划执行反射机制,在 UniHSI 基准上验证了长程交互任务的成功率提升。
论文提出了名为 CorrCLIPv2 的统一免训练对象中心框架,旨在解决对比语言 - 图像预训练(CLIP)在开放词汇分割任务中受噪声类间补丁交互影响的问题。该方法通过解耦类间交互、利用自监督模型的空间相干特征计算注意力分数以减轻掩码不准确性,并设计细化机制同时增强空间细节与语义表示。
推荐理由:该工作提出无需训练的 CorrCLIPv2 框架,利用无标签图像构建记忆库并集成多 CLIP 模型,在多个基准上实现开放词汇分割的新最先进水平。
针对现有视觉语言模型在三维空间推理中受限于被动视角的问题,本文提出 View-to-World (V2W) 框架。该框架通过重建包含几何、相机姿态和语义的显式 3D 世界,使 VLM 能通过多轮交互主动获取空间证据进行推理。实验表明,该方法在不需训练的情况下显著优于基线,且经强化学习优化探索策略后达到最先进水平。
推荐理由:提出无需训练的主动探索框架,将 VLM 从被动感知升级为基于 3D 世界的主动推理。
论文 O-SCD++ 提出一种无需回放缓存的在线场景变化检测方法,解决了原有方法在速度与精度间的权衡问题。该方法将参考场景表示为高斯泼溅图并固定不变,利用渲染器的反向传播直接更新新观测数据,仅需每高斯点两次标量递归即可完成多视角融合,避免了存储和重访历史观测。
推荐理由:提出无需回放缓存的在线场景变化检测新框架,在保持因果性前提下将处理速度提升至每秒 25.6 帧并提升精度。
论文提出了 Anchor-WM 方法,利用预训练的 DINO 特征作为教师来学习紧凑的潜在状态,而非直接将其作为世界模型的状态空间。该方法通过动作条件化的动力学学习和仅用于蒸馏的训练头,在保留视觉信息的同时避免表示坍塌。
推荐理由:提出用预训练特征指导学习紧凑潜在状态,在四个环境中实现最佳成功率并显著加速规划。
论文 Time-JEPA 针对视频世界模型缺乏物理状态演化信息的不足,提出用低维时序对齐的物理量作为辅助监督信号进行微调。该方法在自动驾驶、机器人操作和人体运动等多个领域均提升了当前状态解码、多步未来预测及运动学重建性能,且在跨条件与变量分布偏移下表现更稳健。外部评估显示其能增强对物理异常及交互的敏感度,且方法可迁移至不同视频骨干网络。
推荐理由:该工作提出用低维时序物理量辅助监督视频世界模型,在自动驾驶、操作与人体运动等多域任务上提升状态解码与未来预测能力。
PhaseGuard+ 提出一种无需微调即可评估稀疏帧视频语言模型答案可靠性的方法,通过控制时序偏移探测冻结 VLM 并预测修复动作收益。在 Qwen3-VL-8B 上可靠性 AUROC 从 68.0% 提升至 74.8%,将 30% 问题路由至更强模型后准确率达 67.87%,显著优于随机路由。
推荐理由:PhaseGuard+ 方法在冻结 VLM 上独立评估答案风险与修复动作价值,显著提升了稀疏帧视频问答的可靠性与路由效率。
论文提出 QualiDrive 方法,将端到端自动驾驶中的轨迹生成沿驾驶质量轴而非高斯噪声轴进行扩散。该方法通过构建场景特定的质量阶梯,根据测得的驾驶效应对观测到的轨迹排序,并学习通过有序的低质到高质细化来逆转这种退化。
推荐理由:提出沿驾驶质量轴进行扩散的 QualiDrive 方法,在 NAVSIM 上实现 SOTA EPDMS 并显著提升高分候选比例。
该论文提出 EgoXperience 全栈范式,旨在解决从第一人称视频中重构人类活动所需的运动、几何与手物交互一致性难题。核心包括自动标注引擎 EgoX-Engine,结合几何验证的目标跟踪与 SLAM 世界对齐;以及由此构建的 EgoX-Data-6M 数据集(50 小时室内外任务驱动数据)和评测基准 EgoX-Bench。
推荐理由:该工作提出 EgoXperience 全栈范式,通过自研引擎构建百万级数据与统一模型,在单目视频下实现相机、场景及手物交互的联合度量重建。
论文提出 Fréchet Forcing 方法,用于微调世界模型以解决长序列生成中的漂移问题。该方法在无需教师模型或在线评论器的情况下,利用流匹配损失、上下文保真度和现实匹配三个约束,使模型在机器人操作和相机控制探索任务中能在超过 4,000 帧的长序列内保持稳定性并遵循动作指令。材料为 arXiv 预印本,未提及同行评审状态或具体部署许可。
推荐理由:提出无需教师模型的 Fréchet Forcing 方法,通过流匹配与统计约束解决长序列生成漂移问题。
GroundingPI 是一个 4B 参数的接地基础模型,通过生成共享词汇表中的量化坐标(点和框)来精确指定目标物体及其位置。该模型结合多模态与空间预训练、监督微调及 GRPO 强化学习,在涵盖 11 种感知能力的 34 个基准上平均达到 73.68% 的准确率,超越 GPT-6 Astra(71.54%)。
推荐理由:该论文提出 GroundingPI 模型,在多项感知基准上超越 GPT-6 Astra,并证明专用感知预训练对机器人操作和自动驾驶的有效性。