学习动作条件化与以物体为中心的刚体高斯溅射世界模型
本文提出了 Multi Rigid Object Gaussian World Model (MRO-GWM),一种利用对象中心高斯表示任意形状及多物体场景的新模型,通过学习动作条件化的刚体动力学来预测未来运动。
本文提出了 Multi Rigid Object Gaussian World Model (MRO-GWM),一种利用对象中心高斯表示任意形状及多物体场景的新模型,通过学习动作条件化的刚体动力学来预测未来运动。
论文提出了 FlatVPR 范式,旨在平衡地图轻量化与定位精度。该方法通过引入可学习的残差变换和基于拉回平坦性的损失函数,抑制基础模型(如 DINOv2)特征空间中的显著曲率,使特征流形近似线性化。实验在 NCLT 数据集上验证了该方法在极端稀疏锚点间隔和季节变化下的有效性。
推荐理由:提出 FlatVPR 方法,通过几何校正适配器解决基础模型特征流形曲率问题,在稀疏锚点条件下显著提升视觉定位性能。
针对多步机器人操作中场景演化不确定性问题,研究提出通过未来经验条件化(FEC)接口,利用 LLM 推理器、数字孪生和扩散模型生成短视界未来视频作为控制与强化学习微调的结构化先验。在 RoboCasa 和 CALVIN 仿真环境中对比了无未来、生成未来及错误未来等条件下的策略表现,发现生成的未来视频能提升性能而失配的未来会退化效果,且 BC+RL 架构综合表现最强。
Junwei Zhou 与 Yu-Wing Tai 提出 Layout-as-Policy (LaP) 框架,将单目三维场景布局估计重构为感知后规划问题。该方法利用视觉语言模型先通过 Perceiver 定位物体,再由 Planner 通过平移、旋转和缩放等离散动作迭代优化场景假设,以解决直接预测难以兼顾物理约束的挑战。
论文提出 StableHand 框架,针对眼动视频中双手频繁出画及物体遮挡导致的观测噪声问题,将单帧观测质量分解为手腕平移与手指关节四个通道信号,并以此条件化流匹配过程。该方法在 HOT3D 和 ARCTIC 两个基准上均优于最强基线,尤其在严重遮挡序列中 W-MPJPE 降低 20-25%。材料为 NeurIPS 2026 录用论文,未涉及真实机器人部署结果。
该综述提出从单一游戏精通迈向同时创造与演化的理论游戏多元宇宙路线图,旨在构建全能通用智能体以铺平 AGI 之路。工作围绕数据集、模型、框架和基准四大支柱展开,试图突破束缚系统的五项根本权衡。项目页面与代码仓库已提供链接供查阅。
该研究提出了语义自主堆栈(SAS),这是一个六层集成框架,旨在连接人类指令与空间目的地并保留操作经验。系统采用‘确定性优先’级联架构,结合路线图、语义对象和状态信息处理任务,仅在必要时将未决案例升级至预训练的视觉语言模型(VLM)。
论文提出利用工具约束的 LLM Agent(Director 和 Scene Builder)在仿真引擎中构建可执行的多角色时空事件图,解决了标准流水线无法追踪动态世界状态的问题。实验显示,该框架生成的规范执行率为 80%,且能准确重构原始场景的事件、参与者及顺序,相关成果已获 ECCVW 2026 录用。
推荐理由:提出工具约束的 LLM Agent 框架,将多角色场景构建为可执行的时空事件图,解决了标准流水线无法追踪动态状态的问题。
该论文提出 Know3D 框架,旨在解决现有 3D 生成模型因单视图观察模糊和缺乏全局结构先验而导致的未观测区域(如背面)随机性过强及几何不合理问题。该方法通过潜在隐藏状态注入技术,将多模态大语言模型的丰富知识融入 3D 生成过程:利用视觉 - 语言模型进行语义理解与引导,扩散模型作为桥梁转移语义知识至 3D 生成模型。
针对单目视频进行场景级神经体素重建时面临的严重域偏移及尺度不一致问题,该研究提出了 VFM-Recon 方法。该方法引入轻量级尺度对齐阶段以恢复多视角尺度一致性,并通过任务特定适配器将预训练视觉基础模型特征集成到重建流程中,在保持跨域鲁棒性的同时实现重建优化。
针对三维医学影像报告生成任务,现有视觉语言模型存在未利用分割预训练编码器及仅在输入层注入视觉特征导致多尺度信息丢失的问题。本文提出 U-VLM 架构,实现从分割到分类再到报告生成的渐进式训练,并将 U-Net 编码器特征路由至语言模型对应层级进行多层注入。
针对非结构化环境中辅助机器人需推理物体功能及非常规用途的挑战,该工作提出 CRAFT-E 框架,通过组合大语言模型生成的动词 - 属性 - 对象知识图、CLIP 视觉对齐与基于能量的抓取推理,实现可解释的 grounding 路径与无需重新训练的编辑能力。
作者引入 IndustryNav 仿真环境,包含 24 个仓库场景以支持闭环导航至指定目的地。研究引入了感知碰撞和近撞警告的安全指标,实验表明现有视觉大语言模型虽能到达目标但会与移动障碍物发生碰撞。此外,策略在熟悉路线上有效却无法泛化到未见过的新布局,凸显跨场景泛化仍是开放挑战。
论文介绍 PLANA3R,这是一个无需相机姿态的度量平面三维重建框架,适用于室内人造环境。该方法利用 Vision Transformers 提取稀疏平面先验,估计相对相机位姿,并通过高分辨率渲染的深度和法线图传播梯度进行几何学习。
该工作针对像素级视觉基础模型在视觉问答任务中表现弱化的现象,提出了包含配对评估的新基准和提示词敏感性分析工具。研究证实简单基线即可匹敌部分专用模型,并揭示了 grounding 能力与输出 token 的对应关系不固定于指代表达本身。代码与数据集已公开,论文已被 TMLR 2026 接收。
论文提出了Optimistic Test-Time Adaptation (OpTTA) 方法,旨在解决潜伏世界模型在测试时冻结导致分布偏移下规划性能下降的问题。
推荐理由:提出OpTTA方法,通过引入规划目标项优化测试时适应策略,在多项任务中将最终规划成功率平均提升13.5个百分点。
论文针对单卡交互世界模型受限于显存容量与带宽的问题,提出 WorldPager 方法。该方法基于相机位姿已知的前提,将 KV 缓存存储于 GPU/DRAM/NVMe 层级而非重复计算,并通过预取机制避免等待。实验显示,在 RTX 4090 上可实现约 37.5 分钟的连续视频生成且主机内存恒定,int4 量化下未见质量损失。
作者提出了 Omni-InteractScope 基准,包含 1,479 条人工标注、跨评审的交互数据及 1,790 个时间目标。实验结果显示当前多模态大模型存在三大局限:工具调用的及时响应率最高仅 40%,无查询提醒的召回率不超过 23.0%,且仅有少数模型能覆盖完整的端到端引导序列。该基准涵盖了事件触发的工具调用、免查询协助及状态追踪等场景,旨在推动开发具备主动行动能力的流式助手。
NeSySpec 是一个集成且可解释的神经符号审计框架,旨在帮助工程师审查工程系统的声明规范,识别其遵循或违反的物理约束、发现被篡改字段并提出最小修正方案。该框架基于逻辑张量网络构建,利用从真实记录中学习的容差将领域物理关系编码为可微分级谓词。
针对现有视频世界模型在长序列推演和分布外泛化上的不足,本文提出将时序可预测性作为潜空间设计准则的新方法。通过结合时序表示学习目标与过去条件解码器架构,该方法在不牺牲像素预测精度的前提下简化了未来预测任务。
推荐理由:提出将时序可预测性作为视频世界模型的潜空间设计准则,在同等训练预算下实现推理成本降低 5 倍、训练加速 7 倍以上及泛化误差显著下降。
AndroidFlux 是一个基于 AndroidWorld 构建的基准,通过重置轨迹至错误发生点来隔离并评估移动多模态智能体从意外状态中恢复的能力。研究发布了一个离线强化学习数据集以提升错误恢复效果,结果显示恢复性能仅部分与清洁启动成功率相关,且显式推理仅在 GUI 领域特定 RL 训练模型中有效。
论文指出智能体从提示词构建的组件可能破坏系统,因为提示词遗漏了邻居对其的假设。作者提出利用 SysML v2 要求中的假设和约束条件构建假设保证契约,将系统需求分解为开放组件的最弱声音契约(即契约商演)。
论文提出 FLORE 框架用于学习力反应型人形机器人的行走与操作。研究通过无机器人演示收集手部力觉、全身运动数据,训练结合视觉与本体感知的扩散策略,并采用带力跟踪的混合全身控制器执行指令。
该研究测试了 46 个视觉编码器在数字与手势等不相关视觉域中,发现数值、年龄等 10 类概念的局部线性方向普遍存在但全局线性缺失。这种现象被称为“碎片化线性”,表明模型在不同视觉域间无法共享统一的概念方向,且仅当局部线性增强时才能逐步突破此限制并实现跨域转移。
FL4N 是首个不依赖显式 4D 原语的前馈潜在 4D 新视角合成模型,它将 4D 场景先验编码为统一的时空潜在表示。该模型利用轻量级动态编码器解耦物体运动与相机视差,仅通过图像合成目标训练即可实现实时渲染,并在真实视频上展现出良好的泛化能力,有效分离了视角变化与时间动态。
arXiv 论文 OSWAM 针对直接策略世界动作模型需多步去噪导致高延迟的问题,提出通过构建想象 token 初始化扩散过程以提供物理先验,并引入未来条件特权信息蒸馏。实验表明该模型在自动驾驶和具身控制任务上能达到甚至优于需要数十步的基线方法,实现约 3 倍加速,并在 NVIDIA RTX 5090 GPU 上将延迟降至 40ms,支持实时编译推理。
推荐理由:该工作提出 OSWAM,通过引入想象 token 和特权信息蒸馏实现一步生成,在自动驾驶与具身控制任务上达到多步基线水平并将推理延迟降至 40ms。
该论文介绍 VidEdit3D 框架,旨在解决现有文本引导的 3D Gaussian Splatting 编辑在灵活性、多视角一致性及应用非寻常角度物体时的局限。
论文介绍 TrySee,这是一个集成通用 VLM 推理与专用感知组件的模块化闭环机器人任务规划管道。系统通过内在反应式循环规划流程,结合领域特定的视觉预处理模块提供在线定位(grounding),并利用动态预处理选择机制提升可扩展性。
论文提出 VPR-Space 基准以评估地外表面(如月球、火星)的视觉定位能力。作者收集了十六个基于太空模拟域的数据集,并创新性地依据下游 SLAM 任务价值生成真值矩阵,而非依赖固定阈值。研究评测了九种主流方法,结果显示现有技术在低特征环境中仍有较大提升空间。数据集预发布版本已开源。
论文报告了一项针对全尺寸自动驾驶车辆的实地遥操作实验,对比了标准摄像头、原始 LiDAR 点云及传感器融合三种鸟瞰图界面。结果显示,融合感知在感知可用性、认知负荷(NASA-TLX 评分显著降低)、任务完成时间及系统可用性(SUS)等指标上均优于单一传感器方案,为设计鲁棒的远程驾驶系统提供了实证依据。
针对统一帧采样在稀疏事件视频中易遗漏短暂证据的问题,作者提出 EARS 方法。该方法无需训练或查询,利用光流运动与音频能量对帧进行排序并应用时间非极大值抑制以增强多样性。
论文介绍EmbodiedLab基准,旨在评估机器人能否通过改变物理状态来探索并理解环境(即‘行动以认知’)。该基准包含30个跨学科的定量科学实验,参数随机采样且结果不可预知。研究测试了六款前沿模型在原生控制、感知规划及灵巧操作增强下的表现,发现即使最强模型成功率也不足一半,主要失败源于与设备的交互,而灵巧操作技能对较弱模型的帮助大于感知与规划能力。
针对室内场景中现有方法局限于预定义类别的问题,本文提出 OVM-Occ 框架,利用嵌入语言的三维高斯作为中间场景表示,并通过几何感知的可变形注意力模块与实例级视觉语言嵌入提供可靠监督。
论文提出 Reward-Guided RRT* 框架,通过局部联合任务选择与运动规划阶段构建预算可行的机器人任务序列,无需预计算任务转换图。该方法在连续状态空间下直接评估,并通过返回可行性程序确保每个选定任务在不违反预算的前提下可访问。
现有机器人导航方法多关注孤立任务,忽视跨次任务的经验积累及历史决策反思。本文提出 RetroNav,这是一个无需训练的自进化导航框架,整合了导航、记忆累积与失败反思。
针对四旋翼控制器对比常仅报告单一跟踪误差的问题,该研究量化了调参努力程度、参考信息、执行器预测及优化器回退策略等因素对排名结果的影响。通过主研究与确认性实验,发现匹配十二候选者的调参协议将 BL-SMC 从末位推至首位;参考预览显著降低了 MPC 跟踪误差并消除了回退活动。研究还指出命令时序与求解器迭代上限会改变系统稳定性,最终提出涵盖跟踪精度、调参投入及失败率等的报告清单以规范基准测试。
该论文提出 MemVLN 框架,旨在解决基于 VLM 的智能体在长视野导航中维持持续情景记忆的难题。方法上,系统维护一个有界压缩感知特征库(标注时间戳与动作相对姿态),并通过交叉注意力生成紧凑记忆 token;结合冻结预训练几何编码器及掩码轨迹总结任务进行训练。
推荐理由:提出 MEMVLN 框架,通过压缩感知特征与冻结几何编码器实现长视野导航中的持续记忆,物理实验显示成功率从基线 17% 提升至 47%。
针对大型车辆在杂乱环境中被可移动障碍物阻挡的问题,该研究提出 PushAround 算法,这是一种结合几何连通性推理与短时仿真搜索的物理信息驱动混合搜索方法。系统通过重复查询 W-清除连通图(WCCG)来暴露需要拓宽的前端间隙并按预估下游成本排序,生成直接或递归的推挤候选方案,并选择障碍物、方向、接触点和力进行物理评估。
论文提出 DriveUniTok,这是一个用于驾驶世界动作模型(WAMs)的统一多模态分词器,能将外观、投影 LiDAR 深度和自车运动编码为单一可解码连续潜在空间。
针对移动机器人在导航障碍物同时保持目标可见性的动态跟踪任务,本文提出 LECO 框架,通过将轨迹优化转移至离线直接控制策略学习,利用可微运动学模型让轨迹级目标直接指导控制学习。
推荐理由:LECO 框架将轨迹优化转化为离线直接控制策略学习,在仿真与真实机器人平台上实现了平滑且鲁棒的动态目标跟踪。