OneLA:从潜在动作中学习多元世界
针对跨域世界模型中动作接口差异及标注稀缺问题,论文提出 OneLA 框架,利用共享正交字典和通用预测目标学习连续潜在动作,无需任务特定设计或跨域对齐损失。该潜在动作为世界模型提供统一条件控制接口,配合轻量适配器将原生指令映射至同一空间。实验显示,OneLA 在跨域动作读出上表现更好,相比最强基线降低动作循环转移旋转误差 24.8%,真实场景生成的人类偏好分数提升 20.5%。
针对跨域世界模型中动作接口差异及标注稀缺问题,论文提出 OneLA 框架,利用共享正交字典和通用预测目标学习连续潜在动作,无需任务特定设计或跨域对齐损失。该潜在动作为世界模型提供统一条件控制接口,配合轻量适配器将原生指令映射至同一空间。实验显示,OneLA 在跨域动作读出上表现更好,相比最强基线降低动作循环转移旋转误差 24.8%,真实场景生成的人类偏好分数提升 20.5%。
论文介绍 Atomic-WAM,这是一个理解后执行的框架,旨在解决任务级指令对物理交互定义不足的问题。该方法利用视觉语言推理器描述局部运动以引导世界动作模型预测视频和动作片段,并通过自动标注流程从多视角 DROID 演示中获取接触丰富的监督信号。
推荐理由:提出 Atomic-WAM 框架,通过原子运动描述连接任务推理与动作生成,在 RoboLab 上实现执行 grounded 的奖励优化。
论文提出了 HM3D-M3 基准,旨在解决现有研究将多智能体、多模态与多目标导航割裂的问题。该基准在一个光真实室内场景中,让 K 个机器人团队从分布位置出发,搜索由类别名、实例图片或口语描述指定的 M 个无序目标。
推荐理由:该基准填补了多智能体、多模态与多目标导航同时存在的空白,提供了千集验证数据及两个基线方法。
针对预训练的世界动作模型(WAMs)在处理密集未来帧 Token 时产生的高推理延迟问题,本文提出了 CF-Prune 这一无需训练的剪枝框架。该方法利用指令与动作注意力机制识别任务相关 Token,并通过基于熵的相位识别机制保留高精度计算阶段以缓解性能下降。
推荐理由:提出无需训练的剪枝框架,在保持任务成功率的同时显著降低推理延迟。
该工作为 DCVLR 竞赛提交了一套紧凑可复现的管道,利用 Qwen2.5-VL-7B Instruct 结合 Cauldron 集合生成图像条件化指令对。系统经 DeBERTa-v3 奖励模型评分筛选,保留中位数约 1.53、均值约 1.75 的高质量样本。最终数据集涵盖数学、空间及社会推理领域,旨在支持多模态学习研究。
OmniPoser 提出一种通用框架,通过跨模态掩码机制与条件流匹配,从 3D 关键点、稀疏 IMU 旋转等异构输入中恢复全身 SMPL 运动。该架构在 Nymeria 和 Ego-Exo4D 等七个基准测试上表现媲美最先进方法,推理速度超过 700 FPS。项目页面已公开,论文作为海报被 ECCV 2026 接收。
本文提出 DeltaStreamer,一种受人类观察、记忆和调查机制启发的新型流式视频理解代理框架。该系统通过结合变化感知记忆与查询驱动规划及针对性证据回放,解决了现有方法在压缩历史时模糊事件过渡且无法恢复缺失视觉证据的问题。实验显示,该方法在 OVO-Bench 和 StreamingBench 上的整体得分分别为 66.07% 和 59.53%,优于代表性流式视频理解方法。
论文提出将世界模型集成到视觉语言动作模型(VLAs)以增强策略对未来动态的预测能力。研究通过统一框架系统评估了四种范式:隐式未来对齐、显式未来查询、MoT 未来专家和外部分布预测器,并在域内/外、长视界及真实场景下进行了测试。
推荐理由:该研究通过统一框架系统评估了四种世界模型集成范式,发现解耦的 MoT Future Expert 在跨域鲁棒性上表现优异,且 2D 语义表示具有通用增益。
该研究针对视频世界模型在长交互中难以保持状态一致性的问题,提出了将持久化抽象状态与视觉状态解耦的新范式。架构 StateCraft 结合语言模型与视频扩散模型,利用抽象状态跟踪实体变化并条件化当前视图生成。作者在无监督数据管道上构建了基准测试,结果显示该方法在生成质量、记忆能力和可控性上超越现有基线,且支持对未观测状态的直接编辑及空间环境(如光照变化)的模拟。
HyperLoop 是首个将高光谱成像集成至基于 3D Gaussian Splatting 的 SLAM 系统闭环模块的框架。该研究在 DLR 的月球 - 火星户外测试场(MMOTS)利用包含四段穿越任务的定制数据集进行验证,发现红近红外波段(600-860 nm)对岩石地形判别力有限。
论文提出 SceneAE 方法,将场景表示为结合显式 3D 位置与隐式内容特征的稀疏点云,实现了对场景本身的直接描述而非特定视角外观。该方法通过几何与内容的分离,先生成相机控制的 3D 几何再合成内容,解决了相机与外观纠缠问题。实验表明该 3D 潜在空间在生成质量、计算成本和相机可控性上均优于传统视频 VAE 方法。
针对现有前馈模型无法处理长序列累积误差、流式模型无法修正早期估计的局限,本文提出 SMORE 框架,通过引入受生物海马体启发的可修订外部记忆机制,使冻结的几何基础模型具备存储、检索、验证及修正观测的能力。
商汤大装置联合上海市规划资源局发布全面升级的“云宇星空大模型”,强化空间推理与任务执行能力。基于该模型,团队交付了包括“禹智河洛”在内的首批政务智能体,在防汛调度、空间洞察及规划更新场景中落地应用,其中防汛调度效率提升 80%。材料由商汤科技提供,量子位获授权转载。
该工作通过两阶段开发过程研究了物体目标导航问题,提出了 F2A-ObjectNav 自适应代理架构。第一阶段使用固定模块化框架发现不同配置在不同条件下存在性能与成本的权衡;第二阶段引入基于规则的监督器协调导航、检测、验证等组件,利用事件驱动恢复和条件语义引导实现轻量级执行。
2026 全球开发者先锋大会将于 10 月 23 日至 25 日在上海浦东举办,聚焦“真机实景、实景实训”目标。大会将千台机器人同台亮相并拆解为可复用技能包,覆盖上下料搬运等十余种真实场景。超万台机器人已入驻张江人工智能创新小镇,赛事将科学评估作业成功率与效率提升率,推动具身智能向万台级落地迈进。
Frame Evidence 基准包含 320 组匹配三元组和 960 道中文选择题,涵盖三个参考系对比及图像删减变体。在 288 个保留问题上测试显示,GPT 三提示准确率仅 50%,而最佳三帧组合准确率低至 10.42%。该研究揭示少样本提示虽提升单项准确率却未改善联合正确性,暴露了视觉证据与参考系变化下的答案不稳定性。
Dungeon and Visibility World Generator 是一个开源框架,用于构建可复现的二维和三维环境并评估几何视线。该工具支持正交、多边形/多面体及曲线几何,涵盖六种构造家族(如分散房间、蜿蜒通道等),允许通过参数控制房间尺寸与障碍物布局。
推荐理由:该框架提供可复现的二维三维环境生成与视线查询工具,支持多种几何类型与参数控制,适合机器人探索、覆盖及多智能体部署算法的评估。
针对室内数据集依赖昂贵 LiDAR 采集且视角稀疏的问题,该工作提出 Holi-Spatial 360 框架,利用对应关系引导的几何优化将前馈重建先验转化为跨视图约束,构建相干 3D Gaussian Splatting 表示作为空间记忆。
论文介绍 Robota-Embed,据称是首个同时编码当前状态查询与记录的未来延续的视觉 - 语言 - 动作(VLA)嵌入模型。研究构建了包含 169.5 万条清洗后训练锚点的多源语料库及 Robota-Embed-Bench 基准。
该研究提出观察对齐的事件创新(OA-EI)方法,用于在初始化后的航天器跟踪中修正短视界运动预测。模型通过事件编码器对旋转和归一化图像平面平移进行修正,保留传播的深度信息。
论文提出了$S^3$-Nav框架,旨在解决部分可观测环境下的语言引导机器人导航问题。该方法不预设完整环境表示,而是增量构建持久化的空间语义状态,仅向高层策略暴露容量可控的任务条件视图。
推荐理由:该工作提出结构化空间语义决策框架,通过分离持久状态与策略视图提升导航可靠性并降低推理成本。
该论文针对智能体视频理解任务,研究如何从有限噪声反馈中可靠发现通用系统。作者首先提出 VideoHarness-BRSI 框架,但在分析 4000 多个候选方案时发现验证过拟合、搜索预算稀释和早期经验陷阱等失效模式。
推荐理由:提出证据治理框架解决验证过拟合与搜索预算稀释问题,在四个基准测试中提升均分并缩小验证差距。
该技术针对增材制造液压歧管等永久占用流体管的场景,从固定路由拓扑出发对管路中心线进行几何细化。在包含 8 组×8 终端且胶囊间隙为 2 的测试套件中,方法实现了全硬接受成功、曲率半径比小于等于 1,并使软目标相对下降约 95%。研究将基于物理的压力降优化推迟至后续偏微分方程阶段,当前目标仅保留几何属性。
arXiv 预印本论文介绍 SMART 方法,旨在解决长视界视频生成中记忆容量与空间召回的竞争需求。该方法利用由观测相机地址的槽位循环存储内容,读取时由渲染相机查询,无需构建显式三维表示或维护增长缓存。
D3WM 模型通过联合回归确定性状态预测与空间不确定性图,利用方差门控随机微分方程分离漂移与扩散过程。该方法在机器人桌面操作和相机运动两类动作空间中均优于竞争性基线,有效处理了遮挡区域显现及动态纹理等随机变化带来的场景演化挑战。
这篇论文是一篇关于多模态大语言模型(MLLMs)在具身智能与机器人视觉任务中空间推理能力的调研文章。作者指出当前 MLLMs 存在空间感知局限,虽已有后训练技术,但缺乏数据驱动的全面调查。
论文论证了将空域视频像网页视频一样用 MLLM 做选择题评测的方法存在偏差,无法反映真实感知能力。研究通过元分析发现模型规模提升对空域基准的增益远低于人类差距,且采集条件(如高度、视角)显著影响准确率。现有基准缺乏闭环导航任务与跨视图几何测试,导致能力评估崩塌。作者据此提出五条可证伪原则,并建议采用 AVU-Card 报告卡规范未来评测标准。
推荐理由:该文通过元分析指出当前空域视频评测指标失效,提出几何感知缺失原则并建议采用 AVU-Card 报告标准。
该论文探索利用通用编码智能体通过可执行程序构建图像的替代方案。研究基于 AgentDrawBench 200 提示词基准,发现智能体在保持结构和满足精确视觉约束方面表现优异,但在感知丰富度上受限;其视觉表达力随绘图接口变化。
针对高维动作条件预测模型计算昂贵的问题,提出 Action Jet 方法直接估计当前状态下动作变化引起的图像区域移动流形局部形状(至三阶泰勒多项式)。该方法仅需单次推理即可评估任意数量候选动作,在 BridgeData V2、DL3DV 等基准上相比 IRASim 和 WorldGym 等生成器加速超过 300 倍且计算量减少超 100 倍,同时在短视界内对未见帧的预测更准确。
论文提出了 SafeDriveVLA,这是首个将导航遵循与冲突感知结合评估的驾驶视觉语言动作(VLA)基准及模型。该模型通过显式预测三级导航合规模式并利用导航条件化的世界模型进行‘做梦’,以判断严格跟随导航信号是否安全。
论文提出 VITAL(Vision-Induced Tokens for Action Learning),旨在将视觉预期转化为驾驶决策。该方法通过耦合视觉导出的运动骨架与紧凑残差编码,使视觉运动成为主要预测目标,同时为轨迹误差提供独立的归一化学习尺度。
推荐理由:该工作提出 VITAL 方法,将视觉运动作为动作预测主目标并引入残差编码,在 NAVSIM v1/v2 测试集上实现接近多步推理的精度与速度。
XGEN Team 发布技术报告,提出一种将持久化共享世界状态与连续第一人称视听生成耦合的框架。该框架集成可计算世界引擎 DAO 用于维护角色、物体及空间关系并推进世界演化,同时利用 Egocentric Interactive Experience Model JING 结合观测条件生成特定视角的体验。
论文介绍 RuleTrek 基准,旨在解决现有评测简化场景信息的问题。该基准通过提取结构化规则图并生成子场景,评估大模型在交互式工作空间中的三项核心能力:规则识别、规则推导及端到端规则推理。实验显示当前主流大模型在这些复杂任务上仍面临显著挑战。代码与数据集已开源。
论文提出 Glance Forcing 框架,解决将双向扩散模型蒸馏为因果少步学生模型时效率低的问题。该方法仅使用单个轨迹样本,通过解耦去噪过程为慢速和快速两个专家,分别优化语义布局与精细纹理,避免了单一学生模型的表示干扰。
该预印本论文指出,传统流匹配采样器的迭代步骤在标准复杂度模型下无法增加常深骨干网络的表达能力。研究证明引入自条件化机制后,模型可利用前一步的最终图像估计作为条件,从而打破这一限制,使常深骨干网络达到空间有界图灵机的表达力。实验显示该方法在多种视觉推理任务上提升了准确率与推理深度。
LIBERO-Industry 是一个基于 LIBERO 构建的新型基准,旨在评估机器人在高混合低产量(HMLV)等灵活制造场景下的操作能力。该基准将产品变体、物料流动变化、有限执行窗口和严格几何公差等工业约束转化为可控任务条件,包含静态到动态加载、动态到静态卸载及动态到动态转移三类共 216 个任务。
论文介绍 ASAP 框架,旨在解决大语言模型在预训练阶段难以评估智能体能力的难题。该方法保留模型的补全接口,通过结构化轨迹延续、简短参考前缀和最小恢复机制来激发基座模型的交互行为,无需将其转化为对话式智能体。研究在软件工程与深度研究基准上验证了 ASAP 能区分不同基座模型及预训练检查点的端到端性能,并暴露生成的执行轨迹以分析探索、编辑、测试、恢复等能力变化,为理解预训练后的模型行为提供诊断视角。
论文介绍 LEV 模型,这是一种无需生成文本即可进行深度推理的决策模型。该模型通过在训练好的语言模型基础上循环运行其层来增加推理深度,从而在保持单次前向计算的同时提升对复杂问题的回答准确率。实验显示,LEV 在硬任务上的准确率随深度增加而显著提升,且能通过小阈值动态调整推理深度以节省约 15% 至 24% 的计算量。
推荐理由:提出循环决策模型架构,在无需生成文本的情况下通过迭代层实现深度推理,显著降低硬任务计算成本。
RoTA-Bench 是一个用于评估视觉语言模型(VLM)将二维观测转化为三维理解能力的基准。该基准通过交互式 3D 到 2D 投影对齐任务,要求模型在有限操作预算内选择连续旋转以恢复目标投影。
视频生成器虽能构建交互世界,但生成的帧未必描绘一致的三维场景。现有基准缺乏对三维一致性的系统性评估。本文提出 Orbia 基准,首次从输入保持、生成内容持久性和三维自洽性三个维度,通过受控探索与回访机制,量化评估模型在外观、几何及空间稳定性上的表现。
推荐理由:Orbia 基准填补了交互式世界模型在三维一致性评估上的空白,提供了一套涵盖输入保持、生成内容持久性与三维自洽性的系统评测框架。