SaiVLA-JEPA:评估 JEPA 条件下 VLA 的未来潜在预测能力
论文提出 SaiVLA-JEPA 架构,结合视觉语言模型与扩散 Transformer 动作专家,利用冻结的 V-JEPA 编码器特征进行控制。在 LIBERO-Plus 基准的 10,030 个配对集上测试发现,引入当前 JEPA 条件化使成功率从 71.6% 提升至约 82.5%,但增加未来监督未带来可检测的整体增益。
论文提出 SaiVLA-JEPA 架构,结合视觉语言模型与扩散 Transformer 动作专家,利用冻结的 V-JEPA 编码器特征进行控制。在 LIBERO-Plus 基准的 10,030 个配对集上测试发现,引入当前 JEPA 条件化使成功率从 71.6% 提升至约 82.5%,但增加未来监督未带来可检测的整体增益。
Selective Compositional Diffuser(SCD)通过自监督学习可达性分类器,解决了长视界扩散规划中的模式平均与轨迹不连续难题。该方法在 OGBench 缝合任务中显著降低不可行组合比例,并在 HumanoidMaze-Large 和 Giant 任务上取得最佳成功率。研究基于离线数据联合训练生成片段以缓解分布失配,相关代码与论文已公开于 arXiv。
该论文调研了具身系统如何利用部署经验更新策略、世界模型与技能,并引入数据获取与学习流程的修订来实现递归自我改进。文章区分了学习者更新者与改进者的功能差异,对比了策略学习、想象体验、记忆积累及可执行框架等方法,提出 L0-L3 分级标准以区分任务局部适应、持久能力增益、继承的流程修订及验证后的改进者增益。
Josef Chen 在 PushT 基准上测试了其固定动作更新器(1,505 参数),该模型解决了 8/16 个预留场景,总规划编码时间为 59.079 秒。
推荐理由:作者对比了固定动作更新器与多种规划器的性能,发现增加规划步数反而降低成功率并增加成本。
近日,奥比中光与大晓机器人签署万台战略采购协议,双方将围绕机器人视觉及高质量真实世界数据采集推动规模化部署。奥比中光提供深度相机、RGB 相机等无本体采集硬件及配套软件适配服务,目前已进入产品交付阶段。此次合作旨在实现数据采集端与机器人本体端的视觉感知同构,助力大晓机器人“开悟”世界模型 3.1 持续迭代。
大众汽车集团(中国)在合肥举办技术日,正式发布本土自研一体化技术矩阵“VEGA”,涵盖CMP/CSP整车平台、CEA区域控制架构及酷睿程HS8智驾方案。官方披露基于C-Brain AI工具链可将软件测试效率提升36倍,问题修复时间缩短至20分钟;智驾侧利用GAIA2.0世界模型进行每日500万公里仿真测试。
针对世界动作模型(WAM)难以仅从演示的动作相关潜在变量生成动作的问题,本文提出 CausalWAM 方法。该方法在预训练 WAM 的动作头中增加稀疏路由路径,将导致动作的因果因素与预测依赖分离。理论证明在稀疏约束下,用于生成动作的潜在变量是动作相关变量的可逆函数,且该结构唯一确定(至排列)。实验在合成数据和真实机器人上验证了理论并展示了闭环成功率提升。
针对工具超时导致 AI 智能体面临模糊结果和部分执行的场景,该研究提出基于证据的任务恢复框架。方法结合标准观察依赖规划与独立的效果历史裁决器,通过共享可采性检查处理密钥过期、授权时序及残留效应,并利用终端证书区分目标满足与安全完成。
2026 年机器人行业因硬件进步与人工智能加速变革,全球及美国订单在疫后暂停期持续攀升。该免费手册由 The Robot Report 整理,涵盖灵巧操作、建筑自动化趋势及波士顿动力 Atlas 等进展。内容还涉及 Plus One Robotics、Jabil 与 Apptronik 合作、SoftServe 虚拟健身房仿真以及 Locus Robotics 软抓手技术。
新芯航途在苏州举行发布会,正式发布面向量产的大模型芯片X7 Ultra。该芯片采用超大核NPU与专用加速引擎架构,实测在大模型性能相当条件下推理能效提升100%,内存带宽消耗下降80%。
Orbbec 与 ACE Robotics 签署采购协议并建立全面战略合作伙伴关系,覆盖 10,000 台机器人视觉产品及无感数据采集硬件。双方将聚焦机器人视觉与高质量现实世界数据收集,以支持具身智能的大规模部署及世界模型(如 Kairos 3.1)的持续演进。
推荐理由:双方达成战略合作,Orbbec 将向 ACE Robotics 供应深度相机及机器人无感数据采集硬件,以支持具身智能大规模数据收集与世界模型演进。
文远知行披露旗下子公司景烁科技完成7000万元Pre-A轮融资,资金将用于业务扩张及运营。该公司致力于构建物理AI时代的数据及世界模型基础设施,自研了打通数据全流程的WorldEngine平台、面向物理场景的生成式统一世界模型GENESIS-Robotics以及全栈自研采集硬件EGOK。景烁科技称其世界模型能将机器人技能冷启动周期由数月压缩至数周,并已与全球数十家大模型公司及具身智能企业建立合作。
地瓜机器人大模型团队于10月27日开源世界模型仿真平台Uranus,发布技术报告、推理代码、SDK及两个版本模型权重,面向全球开放早期体验名额。
推荐理由:地瓜机器人开源Uranus仿真平台,提供因果架构与流式推理机制,支持多本体接入及分钟级连续推演。
智元今日发布 GO-3 Preview 具身基础模型,该模型支持从预训练、后训练到部署后的全生命周期学习,并在 RoboDojo、RoboTwin 和 RoboColiseum 三项主要具身智能基准测试中获得第一名。
推荐理由:智元发布 GO-3 Preview 预训练模型,在三大基准测试中位列第一,并开放全生命周期学习架构与仿真工具链。
论文针对具身智能模型的物理环境任务泛化挑战,提出 WorldBridge 架构,通过视频预测与动作桥接实现任务迁移。实验显示,在 RoboTwin 2.0 上仅用分布内监督成功率为 25.07%,加入无标签视频提升至 55.90%,再增加少量带标签演示可达 70.70%。该方法结合视觉记忆与动作强制机制,在多个操作基准测试中达到当前最佳性能。
推荐理由:该工作提出 WorldBridge 架构,通过视频预测与动作桥接实现任务泛化,在 RoboTwin 2.0 等基准上达到 SOTA。
WorldOracle 是一个针对动作条件世界模型的评测基准,由普林斯顿大学、UT Austin、多伦多大学、NVIDIA 和 AgiBot 联合推出。该基准通过对比模型生成的预测视频与从相同初始观测出发、遵循相同动作序列的真实机器人执行结果(包括成功与失败案例),量化物理状态正确性、空间对齐度等指标。
北京中科慧灵机器人技术有限公司近日完成数亿元A++轮融资,资金将用于产品量产与技术研发。公司依托中科院自动化所背景,构建了“本体+具身大脑+灵巧手”全栈体系,其中具身大模型CAS-brain及轻量化感知—动作模型CASBOT PA计划于2027年下半年开源。
禾赛科技推出名为Kosmo的数据采集终端,由手持设备Kosmo One和云端平台Kosmo World组成。该设备集成激光雷达、8K影像系统、IMU等传感器,在硬件层面实现微秒级同步与前融合,直接输出3D高斯泼溅(3DGS)、mesh及depth数据。
研究发现语言模型智能体的策略隐含了训练 harness(提示词、工具与控制逻辑)的偏好,更换 harness 会同时改变最优回报上限与策略失配项。在 MiniWoB++ 实验中,仅调整观察字段顺序使成功率为 85.0% 的策略骤降至 19.2%,而新 harness 的上限提升能显著改善后续训练效果。代码已开源,相关预印本论文发布于 arXiv。
GPT-6-Astra 在 LongChang 自动化探索框架中,于无提示的模拟世界实验里以 16.7% 的发现率率先识别出异常物理规律。其余 11 个测试大语言模型得分均为 0%,且记录显示存在未调查的异常与部分定律识别不全现象。该研究通过多智能体自主循环验证了 LLM 在科学发现中的潜力,相关代码与论文已公开。
该论文提出语义世界模型方法,主张不预测未来像素而是预测任务相关的语义信息,将世界建模转化为视觉问答问题以利用视觉语言模型工具。通过在图像 - 动作 - 文本数据上监督微调预训练视觉语言模型,实现了决策规划的泛化与鲁棒性。研究在模拟机器人任务中验证了该方法优于传统的基于重建的动作条件世界建模范式。
论文针对机器人系统融入社会所需的法律规范整合问题,扩展了法律源文本与其编码对齐的同构性难题,重点测量了感知误差导致的接地同构差距以及单一法律结论对应多种规划约束的本体论同构差距。
针对高维非线性系统的安全证书合成难题,本文提出一种离散时间神经可达性框架,利用贝尔曼 - 伊萨科斯值传播学习向后可达管与避障管。方法结合方程驱动的自监督与结构化策略学习,通过无梯度值探测构造近似教师动作,将对抗优化转化为监督学习,并利用窗口化时序课程稳定长视界价值传播。
论文 OctWorld 提出一种带有持久化 3D 记忆的扩散视频生成框架,针对长距离相机路径下的空间一致性难题,引入可扩展且自适应分辨率的 OctMap 模块,将生成的视觉观测与深度图融合至全局八叉树表示。实验表明该方法在现有基准及挑战性长程设置下均优于先前方法,并提供了清晰的代码与项目页面链接。
FAWAM 是一种将力信息融入感知、预测与闭环执行的力感知世界动作模型。该方法通过编码历史六轴力/扭矩信号调节动作生成,联合预测未来动作与末端 wrench 以显式建模接触演化,并引入残差修正模块利用预测轨迹在线优化实时力反馈下的动作。在多个接触丰富任务中的真实实验显示,其平均成功率分别比纯视觉基线提升 36.25%,比现有力感知基线提升 21.25%。
论文研究了不同预训练信号如何诱导视频世界模型潜变量中的动作相关结构。研究通过统一的逆动力学探针评估发现,时序视频预训练主要驱动了动作相关性,而像素重建保真度并非关键;具有强解码质量的模型可能表现出近零的动作恢复能力。此外,逆动力学监督显著提升了模型对视觉扰动的鲁棒性。该工作已接受至 CoRL 2026。
推荐理由:该研究通过统一探针评估发现,视频预训练带来的时序预测结构是驱动潜在空间动作相关性的核心因素,而非像素重建保真度。
论文提出 GEST-Engine 开源系统,可确定性执行事件图并渲染同步多角色场景视频,同时记录包括三维实体状态、相机状态、成对空间关系及实例分割在内的完整真值。
推荐理由:该工作利用游戏引擎生成带完整时空真值标注的视频数据集,填补了视频模型在实体间关系理解上的空白。
论文介绍了 DreamTacVLA 框架,旨在解决视觉语言动作(VLA)模型缺乏对物理接触感知的局限。该框架采用分层感知方案,结合高分辨率触觉图像、腕部相机局部视野及第三人称宏观视野,并通过层级空间对齐损失统一多尺度感官流。
该论文在统一贝叶斯框架下,梳理了图像建模六十年的演进,将基于 Tikhonov、总变差(TV)及非局部先验的手工定义方法,与 Plug-and-Play 及去噪扩散等数据驱动的基础图像模型融合。研究通过梯度对数先验或 Stein 得分函数这一数学引擎,弥合了信号处理与机器学习社区在逆问题求解与条件生成间的差距。arXiv:2610.36646 预印本公开,旨在统一变分优化与后验采样的理论路径。
针对独立开发的自主智能体在共享环境中需保证联合兼容性的问题,本文提出了一种双层结构:由监管方发布种子智能体,各开发者独立测试其智能体以确保与所有种子兼容智能体的兼容性(即未来-proofness)。
论文提出 The Trinity 框架,旨在解决多模态智能体在构建异构可验证环境和手动迭代方面的瓶颈。该框架通过 Creator、Explorer 和 Evolver 三个角色耦合世界生成与 Harness 进化,将任务组织从表面类别转向共享能力需求,构建了层级化的能力树。
该研究解决部署策略变更使世界模型不确定性失效的问题,在保持物理转移机制和预测器不变的前提下,通过估计状态占据与动作倾向比率实现加权共形校准。实验基于开源 DINO 特征世界模型与 Franka 机械臂轨迹,在强控状态下行动态覆盖率从普通方法的 55.0% 提升至 91.0%,且学习到的代理分布与目标律的总变差距离小于 0.9%。
推荐理由:针对部署策略变更导致的世界模型不确定性失效问题,提出基于加权共形校准的方法以适配目标分布。
针对 VLA 模型泛化受限于动作标注数据的不足,本文提出 ThinkWorld 框架,将动作思考表示为连接当前与未来状态的离散运动序列(Chain-of-Dynamics)。该方法先利用带标注演示初始化,再通过预测未来状态并与观测结果匹配进行强化学习,使无标注视频能提供直接监督。实验在仿真和真实机器人上验证了有效的人机经验迁移及对新任务环境的泛化能力。
GroundControl 提出一种结合卫星图像与街景输入的条件多视图扩散模型,无需三维场景重建即可生成无缝逼真的户外新视角。实验表明,该模型在目标视图与源视图重叠极少的挑战性案例上,优于仅依赖卫星或街景的基线方法。项目已接受至 WACV 2027,代码与论文待公开评审后发布。
针对现有仿真器需先渲染图像再转事件的低效问题,作者提出一种解析式事件相机仿真器,直接利用场景几何与自运动合成事件流,无需视觉渲染。该仿真器在单 GPU 上生成 64x64 事件观测仅需 17 微秒,速度比最先进渲染管线快 400 倍,使目标导向避障的端到端强化学习收敛时间缩短三个数量级(低于 30 分钟)。
推荐理由:提出无需渲染的事件相机仿真器,将强化学习训练速度提升 400 倍并实现端到端策略迁移至真实微型无人机。
这篇论文提出了 World Dreamer v5-lite 模型,旨在解决多机器人控制需整合分布式相机视图并预测独立动作序列的挑战。该模型围绕共享的世界状态构建,利用预训练视频编码器将校准后的特征填充到工作空间坐标中,保持空间尺寸固定以支持多视角输入。
推荐理由:该预印本提出多机器人共享世界状态架构,在仿真与真实机器人任务中均显著优于基线。
论文指出 RGB 并非空间推理的最佳默认接口,引入 ImagiRep 基准在仿真环境中对比了包括深度、全景和俯视几何在内的七种表征形式对未观测状态的空间推理效果。研究发现仅生成准确的 imagined RGB 并不保证推理准确,而 GEARS 策略通过自适应选择表征能提升性能,表明处理未见状态需要超越单纯的 RGB 视图生成。
针对现有 VLA 模型对物理动力学理解有限且视频世界模型引入高延迟的问题,该研究提出了 PDRVLA 模型。其核心是一个轻量级物理动力学模块,能从视觉语言特征中提取物理 token 以条件化动作生成,无需在线视频生成。
推荐理由:该工作提出利用轻量级物理动力学模块替代在线视频生成,在四个仿真基准上实现了高成功率。
GameVerse 是一个专为长时程交互式世界建模设计的分钟级游戏视频数据集,包含 69.7K 个片段、1,655 小时视频及 3.496 亿帧数据。其中 1,358 小时为连续两分钟序列,长度是现有数据集的十倍。
针对 VLA 与 WAM 社区的争论,本文提出将骨干初始化、未来观测目标及推理机制解耦的 Just Action Model(JAM)框架。该框架利用前瞻性损失训练当前特征预测冻结的未来编码,无需视觉生成即可提升控制性能。