TerraVis:通过 MLLM 工作流评估文生图的世界一致性
TerraVis 框架引入多阶段评估流程,利用 MLLM 检测并量化文生图模型在物体、交互及场景层面的世界一致性违规。该工具在两个基准测试上对开源与专有模型均实现最强的人机相关性,揭示高美学分数模型仍存在显著物理不合理性。代码已公开,论文已被 NeurIPS 2026 接收。
TerraVis 框架引入多阶段评估流程,利用 MLLM 检测并量化文生图模型在物体、交互及场景层面的世界一致性违规。该工具在两个基准测试上对开源与专有模型均实现最强的人机相关性,揭示高美学分数模型仍存在显著物理不合理性。代码已公开,论文已被 NeurIPS 2026 接收。
论文指出多模态大语言模型虽能正确陈述空间事实,却未必能在后续推理中有效利用该状态。作者提出 SpaceConflict 基准(含 23,196 个输入),涵盖局部绑定、关系组合及变换下的状态判断等任务,揭示模型在驱动变换时存在可用性差距。
推荐理由:提出 SpaceConflict 基准揭示多模态模型存在‘可见可述但不可用’的差距,并引入 OSS 方法提升状态利用能力。
针对非结构化环境中复杂空间与语义关系的推理挑战,本文提出 LOCUS 方法,通过训练图神经网络更新融合家庭本体论的 CLIP 嵌入以联合处理空间信息与语义信息。该方法在仿真场景中表现优于随机、CLIP、Tidybot 及大语言模型规划器,并在物理移动操作机器人上验证了对节点位置与标签噪声的鲁棒性。
该论文针对室内环境下的人员目标导航问题,提出一种结合距离信息与接收者语义信息(习惯与意图)的规划框架,并通过用户信任度加权处理语言不确定性。研究构建了包含演员、物品和请求的合成基准以评估性能,结果显示该方法在仿真中优于经典基于距离的图基线,且硬件测试证实其实体化部署能力。
论文提出了 GeoScaffold 框架,旨在解决流式视频大模型在视觉语言导航任务中缺乏 3D 几何先验的问题。该方法通过在训练阶段利用深度图学习紧凑的深度 tokenizer,并微调策略以少量可学习的几何查询 token 重建深度、连通性和通行性等关键几何信息,从而将几何先验内化到策略本身及骨干网络表示中。
针对现有视觉语言动作模型仅基于观测状态推理而未明确预测未来场景演进的局限,本文提出 IG-VLA 框架。该方法在视觉表征空间直接学习任务相关的未来场景演化(潜在时空推理),并通过场景 gist 记忆将推理衍生的场景行为关联内化为紧凑 token,从而在推理阶段绕过昂贵的像素级视频生成。
这篇论文提出了 Spatial Memory Intelligence (SMI),这是首个系统性地利用理解模型来管理长视频世界模型中空间记忆的框架。针对记忆序列增长和结构复杂化的挑战,SMI 引入了四个协同的原子操作:空间聚类、簇内稀疏化、动作感知检索以及可靠性感知过滤。实验表明该方法在多种基线、基准和世界模型骨干网络上均有效,显著提升了记忆稀疏度、生成稳定性和空间一致性。
推荐理由:该框架首次将理解模型用于长视频世界模型的时空记忆管理,通过聚类与稀疏化操作提升生成稳定性。
Awomo-SimDataEngine 是一个连接资产与场景生成的代理系统,通过 ISArt、Unravel 和 SimForge 模块构建物理有效环境。
Trace2Env 框架利用历史交互痕迹构建包含环境架构与行为知识的可复用“世界书”,支持任务代理进行状态感知模拟。该方法在九个环境中提升了观测保真度与长程交互一致性,使多轮次生成的动作在真实环境重放时保持有效。该研究确立了无需重建原执行系统即可构建逼真环境副本的新方向,论文已上传至 arXiv 待注册 DOI。
论文介绍 CLIFT 方法,通过共形自验证解决强化学习中奖励稀疏及外部裁判成本高的问题。训练中利用 URL 条件证据一致性筛选信号并赋予信任权重,将自证分数融入每步奖励;测试时将认证库冻结用于共形轨迹选择,在无需调用外部裁判的情况下实现保守的多数投票决策。
推荐理由:CLIFT 提出基于共形自验证的训练与测试时扩展方法,利用低成本自证信号替代昂贵的外部裁判,在 WebArena 等基准上实现开源模型的最优性能。
IGMWorld 通过工业级游戏模组化技术,在 Minecraft 和 Terraria 中构建包含 110 项任务的基准 IGMBench。最强配置在严格任务标准下解决率达 78.2%,行为级表现达 94.8%。随着干预深度增加可靠性下降,视觉一致性通过率低于 50%,证明世界编辑是区别于生成与交互的独立能力。
该论文提出 LOCI 架构,通过结合关键值缓存与受相机几何条件约束的循环线性注意力记忆,解决视频世界模型在长序列中保留细节与降低显存的需求。实验显示其在重访内容还原上优于主流基线,且在固定预算下能流式处理长视频。
推荐理由:提出混合空间记忆架构,在保持视觉细节的同时降低显存占用并提升重访内容还原度。
IFR 发布《World Robotics 2026 Service Robots》报告,显示 2025 年全球专业服务机器人出货量同比增长 24%,接近 25 万台。
推荐理由:IFR 发布《World Robotics 2026》报告,披露全球专业服务机器人销量增长及人形机器人市场现状与关键挑战。
论文介绍 AntPlan 数据集与 Architect-Ant 框架,旨在解决自动布置中数据稀缺及几何功能约束难题。该框架采用坐标 DSL 表示布局,通过监督微调学习专业模式,并利用 GRPO 算法配合 Layout Rule Score 进行优化,无需依赖昂贵的迭代代理推理即可满足交互约束。实验表明其几何违规率低且功能完整度高,生成的结果可编辑并转换为 3D 场景。
该论文提出 WM-VLM,这是一种为预训练视觉语言模型(VLM)配备轻量级世界模型分支的新架构,旨在让模型通过生成中间视觉状态来解决空间问题。研究采用两阶段训练策略,首先教会模型生成下一视觉状态,随后利用该状态进行推理。
加州理工学院联合斯坦福大学推出了HomeBody系统,该系统为GPT Astra配备了持久的空间记忆能力,并且能够执行复合式人形动作,从而应对长期任务。在一个典型的厨房场景中,HomeBody允许 Unitree G1 在 GPT Astra 的引导下进行清洁工作,同时还能从不明确的请求中找回记住的物品。
涂鸦智能在数贸会发布 AI 家庭陪伴机器人 Doova,通过"Hey Tuya, Help"指令结合 4 麦声源定位与 LDS 激光雷达,实现老人摔倒时设备主动靠近并联动视频通话。该机器人依托 AI+IoT 生态充当家庭中控枢纽,可指导电器操作、推送提醒及自主巡视生成安全报告,将分散的感知移动能力串成服务链解决独居难题。
NVIDIA Earth-2 利用能源、应急管理及卫星提供的本地化实时观测数据,帮助各行业更早识别并管理物理风险。该系统旨在通过整合多源传感器信息,为对天气敏感的行业提供更具时效性的局部气象洞察与决策支持。
在2026浦江创新论坛上,上海人工智能实验室升级发布书生·端砚科学发现平台并全面开放全栈服务。该平台接入最新推出的书生科学多模态大模型S2和书生物理世界模型W0,旨在推动AI科研从单任务执行走向可持续、可核验、可复现的完整过程。
推荐理由:上海AI实验室升级发布书生·端砚平台,接入S2多模态大模型与W0物理世界模型,打通从假设提出到真实实验验证的闭环。
Boston Dynamics 发布 Spot 5.2,核心在于通过 Google Gemini 增强视觉智能与新增气体、振动等模态,并重构 Orbit 软件以支持跨系统自主工作流。
推荐理由:Boston Dynamics 发布 Spot 5.2,通过 Gemini 增强视觉与气体传感能力,并重构 Orbit 架构以支持跨系统自主工作流。
Geolava CEO Hans Fevry 指出,空间智能利用世界模型让机器视觉从单纯感知进化为理解物理世界的三维状态并预测演化。该技术融合光学、LiDAR 及热成像等多模态数据,使系统能识别如叉车与工人的碰撞路径等复杂关系以支持决策。工业落地面临构建可适应动态环境且能与遗留系统集成可靠模型的挑战,需聚焦高质量多模态数据与可衡量成果。
OpenCV Live! 224 旨在向开发者阐释视觉 SLAM 地图与 VPS 地图的区别,并探讨短期与长期重定位等挑战。内容还将分析机器可读与人类可读地图的差异,强调两者需共存以支持编排与协调任务。该直播活动首发于 OpenCV 博客平台。
Google DeepMind 发布旗舰级气象模型 WeatherNext 3,该模型直接学习实时卫星观测数据而非数值模式,实现每小时更新与最高 5 公里分辨率,降水预测精度较基线提升显著。系统已集成至 Search、Gemini、Maps 等产品,提供清洁能源变量预测及全球高分辨率气象图,支持研究人员通过 BigQuery 和 Earth Engine 查询数据。
推荐理由:DeepMind 发布 WeatherNext 3,利用实时卫星数据实现每小时更新与 5 公里分辨率,显著提升降水预测精度并支持清洁能源变量。
德州农工大学团队在得克萨斯州采石场测试了直径 1.8 米、重 150 公斤的 RoboBall III,证实该机器人能翻越岩石并沿 20 度斜坡滚动。其内部摆锤机制仅需两个执行器即可控制转向与速度,且能在中心发射小型火箭将样本送回外部漫游车。
World Labs 发布下一代世界模型 Atlas,这是一个原生操作文本、图像、视频和 3D 数据的 Omni 多模态自回归扩散 Transformer。Atlas 具备相机控制生成(从单图或多图生成任意视角视频)、稀疏视图空间重建(从少量输入图像恢复 2D/3D 几何)以及时空仿真能力,可支持机器人 Real-to-Sim 工作流。
推荐理由:World Labs 推出原生支持文本、图像、视频与 3D 的 Omni 模型 Atlas,具备相机控制生成、稀疏视图重建与时空仿真能力。
NVIDIA Technical Blog 发布指南,详述如何利用 AI Agents 训练支持连续定位、环境解读及避障的跨具身机器人导航策略。该方法旨在解决将感知与运动能力迁移至新机器人与场景时所需的新数据及仿真资产挑战,为构建通用自主导航提供技术路径。
Google DeepMind 发布 SIMA 2 通用游戏智能体,依托 Gemini 模型在无 API 访问下于 EVE Online、No Man's Sky 等复杂 3D 环境中实现类人游玩与实时对话。
Ai2(Allen Institute for AI)推出 MolmoMotion,该模型基于 Molmo 系列扩展能力,利用自然语言指令在三维空间中预测物体后续的点轨迹。此次 OpenCV Live! 演示展示了模型如何从场景描述进阶至动态行为预测,标志着开源多模态模型在具身智能任务中的新突破。
Google DeepMind 正式发布 Gemini Robotics ER 2,作为新一代具身推理模型,它支持通过连续视频流进行进度分类与时刻定位(精度达 91.3%),实现毫秒级低延迟的任务编排。该模型原生支持多机器人协作、工具调用及实时空间感知,已在仿真环境及波士顿动力 Spot 等真实硬件上完成演示验证,现通过 Gemini API 和 Google AI Studio 向开发者开放。
推荐理由:DeepMind 发布 Gemini Robotics ER 2,通过视频理解与任务编排提升机器人自主性,并开放 API 接口。
Google DeepMind 正式发布 Gemini Robotics 2,旨在为下一代自适应机器人提供核心智能层。该系列包含三个模型:最先进的全身体视觉语言动作模型(VLA)支持从脚部到指尖的复杂操作;具身推理模型(ER)负责多步任务规划与人类交互;端侧优化模型(On-Device)可在数小时内适配全新机器人本体。
推荐理由:DeepMind 推出 Gemini Robotics 2,提供全身体控制、灵巧操作及多机协作能力,并开放 On-Device 端侧适配与 ASIMOV-Agentic 安全基准。
构建优秀 AI 智能体不仅取决于模型选择,其渲染上下文、执行动作及状态管理的架构设计同样关键。该架构设计单独即可导致基准测试结果出现个位数波动并显著改变 Token 成本。
针对大语言模型在长程交互中因上下文过长导致性能下降的问题,文章提出 ABBEL 框架,将递归摘要任务转化为对自然语言“信念状态”的监督更新。通过引入基于重构的“信念分级”机制,该框架在 CollabBench 协作编程和 Combination Lock 游戏中显著缩小了与全量上下文模型的差距,同时大幅降低峰值 Token 消耗并减少训练步数。
推荐理由:提出 ABBEL 框架,通过监督自然语言信念状态更新解决长程交互中的上下文压缩性能损耗问题。
World Labs 宣布收购机器人公司 SceniX,双方将整合在空间智能、世界模型、基于学习的仿真以及闭环现实学习方面的互补技术实力。官方表示未来将分享 SceniX 的早期技术细节及其在具身智能领域的具体应用前景。
推荐理由:World Labs 宣布收购机器人公司 SceniX,旨在整合双方在空间智能、世界模型及仿真学习领域的技术优势以推动具身智能发展。
Mistral 发布了其首款用于机器人导航的 AI 模型 Robostral Navigate。该 8B 参数量的模型完全由 Mistral 内部构建,仅在仿真环境中训练,利用约 40 万条路径数据和 6000 个虚拟空间进行训练。
Firefly Aerospace 的 Ocula 月球成像服务将在其 Blue Ghost Mission 2(预计于 2026 年底发射)中首次搭载 NVIDIA Jetson 边缘 AI 平台在月球轨道上运行。
推荐理由:NVIDIA Jetson 平台首次在月球轨道运行,实现星上 AI 推理以替代传统数据下传。
World Labs 团队发布关于世界模型的功能分类法,将现有系统分为渲染器(输出像素)、仿真器(输出物理状态)和规划器(输出动作)。文章指出当前行业过度关注渲染与规划,而忽视作为结构骨架的仿真,并介绍其项目 Marble 通过同时生成高斯泼溅图与碰撞网格来模糊渲染与仿真的边界。最终目标是构建能统一处理视觉、物理结构与行动序列的基础模型,以推动空间智能的发展。
推荐理由:文章提出渲染器、仿真器与规划器正从功能分离走向统一,指出仿真作为连接视觉与行动的枢纽是解决 sim-to-real 差距的关键。
NVIDIA 在 GTC Taipei 和 COMPUTEX 上发布了开源世界基础模型 Cosmos 3,该模型整合视觉推理、多模态生成及动作预测能力,旨在帮助机器人、自动驾驶车辆等物理 AI 系统理解场景因果并预测未来状态。
推荐理由:NVIDIA Cosmos 3 作为开源世界基础模型,整合视觉推理与多模态生成能力,支持机器人及自动驾驶场景的因果预测与动作规划。
Google DeepMind 发布 Gemini 3.5 Flash 模型,该模型在终端基准、代码生成及多模态理解任务上表现优异,推理速度达到其他前沿模型的 4 倍。作为首个面向公众的 3.5 版本,它默认用于全球用户的 Gemini App 和搜索 AI 模式,并驱动了个人智能体 Spark 等功能的上线。DeepMind 同时表示正在内部使用 Gemini 3.5 Pro,计划于下月推出。
推荐理由:DeepMind 发布 Gemini 3.5 Flash,在保持高推理速度的同时提升多模态理解与长程任务执行能力,并默认用于个人智能体 Spark。
Berkeley BAIR 发布综述文章,探讨让大模型自主决定何时分解任务、生成并发线程数及协调策略的自适应并行推理(APR)范式。内容回顾了从固定并行到动态控制的演进,对比了 ThreadWeaver、Multiverse 等方法的 KV Cache 管理与训练奖励设计差异,并指出当前在推理时是否持续提升准确率、训练稳定性及硬件感知调度等方面仍存在开放问题。
推荐理由:文章系统梳理了自适应并行推理范式,对比了从固定并行到动态控制的技术演进路径及训练奖励设计差异。
Boston Dynamics 软件工程师 Ethan Lauer 接受采访,详解 Stretch 机器人利用双路 RGB/深度相机、四路激光雷达及夹持器距离传感器融合感知环境。系统据此规划抓取策略以避免堆叠倒塌,并具备避障导航能力。团队通过客户反馈持续迭代算法,旨在提升机器人在真实物流场景中的可靠性与实用性。