Seeing What Matters:面向操作的任务条件化可执行空间信念基准
论文提出了 Seeing What Matters 基准,用于评估机器人是否具备根据当前指令获取特定观测证据以支持操作的能力。该基准涵盖咖啡机、抽屉柜和微波炉三个仿真桌面操作领域,提供 860 个冻结评估案例及超过 11.5 万个评测集。
论文提出了 Seeing What Matters 基准,用于评估机器人是否具备根据当前指令获取特定观测证据以支持操作的能力。该基准涵盖咖啡机、抽屉柜和微波炉三个仿真桌面操作领域,提供 860 个冻结评估案例及超过 11.5 万个评测集。
该论文对比研究了两种独立开发的基于事件相机的 6-DoF 航天器姿态估计方法。第一种采用结合关键点检测和无标签域适应的模块化流程,第二种则直接从全局和裁剪的事件表示中回归平移与旋转。
该论文提出了 Video2Asset 框架,旨在将多视角视频转化为可独立编辑的持续更新场景。核心挑战在于如何在运动与遮挡下累积部分且不完整的观测而不破坏物体身份或混淆证据。
针对视觉语言动作(VLA)模型在复杂三维场景中执行长程任务时面临的记忆噪声问题,该研究提出了一种受海马体启发的记忆机制。该方法首先通过语义整合将大量情景经验压缩为关键语义记忆;其次利用剪枝机制移除被语义记忆覆盖的冗余情景记忆以释放容量;最后通过灵活的记忆组合增强跨场景泛化能力。
推荐理由:该工作提出海马体启发的记忆机制,通过语义整合与冗余剪枝提升 VLA 模型在复杂三维场景中的长程任务成功率。
该研究指出抓取可行性预测器在基准测试中表现优异但无法验证其是否真正使用运动规划器检查的碰撞几何信息。作者提出一种反事实(CF)测试方法:固定抓取姿态并在接近通道插入实体障碍物,观察预测标签从可行变为不可行。
论文介绍了 A2-MEAS 具身多智能体框架及 A2-WLA 动作模型,利用代码作为扩展接口结合 MetaBrain 进行训练监督与运行时引导。在 BEHAVIOR 2026 基准上 Q-score 达 0.5755-0.6411,RoboTwin 2.0 平均成功率超 93%,真实机器人长程任务失败后恢复率从 8% 提升至 82%,训练吞吐量提升 4 倍。
推荐理由:该框架通过代码接口与冻结权重的自适应设计,在仿真与真实机器人任务中均实现了显著的性能提升。
该研究提出了一种针对异质轨道半径的多机器人团队的安全控制框架,仅需测量与目标的距离即可同时满足 standoff 距离、队形保持及避障约束。仿真对比显示,相比依赖全状态信息的现有设计,该方法在违反目标安全距离和机器人间距方面表现更优且无需改动标称控制器。
论文提出一种可识别性感知方法,用于解决建筑信息模型(BIM)与激光雷达里程计在定位中的冲突问题。该方法将归因问题形式化为三类故障的识别任务,并推导几何判据:仅在观测能唯一区分姿态误差、施工偏差或未知物体时进行归因;否则保留候选解并暂缓更新。
针对联合嵌入预测架构(JEPA)难以清晰捕捉物体形状与边界的局限,本文提出 LEF-JEPA 方法。该方法通过目标引导的潜在恢复学习空间结构,并利用相对能量约束将监督转移至视觉编码器;能量模块仅在预训练阶段使用,推理时无额外开销。
推荐理由:提出 LEF-JEPA,通过目标引导的潜在恢复与相对能量约束增强空间结构,在 CIFAR-10 预训练及冻结编码器评估中优于 V-JEPA2.1。
本文提出 MetricPose,这是一种预测相机坐标系下度量准确的人体关节位置的 3D 人体姿态估计器。该方法通过结合 RGB 先验、直接深度测量和环境几何约束(如地面接触)来降低单目图像中的尺度与距离歧义。
该论文引入‘健康护理机器人’作为社会辅助系统的独立类别,并基于 SAE J3016 标准提出六级‘护理机器人自主性量表(CRAS)’。研究以 Ryan 机器人为案例,引用 NIH/NIA 资助的纵向数据(N=18, 887小时),显示其在认知功能(SLUMS +2.61)和抑郁症状缓解方面具有统计学显著性或临床意义,且无新奇效应。
MotionCore 是一个通过学习偏微分方程求解器来掌握刚体动力学的框架,旨在解决视频生成模型中视觉逼真但物理运动不一致的问题。该框架利用潜空间神经模拟器预测物体级物理状态的演化,并将其转换为与空间对齐的潜在控制信号以驱动扩散模型生成视频。
针对非线性动力学与退化水下视觉条件下的相对跟踪难题,本文提出 FATHOM 框架。该框架整合结构化标记观测、惯性测量及历史动作,利用多模态任务监督的递归状态空间模型构建预测跟踪信念;通过扩散动作先验生成多条专家级推进器轨迹,并基于学习到的潜在动力学预测未来后果;最终在显式移动视界目标下选择最优候选方案。
该论文研究了视觉语言动作模型 OpenVLA 是否遵循如“不要把碗放在炉子上”这类禁止性安全约束。实验显示,在 LIBERO-Goal 基准上,否定词对任务执行无显著影响,模型以 79% 的概率执行了被禁止的任务。
GeoJeV 提出一种免训练方法,将遥感图像证据采集转化为由空间概率驱动的决策过程。该方法在 LRS-GRO、MME-RealWorld-RS 和 LRS-VQA 基准上分别达到 60.59%、52.79% 和 34.32% 的准确率,使 Qwen3-VL-8B 平均准确率提升 5.32pp。相比近期方法,GeoJeV 推理速度提升 7.8 倍,每问仅增加 1.12 秒耗时。
Align3D 是一个条件扩散模型,能根据单张输入照片生成既忠实于图像又符合物理规律的室内三维布局。该模型在 3D-FRONT 数据集上优于近期基线,通过置信度校准的场景图与可观测性感知引导,实现单次前向传播即可映射未见过的照片至布局。
联邦学习在诊断条件脑 MRI 合成任务中,其生成的三维潜在模型性能与集中式训练相当。研究验证了条件保真度、多样性及真实感三项指标,证明在不共享数据的前提下开发多站点生成模型是可行路径。该工作为理解脑部状况及丰富稀缺神经影像数据提供了新的方法支持。
该研究通过微调预训练 V-JEPA1 预测器,在冻结编码器的条件下实现了无需动作的因果预测。在 CARLA Town12 场景中,模型以单前向传播检索未来 8 组 token(对应 16 帧),正确率高达 69.0%,优于 55.3% 的持续性基线及参数量少六倍的从头训练模型。语义分析显示固定线性探针在发生语义变化的图像块上达到 0.16 mIoU,证实了预测特征包含驾驶相关信息。
论文介绍了 HFX3D,这是首个将建筑立面的几何、语义与功能属性结合的大型 LiDAR 基准数据集。数据包含加拿大哈利法克斯 26 栋建筑的约 4.92 亿点云,覆盖四季及昼夜天气变化。
该研究调查了潜在学习在视觉语言模型(VLM)中的发生情况。研究人员微调教师 VLM 以产生特定动物或面部属性的偏好,并利用其生成的数字对无关的几何形状任务进行学生模型的微调。实验发现,这种偏好能跨 2B 至 7B 参数的模型传递,且学生模型在训练数据中表现出与教师相似的用词习惯。该研究结果对于理解 VLM 的训练影响及无关数据的潜在副作用具有重要意义。
该研究调查了在策略蒸馏中,因量化和异步生成导致的训练 - 推理失配对模型质量的影响。实验表明 OPD 对一定程度的失配具有鲁棒性,但超过阈值会退化;部分层对低精度更敏感。作者提出了轻量准入检查以筛选配置,并给出了 FP8 配方,在保持质量的同时显著提升了 KV-cache 容量和训练速度。代码已开源。
Spatial Harness 提出将场景表示为显式的可执行世界状态,以物理引擎反馈为基础进行空间推理。系统通过 Perceiver 整合问题约束与视觉估计确定物体和相机坐标,并在物理引擎中实例化状态,由 Reasoner 执行视角变换并引导推理。
推荐理由:该工作将场景表示为可执行的物理状态,利用物理引擎反馈来校准视觉语言模型的推理过程。
在乌镇世界互联网大会上,魔芯科技发布了新一代通用4D世界模型MoWorld 2.0。该模型在前代空间生成与实时交互能力基础上,进一步将重力、弹力、流体等十余种物理要素融入同一架构,能更准确模拟物体运动与环境变化。
Google 前高管 Jeff Dean 与李飞飞对谈中披露其新公益公司 Discovery Loop 的进展。该公司已搭建支持人与 Agent 协作的框架,运行约 20 个自动改进循环,目标是将领域专家生产力提高 20-50 倍。
硅谷华人团队 AFK AI 正式开源其智能体产品 Comma,该系统基于「单 Router+ 多 Worker」架构,支持长期记忆、持续学习与 7x24 小时在线值守。
论文提出 Horizon-Scalable Q-Learning (HQL),旨在解决离线数据集中任务视界增长导致的价值函数估计困难问题。该方法通过自动平衡单步和多步回报,仅在目标值不低于 BC 策略采样动作时扩展目标,从而避免偏差并兼容流与扩散策略。实验表明 HQL 在组合锁任务和长视界基准上优于现有方法。
论文提出 SwarmEvolve 框架,通过数百个低成本智能体在潜空间内不解码为文本进行推理,并利用 KV Cache 共享信息以加速程序搜索。该框架引入新颖性过滤器和自然交叉机制,在数学发现和科学计算等 21 个问题上达到最优解所需时间仅为其他先进框架的数分钟,且部分问题优于 AlphaEvolve 使用前沿大模型找到的方案。
英伟达发布了面向快速精准视觉规划的通用解码框架VFlash。该框架利用视觉信息的几何结构,通过并行预测完整空间信息替代传统逐Token生成,在三维点运动预测任务中单次生成速度提升约25倍,动作解码最高加速12倍、整体机器人推理加速5.1倍。
推荐理由:英伟达推出VFlash并行解码框架,将机器人推理加速5倍、动作解码提速12倍,并提升任务成功率。
加拿大工程院外籍院士、智象元一(HiDream.ai)CEO 梅涛在 2026 世界顶尖科学家论坛提出构建智能体化全模态世界模型,旨在弥合数字智能与物理智能鸿沟。
11 月 20—21 日在北京举行的 2026 奇点智能技术大会将围绕 RSI、自进化 Agent、Physical AI 及世界模型六大方向展开。OpenAI、腾讯、阿里等机构专家将分享从数字到物理的落地经验,涵盖 C++ 系统软件与 AI Infra 实践。
上海AI实验室发布书生·天枢(Intern·LabOS)分布式自主实验室网络操作系统,旨在组织各地实验室协同开展湿实验。该系统以SCP-Lab为统一接口,借助书生物理世界模型W0驱动机器人完成操作,打通异构设备自主执行与数据回传链路。材料描述的是系统架构与功能验证,未报告真实药物上市或大规模商业化部署结果。
推荐理由:原文给出了科研操作系统与物理世界模型的协同设置及开放入口,相关团队可据此判断它是否适合现有实验流程。
针对多模态大模型在长文档中上下文受限且难以进行全局视觉问答的问题,该研究提出基于知识图的多模态检索增强生成方法。作者构建了包含参考摘要与支持事实的新基准 DLVQA,实验表明该方法在多跳问答及新基准上均优于现有 MMRAG 或知识图方案。论文已提交至 WACV 2027,代码与数据许可状态需查阅原文。
论文提出 Khora 框架,解决现有方法在固定智能体数量下训练的局限性。该架构将世界状态演化与视觉渲染解耦,通过统一渲染接口查询智能体特定观测,实现跨视角一致性且无需重训练即可支持推理时任意数量的智能体扩展。定性实验显示该方法能泛化到未见过的智能体数量并保持视觉质量与多智能体一致性,并实现了实时交互式开放世界仿真系统。
针对传统训练仅约束最终输出而忽略中间迭代的问题,论文提出 TraceViT 模型,利用程序化任务实现重写验证生成的语义单调变换链对视觉推理过程进行监督。该方法结合少样本演示推导的任务参考与对象工作区对每轮迭代进行 grounding,并通过软对齐允许模型自由分配迭代次数。
WorldAct 是一个利用多模态智能体引导场景分解、识别可操作物体并重建几何对齐网格的框架,能将 Marble 等系统的静态单体资产转化为支持对象级编辑和碰撞感知操作的场景。实验表明该框架在保持全局场景一致性的同时实现了更丰富的交互情景,为构建可编辑且具备物理交互能力的 3D 世界模型提供了实用路径。
论文提出 PanoWorld,一种从单张图像和文本描述生成几何一致 360 度视频的模型。该方法将全景视频生成视为潜变量状态建模而非纯视觉合成,引入深度一致性损失与轨迹一致性损失以约束 3D 场景状态,并应用球面几何感知适配。
本文针对现有在线视频问答基准主要采用回顾性评估的问题,提出了 SPOT-Bench 基准和 Timeliness-F1 指标,以测试流式视频模型的实时感知能力。
该论文提出了 CityRAG 模型,旨在解决生成三维一致且可导航的、对真实地点进行空间锚定的环境模拟问题。现有视频生成模型虽能根据文本或图像提示生成合理序列,但缺乏在任意天气条件和动态物体配置下重建现实世界的能力。
论文提出通过从文本条件扩散模型蒸馏知识来学习自然场景中物体的显式类条件化空间先验,以解决现有方法依赖稀疏标注或引入伪影的问题。作者构建了 HiddenObjects 数据集,包含跨越 2.7 万场景和物体类别的 2700 万个边界框标注(其中 200 万个为正样本)。
VTAM 是一种针对接触丰富操作的视觉 - 触觉世界动作模型,无需触觉或动作预训练即可工作。该模型共享冻结的视频 VAE 和预训练视频 Transformer 权重,先适配以联合预测未来视觉与触觉潜变量,再端到端微调以预测动作、本体状态及基于触觉光流计算的轻量力流代理。