SpatialBrain:一种从经验中生长出空间智能的框架
SpatialBrain 是一个保留关于何时进行直接观察、重建或改变参考系等决策经验的框架。它通过 3DFusionMemory 融合场景观测,利用 Spatial Skill Library 提供可复用的工具程序,并通过 Spatial Cognition 关联任务条件与使用记忆和技能的时机方式。
推荐理由:该框架在固定视觉语言主干下,通过融合场景观测与抽象执行轨迹来积累推理经验,并在五个基准测试中优于直接回答。
技术方向
三维重建、空间表示、视觉定位和可交互环境中的感知与推理。
768 条精选近 30 天 535 条共收录 4,279 条
SpatialBrain 是一个保留关于何时进行直接观察、重建或改变参考系等决策经验的框架。它通过 3DFusionMemory 融合场景观测,利用 Spatial Skill Library 提供可复用的工具程序,并通过 Spatial Cognition 关联任务条件与使用记忆和技能的时机方式。
推荐理由:该框架在固定视觉语言主干下,通过融合场景观测与抽象执行轨迹来积累推理经验,并在五个基准测试中优于直接回答。
ALPS 是一种预训练的视觉状态编码器,旨在将物理状态信息、原生语言对齐和像素重建能力统一于单一的 patch token 表示中。研究团队仅使用静态图像和文本数据,从 scratch 预训练了 ViT-B/16 模型,并通过跨视图自蒸馏进行优化。
推荐理由:该预训练视觉状态编码器统一了物理状态、语言对齐与像素重建,在多项基准上实现最优聚合误差并支持下游策略规划。
DeepEvolve 是一个基于未来事件预测的可持续进化智能体系统,通过与动态变化的环境交互实现内部与外部经验的积累。该系统通过解耦搜索与预测适应开放环境,并利用蒸馏技术从有限轨迹中演化出可复用技能。
推荐理由:DeepEvolve 系统展示了基于动态开放环境的递归自我进化框架,在真实事件预测榜单上连续三周排名第一。
Hugging Face Daily Papers 收录了一篇题为《Dual Exam: Controlled Evaluation of Multimodal Agents and World Models》的论文,作者来自上海 AI 实验室等机构。
推荐理由:该工作提出 Dual Exam 框架,分别在固定环境响应和动作干预下评估多模态智能体与世界模型的解耦性能。
针对长视界任务中稀疏奖励导致的信用分配难题,本文提出 Self-Credit 方法,利用策略模型生成的带引用摘要作为自生信用信号,并通过比较同一提示下成功与失败轨迹的引用动作进行组内重缩放以剔除不当信用。
推荐理由:提出 Self-Credit 方法,通过组内重缩放将稀疏奖励转化为稠密监督信号,在 BrowseComp-Plus 等基准上显著优于基线。
NVIDIA 推出 Nemotron 3.5 Super VL 和 Bolt 语言多模态模型、Kumo 结构化数据模型、Cosmos 世界模型、Alpamayo 2 Edge 自动驾驶推理模型、BioNeMo 蛋白质设计模型及 Ising 量子计算模型。材料提供了各模型的开源仓库链接与部署入口,并列举了合作伙伴在特定行业的应用案例。
推荐理由:NVIDIA 发布 Nemotron 3.5、Kumo、Cosmos 等开源模型系列,提供欧洲主权 AI 基础与后训练工具链。
上海AI实验室联合中国科学院金属研究所等机构发布自进化合金设计专家模型“书生·衍金”(AlloyEvo)。该模型通过自主设计方案、智能评估性能并沉淀经验,在航空航天3D打印工程钛合金研发中实现突破:样品抗拉强度达1817MPa,较现有基准提升12.8%,均匀延伸率持平。AlloyEvo已集成至书生·端砚科学发现平台,支持高温合金、特种钢等新材料体系的设计与研发。
推荐理由:上海AI实验室联合多方推出自进化合金设计专家模型AlloyEvo,在工程钛合金研发中实现抗拉强度提升12.8%的突破。
论文提出S3(Spectral Null-Space Swap)方法,这是一种无需训练的成对检查点组合策略。研究指出推理能力的核心存在于非思考模型主导奇异方向投影的零空间中,移除该分量可大幅提升效率而不损害准确率。实验在2B至30B参数量的稠密及MoE架构上验证,相比完整思考模型,S3平均降低27.4%推理token开销,同时整体任务准确率提升1个百分点(如在HMMT25上准确率达+8.3%)。
推荐理由:提出S3方法,通过交换非思考与思考模型的零空间权重,在推理效率提升27.4%的同时保持准确率。
PURE 是一种无需真值监督的后训练细化框架,旨在解决现有前馈式三维重建模型在处理动态真实世界视频时因非刚性运动、遮挡和光照变化而表现脆弱的局限。该方法通过蒸馏最先进的 2D 先验中的鲁棒结构知识至 4D 前馈架构,利用相对深度约束、仿射不变几何蒸馏及基于特征对应的姿态细化来稳定几何预测。
推荐理由:PURE 框架利用无标签数据进行后训练,通过蒸馏 2D 先验知识提升模型在动态场景下的深度与姿态估计鲁棒性。
论文介绍 EMERGE 框架,这是首个专为点云生成设计的完全 SE(3) 等变图神经网络扩散主干网络。该方法克服了现有 Transformer 和 VAE 架构忽略 3D 空间连续非网格拓扑的问题,通过引入几何归纳偏置实现了分辨率无关的零样本推理,并在标准指标上达到最先进质量且训练收敛更快。
推荐理由:提出首个基于 SE(3) 等变图神经网络的点云生成框架,实现分辨率无关的零样本推理与更快的训练收敛。
针对现有方法侧重未来生成而忽视三维理解、大语言模型缺乏几何演化预测能力的差距,该研究提出 HERMES++ 统一驾驶世界模型。通过鸟瞰图表示整合多视角信息、LLM 增强世界查询促进知识迁移、当前到未来链接桥接时间差以及联合几何优化确保结构完整性,该方法在多个基准测试中表现优于专用方法,同时实现未来点云预测与三维场景理解任务的高性能。论文已被 IEEE TPAMI 接收,代码与模型将公开。
推荐理由:该工作提出统一框架融合三维场景理解与未来几何预测,填补语义解释与物理模拟间的差距。
该论文提出了 ChartEvo 框架,旨在解决多模态大语言模型在长尾图表类型上性能不均的问题。通过经验驱动的层级自改进机制,框架联合演化可复用的图表专用技能与可执行工具,并学习局部工具调用链以组合能力与控制推理开销。实验显示,在 ChartBench 和 ChartX 数据集的长尾图表任务中,该方法相比基线模型 Qwen3.7-Plus 分别提升了 45.6% 和 32.5% 的准确率。
推荐理由:针对长尾图表推理任务,提出递归自进化框架以联合优化技能与工具调用链。
针对现有方法依赖简化表示而忽视细节几何的问题,该工作提出 GALA 模型,通过显式点云感知实现细粒度支撑与包含约束推理。模型采用两阶段训练策略对齐几何与文本模态,并在多源场景数据集上显著优于基线。此外,团队开发了基于模型的文本驱动场景生成智能体管线,相关数据集与代码将开源。
推荐理由:该工作提出融合点云感知的几何语言模型,解决细粒度放置约束推理难题,并开源多场景数据集与计划 - 放置 - 验证智能体管线。
该论文提出了一种名为 Latent Projection 的方法,旨在解决世界模型中潜变量包含无信号噪声的问题。作者利用 SIGReg 正则化将潜边际驱动为标准高斯分布的特性,假设潜序列为 Gauss-Markov 过程,通过拟合状态动力学矩阵 A 同时获得协方差结构。
推荐理由:该方法利用世界模型训练中的正则化结构,以零额外成本拟合状态动力学矩阵来剪除潜空间噪声,在导航任务中将成功率提升最高 54.7 个百分点。
arXiv 论文提出一种模型,直接为任意提供的骨架(rig)协同生成视频和 3D 运动,并注册相机以将动作置于 3D 场景中。该方法将 3D 运动建模独立于视频模型,支持非人形骨架,利用少量交叉注意力层连接预训练视频模型。
推荐理由:提出联合生成视频与任意骨架 3D 运动的新方法,支持非人形资产动画化及场景配准。
论文提出 AEON 框架,旨在弥合基于视频生成模型(如 Sora)缺乏 3D 一致性与基于 3D 生成模型(如 Marble)缺乏真实感之间的差距。该框架在文本或图像条件的视频潜在空间内运行,生成可渲染的 4D 图形原语——具体为 4D Gaussian Splatting (4DGS) 作为显式世界表示。
推荐理由:提出 AEON 框架统一视频与 3D 世界模型,通过 4DGS 显式表示实现几何一致性与真实外观的兼顾。
该论文提出 KoalaGS 方法,利用输入视图计算的图像复杂度先验来指导高斯泼溅训练中的点云重定位与降级策略。研究发现在低算力预算下,简单区域的高斯数量过多会拖累渲染质量,该方法通过偏置重定向至重建较差区域并平滑过渡层级细节,在三个数据集上实现了更优的渐进式流送效果与结构保持能力。
推荐理由:该方法利用图像复杂度先验优化高斯泼溅的层级细节,在降低算力预算时保持场景结构并提升低容量下的渲染质量。
ScreenCalib 方法利用普通可编程显示屏上的 AprilTag 标记和屏幕物理边界,实现激光雷达与相机的外参标定。该方法通过标签引导提取、几何假设生成及场景边缘消歧义解决显示几何带来的关联模糊问题。
推荐理由:提出用普通显示屏替代专用标定板进行激光雷达与相机外参校准,通过多姿态共识降低误差。
SenseAlign 是一种针对触觉 - 视觉 - 语言模型的测试时适应方法,旨在解决部署中因环境变化或硬件差异导致的模态不可靠问题。该方法利用候选类别的文本嵌入比较累积观测以评估模态可靠性,并通过特征修正分离预测类别与替代选项。所有编码器保持冻结,仅使用无标签历史数据即可在自然偏移和受控腐蚀下恢复识别性能。
推荐理由:提出在测试时利用文本嵌入进行模态对齐与特征修正,以应对光照或传感器变化导致的性能下降。
该论文提出了一种基于广义贝叶斯证据融合的在线场景变化检测方法。方法通过离线学习自动对参考 3DGS 模型进行的编辑来生成带标签的训练视图,从而无需人工标注即可训练场景特定的证据模型和估计像素先验统计量。
推荐理由:该方法通过离线学习自动编辑的 3DGS 模型来生成监督信号,解决了在线场景变化检测中先验未知和数值推断成本高的问题。