上海 AI 实验室发布书生-S2 多模态大模型并破解三维 Ghys 猜想
上海人工智能实验室访问学者许地生团队依托书生科学多模态大模型 S2,基于通专融合技术路径与人机协同模式,完成了困扰数学界三十余年的三维 Ghys 猜想证明。北京大学董彬教授、刘若川院士团队利用 SHEAF 框架对论文全部四个主定理完成形式化验证,证明已通过 Lean 检验。
推荐理由:书生-S2 多模态大模型依托人机协同攻克三维 Ghys 猜想,形式化代码已公开,展示了国产模型在长程推理与科研级数学任务上的新能力。
上海人工智能实验室访问学者许地生团队依托书生科学多模态大模型 S2,基于通专融合技术路径与人机协同模式,完成了困扰数学界三十余年的三维 Ghys 猜想证明。北京大学董彬教授、刘若川院士团队利用 SHEAF 框架对论文全部四个主定理完成形式化验证,证明已通过 Lean 检验。
推荐理由:书生-S2 多模态大模型依托人机协同攻克三维 Ghys 猜想,形式化代码已公开,展示了国产模型在长程推理与科研级数学任务上的新能力。
Google 发布 Gemini 4 Argon,旨在成为覆盖机器人控制、虚拟世界构建及训练视频评估的统一模型。演示中,该模型结合 MuJoCo 仿真与 AI 代理验证,将波士顿动力 Spot 机器人的任务成功率从 56% 提升至 75%,执行时间缩短至 24 秒;在 ERQA 基准测试中以 87% 的得分领先其他前沿模型。
Thinker-WM 是一种统一的多模态世界模型,通过共享中间层 Unified Dynamics Transformer 联合建模并生成 RGB、度量深度和机器人动作。
推荐理由:Thinker-WM 提出统一多模态世界模型,在共享动力学表示下联合生成 RGB、深度与动作,并在 EWMBench 等基准中表现领先。
该研究比较了依赖外部验证器的奖励信号与基于模型自身图像区域注意力的内部奖励机制。结果表明,外部奖励主要驱动准确率提升,而内部注意力奖励提供了无标注的空间关系推理信号,且能作为补充增强 Molmo~2 等模型的物理推理能力并泛化至分布外任务。
该文针对微分代数方程(DAEs)中代数约束限制状态轨迹、导致现有控制屏障函数(CBFs)难以直接应用的问题,提出了感知 DAE 结构的 CBFs 方法。通过投影向量场将代数结构融入安全集定义,推导了保证安全集前向不变性且保持代数约束的条件,并将框架扩展至高阶 DAE。
该研究提出 Plan-Bench 基准,旨在评估视觉语言模型在具身智能场景下的高层推理与多步规划能力,同时隔离动作执行的影响。基准涵盖三个互补维度、16 个子类及 699 个精选样本。
论文提出 EvoSpatial 框架,使空间推理智能体能从任务执行中积累经验并更新技能与工具库。该框架通过记录计算过程、几何假设及验证步骤,在无需真值答案或基准分数的情况下实现技能修订与工具整合。
该论文评估了三个世界动作模型在四个 RoboLab 场景下的表现,固定初始状态与任务目标,通过 864 次 rollout 发现描述关系时若以参考对象而非移动对象为基准,平均降低稳定放置成功率 12.2 个百分点。
RealityBench 是一个在 Blender 中构建的包含十一类物理工作环境(如屋顶太阳能安装、车辆维修)的评测基准,旨在评估视觉语言模型记录人类体力工作的能力。
推荐理由:该研究在 Blender 中构建了十一类物理工作场景,对 26 个 VLM 模型进行文档化能力评测,揭示了其在读取测量值和判断空间关系上的短板。
论文提出 MvFFN 模型与 ZInD-CrossView 数据集,旨在从稀疏、无位姿的宽基线 RGB 全景图中重建相机位姿和平面图。方法核心在于局部预测:每个全景图列仅预测其观测到的墙体及顺时针相邻的两面墙,再通过确定性聚合生成全局坐标一致的跨房间布局。该方法在墙体与连接点精度上优于现有基准,且论文已获 NeurIPS 2026 接收。
论文提出了 AdaVDR,一种针对视频深度研究的智能体,旨在联合理解视频内容与检索外部知识以回答问题。为解决多步工具调用带来的成本与失败风险,该方法构建了基于任务类型和模型能力的自适应工具使用轨迹数据管线,并应用模型条件化的工具必要性过滤来剔除可被视频理解或内部知识替代的工具。
arXiv 发布 SCVIB 基准,包含 1050 对支持 - 查询对和 1500 个多轮片段,研究状态依赖的源相关性。直接推理 Qwen3-VL-8B 在目标识别上准确率达 99.53%,但联合定位仅 62.00%;提出的 TT-VG 框架通过显式状态路径和视觉证据适配,将联合指标提升至 69.80%,显著改善了证据利用与查询侧定位的瓶颈。
该论文介绍4DVLT,一种离线校准的多视角任务,旨在统一实体定位、度量3D空间与同步2D追踪,通过世界线绑定身份、运动、可见性与观测。作者构建了Instruct-4D数据集(含12.9万问答对等)并提出4DTrack模型,在查询条件推理下达到55.18 WQS分数,超越最强适配基线33.01分并提升定位与轨迹质量。材料为arXiv预印本,未提及同行评审状态或真实部署结果。
X-Safe 提出一种无需简化模型或学习安全函数的具身无关保障方法,利用配置空间局部推理与动作掩码为碰撞避免提供形式化概率保证。该方法在两种具身架构、三种策略及仿真与硬件环境中验证,性能退化低于现有最先进方案一半,且实证证实了碰撞避免的形式化保证。
针对现有运动预测方法缺乏对现实世界法规与行为约束显式编码的问题,该研究提出了一种名为 TraCS 的神经符号框架。TraCS 利用代理代码生成管道连接自然语言交通法规描述与概率运动预测,并采用反应式数据流推理引擎动态更新合规景观。
推荐理由:该工作提出神经符号框架 TraCS,在 Argoverse 2 基准上验证了将交通法规逻辑融入运动预测的有效性。
NVIDIA Nemotron 3.5 Super VL 是一款开源可定制的多模态模型,专为处理阅读文档、跨源查信及调用工具等长流程企业工作流设计。该模型采用 120B 参数混合专家架构,每次请求仅激活 12B 参数以支持专用智能体的高效推理。
论文介绍了一种名为 SPARC 的风险感知框架,用于自动为机器人演示添加结构化空间标注(如边界框、物体轨迹和操作阶段标签)并分配可靠性评分。现有自动化流程缺乏质量信号,而 SPARC 利用任务时空结构降低噪声标签并保留更多有效样本。
该研究针对大型且存在威胁的未知环境中的安全地面导航问题,提出了一种协调无人机团队以改善无人地面车辆(UGV)安全的方案。核心方法包括用于 UGV 路由的风险规避共享暴露信念,以及将任务条件化的无人机奖励机制,后者引导感知聚焦于当前 UGV 走廊中不确定且与暴露相关的区域。
论文提出 P3D-Bench 基准,旨在评测多模态大语言模型通过代码进行参数化 3D 生成的能力。该基准涵盖文本到 3D、图像到 3D 及装配 3D 三类任务,评估指标包括可执行性、几何保真度、拓扑结构、文本约束对齐等多维度性能。
论文介绍 CORE 数据集和 PLANET 框架以解决全球跨模态地理定位难题。CORE 包含来自六大洲 225 个区域的 103.4 万张跨视角图像,利用大视觉语言模型合成场景描述;PLANET 提出对比学习范式引导文本表征捕捉卫星影像的物理特征。实验显示 PLANET 在多种区域显著优于现有方法,数据集与代码将公开。
论文介绍 CASHEW 框架及变体 CASHEW-RL,旨在解决视觉语言模型在多步推理中表现不稳定的问题。该方法通过在推理时迭代聚合多个候选轨迹并引入视觉验证作为锚点来增强稳定性;CASHEW-RL 则通过组序列策略优化将聚合行为内化到单一模型中。实验显示,在 Qwen3-VL-4B 和 Qwen3-VL-8B 上分别实现了平均提升 4.1/5.3 个和 2.6/3.0 个百分点的准确率。
推荐理由:针对多模态推理不稳定的问题,提出通过迭代聚合候选轨迹来稳定输出的方法,并在 Qwen3-VL 系列模型上验证了显著的性能提升。
该论文提出了 Schrödinger's Navigator,一种信念感知的零样本物体导航框架。该方法在推理时利用轨迹条件化的 3D 世界模型对多个潜在未来进行想象,维持场景实现的叠加态而非单一地图映射。
推荐理由:提出信念感知的导航框架,利用轨迹条件化的 3D 世界模型想象多未来以解决遮挡场景下的零样本目标导航问题。
本文提出名为 Chain-of-Time 的新颖提示方法,旨在稳定并解释自回归图像生成模型产生的物理仿真结果。该方法通过在推理阶段生成一系列中间图像来模拟时间演变,无需额外微调即可应用于合成与真实世界领域(如刚体滚动、谐波振荡等)。
针对低资源语言视觉模型常出现流畅但对象错误的问题,该方法利用冻结 MaxViT 提取稳定视觉块,结合 Bengali-native mBART-50 解码器及 PAL+InfoNCE+OT 三重损失目标实现模态对齐。
该研究提出一种架构,将解分配给专注于不同频谱尺度的普通 Transformer 专家,利用离散 Hodge Laplacian 作为拟合层测量高频内容。在包含 9.6K 面元和 4.9K 顶点的非结构化网格上,该方法相比 Transolver 基准使相对 L2 误差降低 31%,内部均方误差降低 47%。
针对大语言模型在复杂三维物体组合任务中缺乏物理理解与交互经验的问题,本文提出 PhySGA 框架。该框架采用协作式前馈 - 反馈架构,由负责全局规划与粗调的装配代理和负责接触动力学诊断与闭环修正的评论代理协同工作;通过动作路由将语义计划映射为仿真器内的可执行原语,并利用自演化技能库蒸馏试错经验以提升成功率。
MemWM 通过引入内容可寻址记忆库增强 JEPA 风格预测,解决现有隐式动力学方法存在的表征坍塌与计算开销问题。该方法在 PushT、Tworoom、Reacher 及 OGBCube 数据集上验证了轻量化架构的优越性,显著优于传统模型在长视界规划任务中的表现。相关代码与论文预印本已公开于 arXiv,为具身智能领域提供了新的可扩展路径。
针对多模态智能体在长周期和终身设置中持续获取复杂异构信息的挑战,本文提出一个包含两个维度的记忆机制分析框架。第一维度(形成与表示)定义了信息如何被编码为特定模态嵌入或结构化记录以支持推理;第二维度(管理)区分了静态复用、动态更新和自我进化三种策略层级。
CardioFAD 提出聚焦 - 对齐 - 扩散范式,通过运动显著关键帧解决极端单样本下的心脏动态合成难题。该方法在心脏 MRI 与超声心动图视频上展现出优越的视觉质量、时间连贯性及功能一致性。相关代码与论文已作为 NeurIPS 2026 预印本公开于 arXiv。
Ask4NV 模型基于预训练统一多模态架构,将相机几何融入 VAE 与 ViT 表示以增强新视角生成的外观与结构一致性。实验显示该方法在保持图像质量的同时具备竞争力的三维语言理解能力,联合训练进一步提升了跨视图对应关系及三维感知特征空间相似度。项目页面已公开,代码与数据许可状态待定。
该论文针对现有模型难以同时兼顾静态 3D 和动态 4D 理解的难题,提出 DynThinker 统一框架。通过解耦指数移动平均(D-EMA)约束干扰敏感参数漂移,并结合语义引导的空间 - 动态融合(SDF)整合时空先验。在涵盖九个静态与动态基准的十项指标中,DynThinker 取得最高平均分,并在 ReVSI、DSR-Bench 及 DSI-Bench 等任务上刷新开源模型记录。
推荐理由:该工作提出统一框架解决静态与动态空间推理的干扰问题,在多项基准测试中取得开源模型最佳平均分数。
现有几何感知的多模态大语言模型(MLLM)通常依赖外部 3D 编码器提供结构先验,但这在推理时引入显著延迟和计算开销。本文提出 GeoThinker-F 框架,通过将因果 MLLM 隐藏状态转化为预测性潜在世界表征来内部化时空感知。
推荐理由:该工作提出 GeoThinker-F 框架,通过内部化时空感知消除对外部 3D 编码器的依赖,推理速度提升 3.6 倍。
该论文介绍 Player-1 框架,旨在超越演示数据限制,通过学习合成经验来提升计算机智能体的游戏控制能力。研究扩展了动作空间以支持相对指针运动和复合操作,并在 6,044 条精选轨迹上进行监督微调初始化。
推荐理由:该工作提出 Player-1 框架,利用合成数据与复合动作提升游戏控制能力,为通用数字代理训练提供新路径。
该研究提出了 Any Time, Any Space (ATAS) 框架,旨在解决长形式代理式视频生成中非连续请求下的时空一致性难题。该方法将剧本编译为包含明确位置、相机和事件时间引用的镜头请求,并在生成前从注册的静态几何场景记忆和动态观察事件记忆中检索相关证据;生成后重构并注册片段,仅在审查通过时更新记忆。
VascuSR 提出一种结合图像重建与显式三维血管引导的迭代框架,在 MSD Task08 和 HVM 数据集上优于插值及学习基线。该方法将连通分量计数降低超 20%,中心线距离减少超 10%,同时保持与骨干网络相当的图像质量。
该论文提出一种分层分辨率体素映射机制,将 LiDAR 数据同时整合为两种分辨率:机器人当前计划走廊内采用精细分辨率,其余区域采用粗糙分辨率。与传统导航管线不同,该方法建立反馈回路,让规划过程动态指导信息在不同叶节点的整合。
推荐理由:提出分层分辨率体素映射机制,在保持路径规划成本的同时显著降低存储与计算开销。
论文提出‘代理型机器人’范式,即智能体能基于人类指令进行推理、交互环境、自主纠错并动态调整策略。文章梳理了从基础策略到视觉 - 语言 - 动作模型、世界模型及世界 - 动作模型的演进路径。
Learning-Based Adaptive MPC 算法通过在线学习行星磁场模型,解决了磁矩器在轨道任务中控制权限不足的问题。该方法在地球轨道与天王星轨道仿真中,分别将控制器成功率提升了 5% 和 61%。该研究已接受发表于 International Conference on Space Robotics (iSpaRo) 2026。
该论文提出了 GLoD-LVSM,一种用于大视角合成模型(LVSM)的紧凑、几何感知的场景表示方法,采用连续细节层级以匹配预算。
推荐理由:提出几何感知的连续细节层级场景表示,在保持渲染质量的同时显著降低 token 数量并加速推理。
论文提出 PAWA 数据集与框架,解决现有数据缺乏多玩家独立动作与全景视频同步的问题。该框架解耦 CPU 游戏捕获与 GPU 渲染,支持超过 64 名同时在线的玩家,并能在新观测配置下重渲染会话而无需回放游戏。