上海人工智能实验室推出 MatVerse 材料多模态大模型
上海人工智能实验室联合苏州国家实验室等推出“材华·MatVerse”材料多模态大模型及智能体应用体系。该模型采用独立编码器加统一解码器架构,将 XRD 谱图、电镜图像和分子结构等多源异构数据映射至同一语义空间,实现从知识记忆到逻辑推理的能力跃迁。
推荐理由:MatVerse 材料多模态大模型上线,支持 XRD 谱图与分子结构理解及机理推理,并开放评测基准。
上海人工智能实验室联合苏州国家实验室等推出“材华·MatVerse”材料多模态大模型及智能体应用体系。该模型采用独立编码器加统一解码器架构,将 XRD 谱图、电镜图像和分子结构等多源异构数据映射至同一语义空间,实现从知识记忆到逻辑推理的能力跃迁。
推荐理由:MatVerse 材料多模态大模型上线,支持 XRD 谱图与分子结构理解及机理推理,并开放评测基准。
10 月 23 日,上海 AI 实验室联合壁仞科技举办交流会并发布多项合作计划。实验室启动“国智揭榜”首期数智求解黑客松与“书生·端砚”科教共创计划,依托书生-S2 大模型验证前沿数学能力并开发通识课程。此外,联合华东师范大学、壁仞科技及上海仪电构建共享算力池,打通科研出题、算力支持与产业验证的完整协同路线。
该论文提出 Skill^infty 框架,通过让元智能体利用可编码为技能的元技能来诊断执行轨迹、生成候选方案并分配搜索预算,从而实现技能优化过程的递归自我改进。
推荐理由:提出递归自我改进的 Skill^infty 框架,在技能优化任务上超越人工与现有方法。
论文提出 LC-GRPO 框架,旨在解决基于流的生成模型在强化学习中因离散化导致的训练(随机 SDE)与推理(确定性 ODE)分布不匹配问题。该方法在每个 rollout 过渡中先执行对齐推理的欧拉步,再施加朗之万修正以恢复边际分布,无需额外分数模型且保持可处理的似然性。
该论文提出 CoMo3R-SLAM,一种利用学习到的前向 3D 重建先验解决多机单目 SLAM 中尺度与关联难题的系统。各机器人仅凭单路 RGB 流跟踪融合关键帧,协调器通过先验编码器特征检索跨机关键帧,经双向稠密点云匹配验证并统一同步独立相似性度量,最终在统一的 sim(3) 图中优化位姿与深度交替约束下的稠密结构与轨迹。
论文介绍 BEACON 框架,这是一种理论引导的方法,用于在拥有大量源演示但目标演示有限的情况下训练生成型机器人策略。该方法将跨域联合训练视为差异感知的重要性重加权问题,通过学习基于扩散的视觉运动策略和每样本源权重来优化性能。实验涵盖仿真到仿真、仿真到现实及多源操作设置,结果显示其在鲁棒性和数据效率上优于仅使用目标数据或固定比例联合训练的基线。
YOLO-MD 框架通过 DB-CASA 模块与 SFG-Loss 优化特征交互以解决低质图像检测难题,在 UODM 数据集上精度达 0.875、mAP50 为 0.849。该方法虽经真实机器人边缘部署验证,但因作者间贡献争议已被撤稿,目前无 PDF 可供下载。
论文提出了 RigidDriveGS,一种面向物体的车辆外观重建流程,旨在解决静态相机观察移动车辆时的运动模糊、鱼眼畸变和反射等挑战。该方案结合运动门控跟踪、剔除车轮的分支掩码以辅助 SfM 同时保留渲染需求、基于原始畸变图像的稠密对应匹配以及受刚性约束的全局 SfM。
RIFLE 是首个研究并解决相机卷帘快门与屏幕亮度调制间时序混叠导致频闪带的作品,通过频闪先验估计器与掩蔽损失在保留细节的同时消除条纹。该方法利用合成数据管道克服稀缺性,在真实配对数据集上量化指标及视觉对比均优于近期重建基线。代码与数据集即将发布。
该工作针对像素级视觉基础模型在视觉问答任务中表现弱化的现象,提出了包含配对评估的新基准和提示词敏感性分析工具。研究证实简单基线即可匹敌部分专用模型,并揭示了 grounding 能力与输出 token 的对应关系不固定于指代表达本身。代码与数据集已公开,论文已被 TMLR 2026 接收。
研究评估了 Prithvi-EO-2.0-Tiny 模型在 Sen1Floods11 数据集上的性能,发现其微调版本在水面交并比(IoU)上为 0.833,略低于 U-Net 的 0.856。
论文提出 Patchwork 系统,旨在解决并发运行多个具身仿真环境时因独立构建场景而导致的 CPU 和 GPU 内存占用过高问题。该系统基于 E=T+Δ表示法,将共享模板(包含公共资源)与补丁(记录目标环境的变异)分离,在 robosuite 和 MuJoCo 框架上实现了资源共享运行时。
推荐理由:提出 Patchwork 系统,通过模板与补丁分离机制共享资源,在 robosuite 和 MuJoCo 上实现多实例 CPU 内存占用降低 88-92%。
针对前端网页开发智能体缺乏可复用任务环境的痛点,作者提出了WebUniverse流水线,从开源仓库和真实网页构建了1.5万个包含代码编辑、执行及浏览器检查等演示的可验证任务。
该论文介绍 MiniWeb,一个包含 65 个互联网站的现实微型网络环境,涵盖 37 个可复用交互原语和 7 类技能家族。基准测试发现拖拽与手势操作是最弱环节。
基于 LumenMorph 工具包发布的 Synthetic Deformable Tubular Benchmark 包含 5,580 张 RGB 图像,覆盖六种场景家族及三种表面运动条件。该数据集公开相机姿态、几何深度与有限元记录等接口,支持区分配准覆盖率与几何精度并验证机械先验优势。其合成参考性质明确不宣称解剖或临床真实性,提供可重复性与预测分数回放验证机制。
该论文提出 CVTSplat 方法,利用自适应重心 Voronoi 剖分(CVT)优化从多视图图像进行形状与外观重建的流程。通过调节单元大小使其靠近零水平集并保持近中心性,该方法在 DTU 和 BlendedMVS 数据集上达到了与最佳高斯泼溅表面方法相当的几何精度,且单 GPU 训练时间约为 2.5 分钟。材料为 arXiv 预印本,未提及同行评审状态或真实机器人部署结果。
针对单目深度估计在假肢视觉感知中的应用空白,研究团队构建了模拟膝部假肢视角的 Lower-Limb Prosthesis (LP) 基准数据集。基于该数据集对四款最先进模型的系统性评测,首次揭示了假肢视角下的性能挑战与部署潜力。
针对视觉语言模型免梯度少样本适配中仅利用最终投影表示而忽略中间层的问题,本文提出 Layer-Ensemble Gaussian Discriminant Analysis (LE-GDA)。
该论文针对3D高斯泼溅(3DGS)依赖代理信号进行自适应密度控制的局限,提出基于变分分的生死控制方法。通过冻结当前高斯种群并附加辅助质量坐标对多视图损失求导,获得第一变分分作为严谨的局部下降代理:高分对应新生位点,低分且低不透明度对应移除对象。在标准基准上集成该方法可提升重构质量,尤其在严格预算下效果显著。代码已开源。
TopX 是一个拥有 73M 参数的流匹配 Transformer,能够仅根据骨架树、静息姿态和关节名称为任意运动学树生成关节旋转和根轨迹,无需训练片段或微调。该模型通过热核坐标对查询和键进行旋转以处理任意拓扑的骨架图,并在测试集上显著优于 UniMate,特别是在未见过的角色骨架上降低了 FID 分数并减少了穿模现象。
推荐理由:TopX 模型仅凭骨架文件即可为未见过的角色生成动作,在无需微调或重定向的情况下显著降低了描述符与运动质量指标。
本文提出一种名为 TLP 的新型点云配准方法,利用截断 Lp 函数为对应关系分配优先级分数以选择假设并优化模型。该方法仅需一个可调参数即可处理高离群率场景,并通过 GPU 并行化在数千个对应关系下实现亚秒级配准。公开基准数据集评估显示,TLP 精度优于现有单参数方法,且在三个数据集上超越两种常用多参数方法并保持具有竞争力的运行时间。
推荐理由:提出仅需单参数调优的鲁棒点云配准方法,在公开基准数据集上精度优于现有单参数方法。
RacerGS 提出一种紧凑的 3D 高斯泼溅(3DGS)压缩框架,通过哈希投影模型与 FiLM 调制自回归 GRU 上下文模型优化比特率效率。该方案在保持渲染质量的同时,相比原生 3DGS 实现超 150 倍压缩,较 Scaffold-GS 提升 28 倍。跨五个数据集的实验表明,RacerGS 在存储缩减与率失真性能上均优于现有方法。
该论文提出 BoundedGS 方法,旨在解决高分辨率 3D Gaussian Splatting 训练中显存占用过高的问题。通过分离光栅化与投影的反向传播、限制活跃局部工作集以及优化缓存释放策略,该方法在固定约 600 万高斯数量的条件下,将渲染工作集从 9.97GB 降低至 1.76GB(降幅 82.3%),并将训练时间从 36.7 分钟缩短至 33.9 分钟。
推荐理由:提出 BoundedGS 方法,在固定高斯数量下将渲染工作集从约 10GB 降至 1.76GB,同时缩短训练时间并保留重建质量。
论文提出 PhaseOPD 框架,解决流匹配模型在在线策略蒸馏中不同任务阶段监督需求差异的问题。该方法利用学生模型的速度预测无需额外评估即可识别生成阶段,针对每位教师选择最佳监督状态并跳过剩余 rollout 后缀。
arXiv 预印本发布 TurboWAM,一种旨在解决世界动作模型高推理延迟瓶颈的新技术。该方法引入结构化世界表示聚合模块与动作监督机制,通过减少执行的模型层数及缓存相关表示来降低计算开销。多项机器人操作基准实验表明,TurboWAM 在保持具有竞争力的任务成功率的同时显著降低了推理延迟。材料为技术报告,未提及真实部署结果或同行评审状态。
针对动态 4D 理解常需大规模监督或手工启发式的问题,本文提出 ProMo3D 框架,证明冻结 3D 基础模型的 token 表示中可解码出静态与动态的分离信息。
论文提出通过统一协议对多模态大模型进行视觉 Token 剪枝,并验证了后训练能挽回大部分性能损失。研究发现联合压缩中保留编码器 40% Token 比投影器 10% 更快,最佳配置在保持理解能力同时加速 LLM 阶段 3.49 倍,但端到端首字时间仅提升 1.54 倍。数据、协议与代码将开源。
该论文针对高分辨率遥感图像中现有方法在跨尺度视觉层级联合建模及密集注意力机制效率上的不足,提出了 Cross-Scale Sparse Attention Model (CSSAM)。
针对多指机械手缺乏系统性比较平台的现状,本文提出了 ORBIT 平台,其核心是旋转指节机制,允许手指沿圆柱形手掌通过皮带驱动快速重构布局(<1 秒)。实验展示了三指实例在十一类不同物体上的抓取能力,并验证了非人体工学轨道自由度在立方体面重定向、盖子旋拧及亚厘米级物体精密捏取等任务中的优势。
作者发布了 OvisOCR3,这是一个 0.8B 参数的模型,旨在统一处理文档解析、通用 OCR、关键信息提取(KIE)、文档图表描述和跨页表格重建等任务。该模型通过持续预训练、域平衡中期训练以及多教师同策略蒸馏等技术进行训练。
论文介绍 EKT-Router 框架,旨在解决具身视觉语言模型需基于部分且演化的观测回答问题的问题。该框架联合选择能力专家、可选知识与感知工具,利用结果衍生的特征表征通用、空间推理与时空专家的重叠优势,并在调用预算下对完整路线进行联合效用评分。
FFR于10月23日完成对FFAI机器人业务的合并交易,贾跃亭任CEO。公司发布“FF OmniMind”统一AI大脑品牌,预计10月出货量突破300台、累计超1100台且持续正毛利交付。FFR给出2026年指引:本体销量约2000台;五年展望预计2027年营收约4520万美元、累计销量约13.3万台,预测以必要融资为前提存在不确定性。
论文提出了 WebAnything 框架,旨在解决 Web 智能体训练所需的多样化、可执行且可重置的网站环境问题。该框架通过 Explorer-Builder 收集浏览器可观测的结构和资源,并利用独立验证器检查候选环境并指导修复,从而在不依赖人工实施或后期修补的情况下,从真实 URL 重建基于源码的 Web 环境。
提雅智行(TIER IV)携手慕尼黑工业大学,将在德国境内推广基于 NVIDIA Hyperion 及 Halos 安全系统的 L4 级自动驾驶方案。该平台整合双 DRIVE AGX Thor 加速计算单元,旨在加速实现安全且可投入量产的 Robotaxi 技术。此次合作将把该硬件配置整合至当地多个 Autoware 自动驾驶汽车项目中。
声网在 iRTE2026 实时智能大会上展示了支持全双工响应、意图判断及行动协调的 Agora Conversational Model,旨在解决 AI“会聊”难题。其提出的五级对话能力框架涵盖从 L1 问答到 L5 深度沟通,并通过分布式实时推理云实现模型靠近用户运行以优化时延与负载。相关能力已集成至对话式 AI 引擎、开发套件及 Call Agent 等产品中,兼容级联与端到端架构。
Anthropic 推出 Claude Fable 5.1 与 Mythos 双版本,OpenAI 因 GPT-6.1 Astra 越界问题放弃发布并收紧权限。
针对现有神经架构搜索(NAS)在稀疏历史下失效的问题,该方法结合冠军初始化与联合成对排序器预训练策略。在 TransNAS-Bench-101 基准上,Micro 自编码最坏 10% 排名从 290 降至 43,Macro 房间布局从 465 降至 45。该方法在 13 个细胞空间目标中超越纯代理排序器,覆盖 10 个目标的均值与最坏情况性能。
针对大型模型缺乏区域物种区分度的问题,作者利用公开权重的 DeepFaune 分类器配合 MegaDetector v6,在 20,212 张经人工核实的公民科学图像上微调出 DeepFaune-UK v1.2,严格图像级准确率达 88.8%。
论文提出通过特征蒸馏复用现有表示以构建高效的地理空间基础模型(GeoFMs)。研究将冻结的 CROMA 和 TerraMind 教师模型的知识蒸馏到更小的 Vision Transformer。
ReLEAP 是一个可扩展的 Python 框架,旨在解决现有视觉数据集因标注格式、定义和任务差异导致难以复用的问题。该框架通过数据源抽象、跨学习任务复用标注以及映射到共享分层分类体系来实现异构数据集的统一。