百度Apollo World世界模型发布:让AI训练AI
11月3日,百度在Apollo Day上首次披露面向物理AI的智能体驱动全模态世界模型Apollo World,并提出“2+3”判断标准。该模型具备因果性与交互性,强调物理准确性、持久性和实时性。
推荐理由:百度Apollo首次披露面向物理AI的因果性、交互性驱动的世界模型,提出2+3判断标准并用于萝卜快跑全球化测试。
11月3日,百度在Apollo Day上首次披露面向物理AI的智能体驱动全模态世界模型Apollo World,并提出“2+3”判断标准。该模型具备因果性与交互性,强调物理准确性、持久性和实时性。
推荐理由:百度Apollo首次披露面向物理AI的因果性、交互性驱动的世界模型,提出2+3判断标准并用于萝卜快跑全球化测试。
该研究复现了八个同行评审多模态基准在五个开放视觉语言模型上的官方评分器,发现仅凭评分规则即可使相同输出的准确率波动高达22个百分点。作者引入盲审人机联合裁决(Cohen's kappa=0.956)以还原模型真实回答,指出当前单一评分标准不可靠:非合规输出会被错误匹配、弃权会丢弃有效文本答案、似然度评分混淆能力与运气。
针对视觉语言动作(VLA)模型在复杂障碍场景下无法保证安全执行的问题,本文提出一种后处理修复模块 Route-Guided CBF-QP Repair。该方法利用 VLA 预测的短期动作块检测被阻塞的名义轨迹,并生成绕过障碍物的进出重连引导路线。
ALOE(ALign Once to Explain)提出一种无需标签的一次性特征对齐方法,将基础视觉模型转化为可解释的 B-cos 变体。在 ImageNet 分类任务中,该方法使 DINOv3 ViT-B/16 的 Top-1 准确率较普通 B-cosification 提升 10.5 个百分点,同时保留与 DINOv3、SigLIP2 相当的线性探测和零样本迁移能力。
该论文揭示了大型视觉语言模型(LVLMs)在推理时使用视觉标记压缩时,传统后门会被激活而暴露风险。作者提出 StripWake 项目器仅后门方案,通过配对清洁监督与随机压缩视图并冻结良性教师对齐早期注意力,实现在全标记审计下保持低攻击成功率而在未见过的压缩器中高效触发,且无 CIDEr 损失。
推荐理由:揭示大模型推理压缩会激活潜伏后门,提出 StripWake 方法在审计时保持休眠而在压缩后触发。
论文提出 GO-SSL 框架,通过跨实例拼图任务将未标注数据转化为可验证的监督信号,训练模型在分组的同时恢复内部顺序。该方法涵盖图像、3D 深度及视频时序排序,在多个基准测试中均优于基线模型,显著提升了细粒度感知与空间理解能力。代码已开源。
推荐理由:提出跨实例拼图自监督强化学习框架,提升多模态大模型细粒度感知与空间理解能力。
论文介绍 SIMIT 框架,允许视觉语言模型在不依赖外部标注的情况下,于测试阶段自行构建特定查询的训练数据以改善性能。该方法通过生成多样化的问题、答案及图像三元组,并结合多阶段验证与自适应预算分配来筛选有效样本。实验显示,SIMIT 在 17 个基准测试中优于现有方法,其中最佳配置相比 BAGEL-7B 平均相对提升 7.20%,且无需训练的 SIMIT-ICL 版本也实现了 6.98% 的提升。
2026年11月3日,小米集团获得2026世界互联网大会“杰出贡献奖”,其具身基座模型关键技术获“领先科技奖”。峰会期间,小米披露两项落地进展:工业场景下人形机器人在汽车工厂中控台侧盖板排序工站完成8小时作业任务,实现异常自主纠偏与产线协同;家庭场景下基于Xiaomi-Robotics-1预训练模型的Agent系统在青年公寓启动试运营,完成覆盖3个房间、50+任务的连续超30分钟长程验证。
商汤于 2026-11-02 发布限时免费的 SenseNova 6.8 Flash,该模型在 TeamBench、DataAnalysis2.0 等基准测试中排名第一。实测显示其能独立完成动态网页设计、3D 海报生成及 PPT 制作任务,并在智能办公场景中主动发现旧数据错误并提醒用户核对。
针对 Vision Transformers 单纯增加深度或宽度带来的参数量激增问题,研究提出 Soft Mixture-of-Recursions (SoftMoR) 方法,通过 token 级权重学习融合不同递归阶段的表示。
针对统一多模态模型难以有效利用语言链式思维进行图像生成的问题,本文提出在连续空间进行隐式推理的框架(LARC),通过训练阶段的课程监督微调与信息增益强化学习,将离散 token 级推理转化为连续隐藏状态推理。实验表明该方法在多基准上提升生成质量与指令遵循能力,并在 GenEval 评测中超越 BAGEL 模型,展现出清晰的测试时间扩展行为。
Axion 1.0 是一个完全开放的智能体基础模型,采用仅含两个轻量监督微调加强化学习的三阶段极简训练配方,无需中间训练、直接偏好优化或在线蒸馏。该模型通过基于自身成功策略合成难题来发展自包含推理能力,并通过可扩展管道构建基于真实数据源的多样化可验证任务以扩展工具依赖推理,最后利用强化学习增强长程推理及与外部工具和环境的交互。
2026年10月31日,西湖大学在云谷校区正式成立世界模型研究中心,由AutoLab团队主导。该中心聚焦物理智能与世界模型研究,旨在突破智能系统理解物理规律与预测环境变化的瓶颈。
大晓机器人联合南洋理工大学S-Lab发布面向具体环境的世界模型Mundo,具备场景重建、自由视角探索和时空模拟能力。该模型仅需1至12张真实图像即可构建可编辑的三维代理场景,并通过代码定义物体质量与摩擦等物理属性,利用MuJoCo引擎计算运动与碰撞,最终由视频扩散模型渲染出符合物理规律的动态画面。
推荐理由:大晓机器人联合南洋理工大学发布Mundo,支持少量图像构建含物理属性的可交互三维环境,为机器人Real-to-Sim训练提供新工具。
智元在创新日发布具身基座模型GO-3 Preview和全模态交互大模型WITA-OMNI,两者分别在作业与交互评测中登顶。公司同时推出第三代硬件架构AHA3、精灵G2 Max本体及灵渠OS 1.0系统,并宣布今年年底全面开源灵渠OS 1.0,向开放原子开源基金会捐赠该项目,开放2亿行代码与5000多个生态软件包。
推荐理由:智元发布新一代基座与交互大模型,并宣布年底全面开源灵渠OS及2亿行代码。
针对现有视觉 Mamba 模型缺乏旋转对称性设计导致对图像旋转敏感的问题,本文提出了 EQ-VMamba,这是首个具备旋转等变性的视觉 Mamba 架构。该架构通过精心设计的旋转等变跨扫描策略和群 Mamba 块,在 p4 旋转群下实现了端到端的旋转等变性。
推荐理由:EQ-VMamba 架构引入旋转等变先验,在保持参数效率的同时提升视觉 Mamba 模型的旋转鲁棒性与泛化能力。
论文介绍 GViT,一种使用 patch-conditioned 2D Gaussian primitives 作为输入 token 的监督分类框架。ViT-S 编码器预测位置、尺度、方向、颜色和透明度等参数,这些参数既用于通过可微渲染器重建图像,也作为分类器输入。
本文介绍 LoCo,这是首个模型无关框架,用于定位特定概念在视觉自回归模型中的出现位置与时机。该方法利用下一代生成模型的粗到细特性,将概念知识映射到层、尺度和位置三个维度。
Jev 通过类型化查询原语实现高效决策,但跨原语一致性未被系统评估。该工作引入四轴基准 PrimaCons,发现所有 Jev 尺寸均存在一致性违规,且此类差异能以 0.91 的 ROC-AUC 预测决策失败。
ConvRoute-ViT 提出一种通过卷积路由进行令牌缩减的机制,在选定层依据类别令牌注意力保留相关图像块令牌,并将剩余令牌重组压缩为紧凑的卷积摘要令牌。CIFAR-100 和 TinyImageNet 实验表明,该模型在保持分类精度的同时显著提升了计算效率。
论文介绍 VISTA 框架,能在无梯度、logits 或参数访问的情况下,利用目标 MLLM 的响应漂移构建不确定性行为地图以识别视觉区域的语义脆弱性。
智元在 AGIBOT Innovation Day 2026 上推出 Worken(有效智能工作小时)框架,用于衡量机器人在真实环境中的自主产出效率。
推荐理由:智元发布 Worken 生产力评估框架及 AHA3、GO-3 Preview 等新品,并宣布 Link-U OS 1.0 捐赠 OpenAtom 基金会。
分子之心发布了其AI蛋白质从头设计平台MMDesign的最新技术报告,覆盖18个不同靶点共19个设计项目,其中18个项目获得经实验确认的结合分子,项目成功率达94.7%。
推荐理由:报告展示了国产AI制药平台MMDesign在抗体从头设计上的系统性验证成果,涵盖GPCR等难靶点及跨模态能力。
扩散智能发布了全新的扩散语言模型Clover-35B-A3B-Preview,采用MoE架构和块扩散技术,支持思考模式与工具调用。在WindTunnel评测中,其中位执行时间为1.52秒,成功率98.6%,速度比Jev组合快一倍且成功率略高;在SWE-bench Verified上得分为73.6。该模型由香港大学孔令鹏教授团队创立,后续将推出多模态版本并适配端侧场景。
智元今日发布 GO-3 Preview 具身基础模型,该模型支持从预训练、后训练到部署后的全生命周期学习,并在 RoboDojo、RoboTwin 和 RoboColiseum 三项主要具身智能基准测试中获得第一名。
推荐理由:智元发布 GO-3 Preview 预训练模型,在三大基准测试中位列第一,并开放全生命周期学习架构与仿真工具链。
无界动力发布并开源了端侧 7B 参数、完整预训练的 MWA™-Phoenix 隐空间世界模型基座。该模型在 LIBERO-Plus、LIBERO-Pro 及 RoboDojo 真机榜等六项评测中位列榜首,其中 LIBERO-Plus 总体成功率达 94.63%。
同一新闻,精选展示《无界动力发布并开源MWA™-Phoenix隐空间世界模型基座》
智元发布具身Agent框架Genie Master,将Physical RSI(具身递归自进化)应用于真实便利店业务流。该框架通过EEP协议连接推理与执行,利用Harness RSI积累提示词经验、Policy RSI更新动作策略模型,使机器人在无人在环状态下自主分析失败原因、调整策略并沉淀长尾场景经验。智元计划于11月2日开展6台精灵G2机器人连续上岗的24小时直播考核。
推荐理由:智元发布Genie Master框架,在真实便利店场景验证Physical RSI机制,支持机器人自主诊断问题、调整策略并积累长尾经验。
蚂蚁集团旗下百灵大模型于 2026 年 10 月 28 日开源 Ling-3.1-flash-1019 版本,该版本在复杂知识工作流、流程自动化及科学问题求解等基准测试中表现提升。
论文介绍 OmniBrain-0,这是一个轻量级统一具身代理模型,旨在协调操作与导航任务。该模型采用共享高层决策架构,结合任务理解、规划及反馈驱动恢复机制。研究提出渐进式训练框架,整合具身预训练、领域专用代理蒸馏及多教师在线策略蒸馏(MOPD),并将 Rubric-Guided Recursive Self-Improvement 数据飞轮引入以持续优化专家模型。
推荐理由:报告提出 OmniBrain-0 统一代理架构,通过渐进式训练与递归自我改进机制整合多模态能力。
针对现有可解释 Transformer(如 INTR、Prompt-CAM)在跨域场景下因固定提示词导致适应性下降的问题,本文提出 INTR++ 模型。该模型通过引入轻量级 Prompt Adapter Module(PAM),使提示词能融入特定领域知识,从而在动物、植物、医学影像、显微成像及遥感等多样化数据上保持稳定的可解释性与性能提升。
这篇论文介绍了一种名为 Torch-Hand 的全自由度人形灵巧手,拥有 21 个自由度,其中拇指具有 5 个自由度以提供广泛的对指能力。该设计采用完全基于连杆的传动架构和螺杆连杆驱动,实现了高抓握力和负载容量,同时保持了紧凑的人体形态。
上海人工智能实验室联合苏州国家实验室等推出“材华·MatVerse”材料多模态大模型及智能体应用体系。该模型采用独立编码器加统一解码器架构,将 XRD 谱图、电镜图像和分子结构等多源异构数据映射至同一语义空间,实现从知识记忆到逻辑推理的能力跃迁。
推荐理由:MatVerse 材料多模态大模型上线,支持 XRD 谱图与分子结构理解及机理推理,并开放评测基准。
Google DeepMind 正式发布 Genie 4,这是一款原生多模态的世界模型,旨在提升实时交互式仿真的真实感。该模型能同时生成类似音乐的音频、环境噪音及互动对话,并基于 Gemini 系列能力锚定现实外观与行为。
上海AI实验室推出通专融合智能体书生-A1.5(Sage-A1.5),在神经科学与电化学等真实场景中验证递归自我改进技术路径。该模型具备智能体编排与校验能力,可自主拆解任务、调度子智能体并行调研并修正推理偏差。35B参数版本在多项专业评测基准中表现优异,支持昇腾NPU及多种GPU架构,面向科研团队开放试用。
推荐理由:上海AI实验室推出通专融合智能体书生-A1.5,验证真实科学场景驱动基模自进化路径。
arXiv 论文介绍了一种名为 BiSe 的后训练方法,旨在解决统一多模态模型中图像生成分解与理解优化分离的问题。该方法利用自生成的视觉片段构建反馈,通过理解引导生成和生成引导理解两个路径对齐流方向与语义证据,无需成对图文数据即可在三个骨干网络上提升文本到图像的构图能力,并在两个评估网络中改善视觉理解性能。
ACSAN 提出一种新型深度学习模型,利用动态卷积自注意力模块替代 ViT 中的全连接矩阵乘法及 MLP。该模型在 CIFAR-10、CIFAR-100 和 ImageNet-1k 数据集上从头训练,实现了与标准 ViT 相当或更少的参数量下的高分类准确率。消融研究证实各组件均对最终性能有积极贡献。
CrossPair 将预训练多模态图像编辑器适配为从单一示例对迁移多样化变换,利用 DINOv3 目标对齐特征变化方向。该方法在 Relation252K 衍生任务上优于已发布系统,且无需推理时编码器即可遵循演示关系。
针对视觉 - 语言 - 动作(VLA)模型依赖文本输入导致自然语音部署受限的问题,本文提出 Speech-π0.5。该模型基于 π0.5 架构,利用跨模态投影将原始语音帧直接转换为音频 token,无需显式文本转录,从而显著降低响应延迟。实验在 LIBERO 基准上验证了其在保持竞争力的任务成功率的同时,对未见口音具有鲁棒性,而单一适配器则表现较差。
推荐理由:提出 Speech-π0.5,通过跨模态投影将语音帧直接映射为动作指令,相比传统 ASR 流程降低三倍响应延迟。
针对视网膜成像视觉基础模型体积大、计算需求高的问题,本文提出一种拓扑感知离散化框架,将连续基础模型蒸馏为离散码本,并作为掩码图像建模的重建目标。该方法结合无梯度生长的神经气学习生成码本邻接图,用图距离软交叉熵损失替代传统 one-hot 监督。
作者发布了 Nemotron 3.5 Bolt 74B-A9B 24GB,这是一个基于 Mamba-Transformer 混合架构的视觉语言模型,专为在有限内存下运行本地智能体工作负载而优化。