uViT 揭示注意力与前馈网络分离在视觉 Transformer 中的必要性限制
研究引入 AttenFeed 模块构建统一架构 uViT,替代传统 ViT 交替的 Attention-FFN 结构。实验表明,刚性参数分配导致该分离机制在小模型规模下阻碍性能提升。uViT 为理解 ViT 启发式设计提供了新分析工具与理论洞察。
研究引入 AttenFeed 模块构建统一架构 uViT,替代传统 ViT 交替的 Attention-FFN 结构。实验表明,刚性参数分配导致该分离机制在小模型规模下阻碍性能提升。uViT 为理解 ViT 启发式设计提供了新分析工具与理论洞察。
arXiv 预印本介绍 SPW-Nav,这是一种支持语言引导的实时全景视频流生成模型。该模型能理解移动指令并实时从单张全景图生成一分钟的 2K 360 度视频,通过球面旋转解耦和姿态对齐条件化等技术提升跟随精度与画质,并构建了包含相机轨迹与验证指令的 SPW-NavSet 数据集。
Light Origins 近日正式发布通用具身基础大模型 Light-O1,面向全球科研机构开放 API 并提供开源权重(Light-O1-Preview)。
针对长程任务中保留全量历史导致上下文成本高、压缩信息易丢失关键细节的挑战,论文提出 FlowState 框架,将执行状态视为可持久化并按需访问的记忆。该方法通过语义类型化的状态节点及其关系管理历史信息,结合增量状态更新与渐进式状态访问机制,在单轮执行循环内统一当前决策与历史复用。
针对大规模模型合并时搜索最优参数系数成本高昂的问题,本文提出αTransfer范式。该方法利用同一家族内不同尺寸模型在合并系数上的性能分布高度一致的特性,在小代理模型上完成搜索后直接将系数迁移至大目标模型。实验表明,该方法在视觉Transformer和大型语言模型上分别实现了6倍和20倍的加速以及70%和85%的显存减少,同时保持了相当的性能水平。
推荐理由:提出αTransfer方法,在小代理模型上搜索合并系数并直接迁移至大模型,实现视觉与语言模型的推理速度提升及显存大幅降低。
针对扩散模型推理成本高且单步蒸馏易导致输出过平滑的问题,作者提出分阶段速度蒸馏(PVD)方法,将生成时间线划分为粗粒度和细粒度两半,分别由专用半尺寸专家处理结构组成与细节优化。
论文提出 VisionWeave,通过门控空间池器和粒度路由器实现内容自适应的视觉表征分配。在 Qwen3.5-4B 和 Qwen3.8-27B 上验证,相比固定节省目标的 Token 剪枝基线,该方法平均节省 43.0% Token 的同时保留 98.9% 原生性能(基线仅保留 88%)。
该研究提出 PixelTriage 插件,用于在多模态助手回答长时记忆问题时筛选值得加载像素的检索结果。模型通过阅读对话、摘要和缩略图预测像素收益,无需读取全分辨率图像即可在 M$^3$Exam、DMV 等基准上实现精度与成本的平衡,显著降低视觉 Token 用量并提升响应速度。
Google DeepMind 发布 EmbeddingGemma 2,这是一个基于 Gemma 4 架构的开源多模态嵌入模型,采用 Apache 2.0 许可。
推荐理由:DeepMind 发布 EmbeddingGemma 2,统一处理文本、代码、音视频的多模态嵌入模型,支持端侧推理与离线 RAG。
TwelveLabs 发布了 Pegasus 1.6 模型,旨在通过视频理解赋能物理 AI。该模型专注于第一人称视角(egocentric video)的理解,无需特定硬件即可处理现有视频数据及静态图像。Pegasus 1.6 提供动作分割、密集标注、质量评分、搜索策展和合规标记五种工作流,帮助机器人团队从真实人类经验中提取结构化知识,用于训练灵巧操作等任务。
NVIDIA 指出在数千 GPU 上训练万亿参数模型时,多并行维度、低精度计算及分布式检查点使故障复现复杂。引入比特级确定性可显著降低大规模预训练的调试难度并支持可靠验证与恢复。该技术通过 Megatron Core 解决分布式训练中失败复现困难的问题。
论文提出 Sphere Encoder 2 模型,旨在解决原版本因随机点分布不均导致的极区覆盖不足及像素级重建损失引发的图像模糊问题。该模型在保持自编码器速度与简单性的同时,显著提升了图像生成质量。代码将在后续开放。
EgoSteer 是一个面向可操控灵巧操作的开源全栈系统,整合了 EgoSmith 数据管道、统一机器人堆栈及世界模型增强的 VLA。系统在 9,606 小时第一人称视频上预训练,并通过遥操作与 DAgger 微调,在 45 个多样化任务中稳健执行自由指令,并在两个具身平台上对长周期任务达到 79% 平均进度。代码、数据集、模型检查点及评测画廊已公开。
推荐理由:开源了基于第一人称视频预训练的灵巧手 VLA 系统,提供数据管道与仿真增强策略以支持遥操作微调。
PerCoV2 是一个超低码率感知图像压缩系统,统一了语义分词、流生成和熵建模。该系统在 MSCOCO-30k 数据集上实现了极低码率(0.0015-0.025 bpp)下的最先进统计保真度,并在 SA-1B 数据集上训练后展现出对 DIV2K 等高分辨率基准的零样本泛化能力。
推荐理由:PerCoV2 在极低码率下实现感知压缩新 SOTA,开源代码与预训练模型将随论文发布。
该研究通过微调四个开源视频语言模型(Qwen3-VL、Gemma-3 等),发现使用可验证奖励的训练策略虽能显著提升模型在合成数据上的表现,但并未带来真正的时序理解能力。实验显示,纯合成数据会导致模型在真实视频上泛化性能严重下降,而混合真实视频数据能有效缓解这一问题。此外,研究指出模型准确率的提升主要源于非视觉因素,而非对事件顺序的掌握。
推荐理由:研究表明可验证奖励虽能提升视频语言模型在基准上的准确率,但并未赋予其真正的时序理解能力,且纯合成数据会导致域外泛化严重下降。
Reka AI 发布了研究预览版全模态模型 Rho-1,该模型包含 190 亿参数,能在单一神经网络中处理和生成文本、图像、视频及机器人控制动作。与路由任务到专用模型的多数系统不同,Rho-1 将所有模态作为 token 在共享上下文窗口中运行,无需工具调用或外部模型。
针对多模态情感基础模型内部架构如何产生情感能力尚不明确的问题,研究通过 13 个实例分析发现,仅调整前馈网络(FFN)在匹配参数量下表现最优且效率最高。基于此提出的门控聚焦高效微调(GET)方法,仅需使用 19.3%-24.5% 的可训练参数即可保留 96.2%-98.0% 的性能。该研究揭示了联合优化后不同投影路径涌现的功能专业化分工现象。
论文提出无需训练的 Patch-to-Prune (P2P) 框架,利用激活修补技术识别并替换 VLM 解码器中可被固定中性代理向量替代的区域,从而绕过冗余的视觉计算。
推荐理由:提出无需训练的 Patch-to-Prune 框架,在保留序列长度与预训练权重的情况下,通过固定中性代理向量绕过冗余视觉计算,将 FLOPs 降低 55%。
TypeSafe AI 联合创始人兼 CEO Diogo Almeida 宣布推出 Jev 模型,定位为“机器原生、可编程的决策内核”(System-One),旨在替代传统聊天模型以支持自动化业务闭环。Jev 强调可靠性与性价比,采用 RLCD 强化学习范式及 choice/score/null 原语,拒绝公开 benchmark 以防榜单操纵,目标是在五年内拉动全要素生产率增长 3%。
Runway AI 本周推出了 Praxis-1,这是一个基于其通用世界模型大规模视频预训练构建的开放权重世界动作模型。该模型利用海量第三人称视频数据学习物体行为与任务流程,旨在解决机器人数据采集稀缺且昂贵的瓶颈问题。
Boston Dynamics 正式发布 Atlas 机器人新一代手部(GR3),采用 13 个自由度的四指结构,放弃小指以平衡成本与可靠性。该设计具备高保真仿真能力,支持强化学习训练及 sim-to-real 迁移,能够执行灵巧捏取、工具触发等复杂操作,并配备密集压力触觉传感器以实现精细感知。
推荐理由:波士顿动力发布 Atlas 新一代手部,通过高保真仿真与强化学习设计实现灵巧操作,为工业场景提供低成本、可量产的解决方案。
理想汽车于 10 月 1 日将马赫 VLA 2.0 通过 OTA 升级推送至近百万辆搭载 Orin-X 和 Thor 芯片的 AD Max 车型。同期新一代理想 L6 交付破万,位列增程市场前三,纯电产品矩阵进一步完善。截至 9 月 30 日,其零售中心覆盖 160 个城市,超充站投入使用的充电桩达 23,077 个。
DeepMind 推出 SynthID Bio,这是一种专为合成生物学开发的水印技术,能将不可见的签名直接嵌入生物代码(氨基酸序列或原子坐标),确保水印不仅存在于数字模型中,也能在合成的物理蛋白上被验证。
推荐理由:DeepMind 推出 SynthID Bio,在保持蛋白质功能的前提下实现生物代码隐形水印,为 DNA 合成筛查与数据库完整性提供自动化验证信号。
香港大学MMLAB团队发布了PhysicalRSI 1.0(物理递归自进化)系统,旨在解决通用大模型在精密操作与多步任务中的控制难题。该系统通过System 2规划反思与System 1执行反馈的协同机制,实现Harness(工作程序)的自我改写与迭代。
推荐理由:港大团队提出自进化基线PhysicalRSI 1.0,在RoboDojo评测中成功率与分数均领先GPT-6 Astra等竞品。
深圳具身智能公司诺因智能宣布完成数亿元天使+++轮融资,本轮由京东相关基金领投,资金将重点投入扩充训练数据、提升GLOW泛化能力及推进KNOWIN-X1工程验证。该公司推出的通用具身智能生成式学习框架GLOW包含KnowinDream、KnowinWorld等模块,旨在实现感知生成执行闭环。至此诺因智能已完成共5轮融资,汇聚200余名高水平研发人才。
斯坦福大学与加州理工学院研究人员构建了名为 HomeBody 的系统,将 OpenAI 的 GPT-6 Astra 模型直接接入 Unitree G1 人形机器人,使其能在陌生厨房环境中自主导航、整理物品并从抽屉取物。
Skild 团队宣布其旗舰机器人基础模型 S1 在 NVIDIA Isaac Sim 中通过自我博弈(self-play)学会了踢球等灵巧动态任务,并在模拟运行约 140 年后成功将策略迁移至人形机器人完成比赛。该研究旨在证明物理自我博弈能推动机器人能力超越人类水平,团队正计划将该方法扩展至更多日常任务及大规模协作场景。
推荐理由:Skild 团队宣布 S1 基础模型通过仿真自我博弈掌握足球等高难度任务,并成功迁移至人形机器人。
上海人工智能实验室于2026年9月13日发布书生多模态大模型S2(书生-S2),重点提升长程科研与智能体能力。该模型通过Memory Decoder引入可插拔专业记忆,在不修改主参数下持续扩展领域知识;在IMO-Proof等数学基准上领先开源并达到Gemini 3.1 Pro水平。
推荐理由:上海AI实验室发布书生-S2,通过Memory Decoder实现专业知识持续扩展,在数学与科学任务上达到顶尖闭源水平。
Figure 推出 Helix 2.5,这是其构建的最先进神经网络,旨在解决机器人进入从未见过的家庭即可立即工作的难题。该模型在 Figure 的 Index 全球人类行为数据集上进行预训练,无需在评估环境中收集数据或微调,即可在 30 户未见的湾区家庭中完成整理房间、叠毛巾和铺床三项长周期任务。
推荐理由:Figure 推出 Helix 2.5,基于 Index 数据集实现零样本跨 30 户家庭的全身体自主能力。
NVIDIA Isaac Lab 3.0 Early Access 正式发布,确立了下一代机器人学习的架构基础,提供跨物理引擎(Newton、PhysX)、渲染器及可视化后端的统一任务 API。
推荐理由:NVIDIA Isaac Lab 3.0 Early Access 发布,提供跨物理引擎与渲染器的统一任务 API、零依赖执行及 Warp 原生数据路径。
上海人工智能实验室在2026浦江创新论坛期间正式发布书生科学多模态大模型S2和书生物理世界模型W0,全面开放书生·端砚科学发现平台全栈服务及本地客户端。书生-S2在长程科研与数学推理基准上表现优异;W0通过原生力触与双工协同支持机器人连续完成精密操作,已接入平台支撑干湿实验闭环。
推荐理由:上海AI实验室正式发布书生科学多模态大模型S2与书生物理世界模型W0,并开放端砚平台全栈服务及本地客户端。
NVIDIA Nemotron 3.5 Lightning 采用混合专家(MoE)架构,在 30B 总参数量下每 token 仅激活 3B 参数以兼顾容量。文章对比了 Dense 与 MoE 两种主流模型架构的主动参数组织方式及性能特征。内容重点解析了不同场景下选择 Dense 或 MoE 模型的依据,涵盖吞吐量分析与选型建议。
Agility Robotics 发布了新的人形机器人 Digit 5,其核心突破在于通过自主避让或坐下确保物理上不可能摔倒伤人,实现了无需物理屏障即可在人类附近工作。
推荐理由:文章分析了 Agility Robotics 发布的 Digit 5 人形机器人在安全性、续航与负载上的平衡,并披露了成本估算与服务定价模式。
Agility Robotics 发布了新一代人形机器人 Digit 5,宣称其能利用 AI 和传感器识别人员并在无需安全围栏的情况下与其协同工作。该型号负载提升至 22.7 kg,电池充电 9 分钟可提供 90 分钟续航,支持每日超过 20 小时的工作时长。
在2026浦江创新论坛上,上海人工智能实验室升级发布书生·端砚科学发现平台并全面开放全栈服务。该平台接入最新推出的书生科学多模态大模型S2和书生物理世界模型W0,旨在推动AI科研从单任务执行走向可持续、可核验、可复现的完整过程。
推荐理由:上海AI实验室升级发布书生·端砚平台,接入S2多模态大模型与W0物理世界模型,打通从假设提出到真实实验验证的闭环。
IBM Research 彭远李与彼得·斯塔尔在 OpenCV Live 225 聚焦从模型到工作流的转变,演示 Granite Vision 轻量级开源视觉语言模型如何配合 Docling 处理企业文档理解任务。该环节延续彭远李八月介绍 Granite Vision 的讨论,重点展示两者结合构建文档智能流程的具体实践路径。
上海人工智能实验室发布『书生』物理世界模型W0,旨在为大模型进入物理世界提供支撑。该模型原生融合视觉、力觉和触觉,采用双工协同架构实现输入输出并行处理,并通过异步异频设计让规划与实时行动解耦。
推荐理由:上海AI实验室发布『书生』物理世界模型W0,原生融合力触视觉并采用双工协同与异步异频架构,在双臂湿实验任务中实现93.12%成功率与超低延迟。
智元发布原生世界动作模型 GE-Act 2.0,提供首个关于原生世界动作模型可扩展预训练路径的系统性验证。该模型从随机初始化开始训练所有参数,在零样本评估中展现了随数据规模扩大(300 至 30,000 小时)而涌现的新能力与跨机器人本体的迁移效果。材料介绍了其控制导向自编码器、单步视觉规划及知识对齐选择性优化等架构设计,并指出其与 GE-Sim 共同构成世界模型框架。
推荐理由:智元发布原生世界动作模型 GE-Act 2.0,验证了训练数据规模扩大带来的能力涌现与跨本体迁移路径。
Skild AI 发布 S1 机器人基础模型,利用上下文学习技术从单个视频演示中理解并执行此前未见的新任务,无需更新权重或进行特定后训练。该模型在植物种植等长程多步操作中成功率提升七倍,仅需 11 分钟即可从录制演示过渡到硬件自主执行。
推荐理由:Skild AI 推出 S1 机器人基础模型,支持单视频演示学习新任务,无需重新训练即可执行长达 10 分钟的复杂操作。
NVIDIA 推出面向 Robotaxi 的全栈开放平台,整合了 DGX 训练计算机、Omniverse/Cosmos 仿真验证计算机及 Hyperion 车端计算架构。
推荐理由:NVIDIA 推出全栈开放平台,提供 Alpamayo VLA 推理模型、Cosmos 世界基础模型及 Omniverse 仿真工具链,支持从训练到车端部署的闭环开发。