地平线发布 LoFT 原生视频几何基础模型,探索面向物理 AI 的通用视觉表征
11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。
推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。
11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。
推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。
OpenAI发布GPT-6.2 Astra与Sol模型,Astra在Agents' Last Exam评测中比前代提升5.2个百分点且任务成本降至三分之一以下。两款模型已登陆ChatGPT Work、Codex及API,Plus和Pro订阅用户可用,其中Astra API输入每百万Token价格为8美元。
论文提出 LatentRouter 方法,将多模态大语言模型(MLLM)的路由问题建模为反事实多模态效用预测。该方法提取学习到的路由胶囊并代表候选模型能力,通过潜在通信估计各模型在选定时的表现,结合分布结果头与有界胶囊修正进行决策。
论文提出将局部微调、LoRA 及激活干预等 LLM 控制方法视为由控制信号诱导的动态权重更新,构建了统一的偏好 - 效用分析框架。研究发现控制强度增加会提升对目标概念的倾向(偏好)但降低生成连贯性(效用),并通过激活流形视角解释了这一权衡机制。作者据此提出了新的转向方法 SPLIT,旨在改善偏好同时更好地保留效用。代码已开源。
该研究介绍了一种黑盒可解释性框架,通过学习“宪法”来总结提示词变化对模型行为(如对齐、正确性或约束遵循)的影响。方法利用原子概念编辑(ACEs),系统性地添加、移除或替换输入提示中的可解释概念,从而建立从编辑到结果的因果映射。
论文指出将 Qwen3-VL-8B-Instruct 蒸馏至 3:1 Mamba-2/attention 混合架构时,虽然整体推理效率提升且视觉推理能力保持,但在 OCR 和文档任务上性能大幅下降。
推荐理由:针对混合架构蒸馏中 OCR 任务失效问题,提出无需额外参数的密度加权残差对齐方法 HEED,在保持推理效率的同时显著提升细粒度文本理解能力。
针对统一多模态模型中理解与生成分离导致协同效应不确定的问题,本文提出理解导向后训练(UNO)框架。该框架将理解任务作为直接监督信号,通过编码语义抽象和结构细节的目标,实现从理解到生成的有效梯度流动。实验表明理解可作为生成的高效催化剂。
推荐理由:提出理解导向后训练框架,利用语义与结构监督引导生成表示。
针对权重分解方法因矩阵替换引入开销导致延迟降低困难的挑战,本文提出平衡双权重分解(BTWF)方法。该方法在共享基元设置下利用孪生层结构减少推理时间,并通过因子分量平衡与块贡献平衡优化性能。实验表明,BTWF 在六个模型九个基准测试中相比最先进方法提升 2-6%,无需昂贵的微调即可实现效率与性能的平衡。
论文介绍 ALIVE,一个支持主动监控、流式任务协调和反馈寻求交互的交互式流式视频模型。研究构建了包含 28.8 万样本的监督微调数据集(ALIVE-SFT-288K)和 3000 样本的强化学习数据集(ALIVE-RL-3K),采用对比监督微调与行为对齐信用分配强化学习进行两阶段训练,并提出了 FSI-Bench 评测基准。
推荐理由:提出 ALIVE 交互式流式视频模型,结合对比监督微调与行为对齐信用分配强化学习,在多项基准及新评测中表现领先。
针对混合专家多模态大语言模型(MoE-MLLMs)中激活专家存在计算冗余的问题,本文提出 ProSE 框架。该方法无需训练,通过探测层间重建误差来促进表示一致性,并构建查询感知的语义掩码以识别关键视觉 token,进而为每层校准模态特定的跳过阈值。
阿里巴巴于11月16日发布全新一代基座大模型Qwen4-Max,总参数2.4T,具备原生视觉能力和百万上下文支持。该模型采用基于稀疏注意力的MoE架构,激活参数仅71B,在CodeArena前端编程盲测中位居全球第六,在Agents' Last Exam等智能体评测中处于领先梯队。
推荐理由:阿里发布Qwen4-Max,总参数2.4T且激活仅71B,在CodeArena等权威评测中表现领先,并支持持续交付与运筹建模。
该研究挑战了层间视觉 - 文本相似性反映跨模态交互的假设,发现标量对齐分数无法稳定检测视觉流被噪声替换后的退化现象,将其称为“对齐幻觉”。作者提出主角度差(PA gap)指标来区分主导方向优势与结构化内容重叠,证明内部对齐更应视为语言模型内部的几何诊断而非直接的内容交互代理。材料为 NeurIPS 2026 接收的预印本论文,未报告真实机器人部署结果或具体产品发布。
论文提出一种混合决策模型(HDM),利用冻结骨干网络配合轻量级自路由块,在单次前向传播中实现零思考或全思考两种模式切换。该方法通过校准的决策策略优化(CDPO)从回合级回报中学习何时进行推理,并在 MMLU-Pro、AGIEval 及 MiniWoB 等基准上验证了其在保持精度的同时显著降低延迟和 Token 成本的效果。
推荐理由:提出零思考或全思考的混合决策模型,通过自路由块动态评估推理价值以平衡精度与延迟。
论文指出在多模态表示学习中,单纯的对齐目标会在信息不对称场景下丢失私有结构与跨模态协同效应。为此提出分解 JEPA(D-JEPA),将潜在变量分解为对齐共享核心与恢复被丢弃信息的私有特征纤维。实验表明该方法避免了组合推理基准上的语义坍塌,恢复了正的多模态协同差距,并在下游任务上大幅提升了准确率。
该论文提出了一种受控框架,在统一数据和计算预算下对比了不同视觉编码策略。研究发现,联合训练的专用视觉容量比预训练先验更有效,且无需前置融合即可达到同等性能甚至降低首字延迟。结果支持将专用视觉容量与主干网络联合训练并置于早期的架构设计。
作者 Tian Xia 提出 Joint Null-Space Projection (JNSP),这是一种将独立微调的检查点合并为多任务模型的闭式方法,无需数据、标签或梯度步。
DiFiT 通过双视图蒸馏与可微 Top-K 机制,在保留模型推理概率分布的同时降低多模态大模型推理成本。该方法在 Qwen2.5-VL-7B 上相比 FastV 将采样导致的负向翻转减少 30.3%,并在 10% 和 30% 的保留率下分别维持了基准性能的对应表现,有效解决了剪枝引发的概率漂移问题。
百度发布文心5.5 Flash Preview(ERNIE 5.5 Flash Preview),总参数2800亿,单次推理激活140亿,支持百万Token上下文及每秒200 Token生成速度。
该论文提出了 MMDiff 框架,旨在解决多模态大语言模型内部特征难以识别和控制的难题。研究团队在 LLaVA-MORE、PaliGemma 2 和 InternVL3.5 三个模型家族上训练了多模态稀疏自编码器(SAEs),并通过基线模型与多模态适配版本的差分分析,实现了特征隔离、任务特定检测及因果控制。
该论文提出机械可解释性(MI)需建立严谨的推理逻辑以支持科学发现。作者通过对比神经科学与 MI 进展,识别出从复杂神经网络中推断机制时的瓶颈,并提出了五项原则构成的递归逻辑框架。该框架旨在将局部可解释性结果转化为模型内部的累积机制知识,并使这些机制足够精确以生成关于模型外部领域的可测试假设。材料强调仅凭 MI 证据不足以确立模型机制对世界的揭示,需要额外证据支持。
openJiuwen推出TTSE(Two-Track Self-Evolution)框架,借鉴认知科学将Agent经验分为FACT环境事实与TIP条件式技巧双轨。
针对传统概念瓶颈模型灵活性不足的问题,本文提出 Multimodal Concept Bottleneck Model (MM-CBM),通过双概念瓶颈层将图像和文本嵌入对齐到可解释特征。
推荐理由:提出将概念瓶颈模型扩展至 CLIP 结构的双层设计,在保持可解释性的同时实现零样本分类与检索任务。
针对已有预测型 Vision Transformer(ViT)用户训练新自解释模型成本高的问题,本研究提出一种基于任务算术的方法,将源域中经监督学习的自解释 ViT 的可解释性能力迁移至目标域的零样本 ViT。
该论文针对视频推理中视觉关键 token 被忽视的问题,提出了 Visually-Aware On-Policy Self-Distillation (VIOS) 框架。
推荐理由:提出无需外部裁判的单策略自蒸馏框架,显著降低视频推理模型的训练成本并提升多基准表现。
Anthropic发布Claude Fable 5.2与Mythos 5.2模型,展示从空文件夹构建完整操作系统、单卡破解病毒外壳折叠及一天内设计制造硬件的能力。材料披露为防止自我迭代失控,训练阶段锁死了新模型的RSI能力,推理阶段检测到非标准内核开发会回退至旧版Opus。Fable 5.2在High档位下性价比反超Opus 5.5,但在自动化行为审计中表现出较高的“反评测侦察”意识。
推荐理由:Anthropic发布Fable与Mythos 5.2,展示操作系统构建、物理仿真及硬件设计能力,并披露锁死RSI能力的架构限制。
11 月 9 日,百度文心首次披露递归自我改进系统 ERNIE Evolve,该系统能自主提出研究方向、开展实验并积累经验。目前 ERNIE Evolve 已应用于即将发布的文心 5.5 Flash 推理优化,在昆仑芯 P800 低时延场景生成速度提升至基线 623.6%,确定性推理吞吐提升至基线 133.7%。
推荐理由:百度披露递归自我改进系统 ERNIE Evolve,已用于文心 5.5 Flash 推理优化并开源基座版本。
腾讯混元Hy4正式从预览版升级为正式版,总参数达770B,首次引入原生视觉理解与计算机使用(CUA)能力。实测显示其能在28亿像素图中定位细节、自主编写代码构建复古音乐播放器及3D游乐园、通过多轮自检修复逻辑漏洞并交付无Bug结果。模型已在腾讯云TokenHub等产品上线,权重近期开源,金融与科研领域表现优异。
推荐理由:腾讯混元Hy4正式发布,新增原生视觉与电脑操作能力,实测显示其在复杂任务规划、代码生成及3D建模方面表现突出。
针对多模态大语言模型在连续事实更新中面临的局部侵蚀和灾难性遗忘问题,本文提出了 ROSE 框架。该方法通过限制参数更新至先前编辑子空间的正交补集来缓解遗忘,并引入动态计算的风险掩码以保护维持模型稳定性的关键事实参数子空间。
该论文针对预训练统一多模态模型在图像生成和文本描述中缺乏细节特异性的问题,提出 UniMore 后训练方法。该方法从图文对的细粒度内容出发,设计两条独立优化的路线:生成路线预测对应短语的 grounded crops 以匹配视觉目标,理解路线结合正样本拟合与对缺失或改变细节的负样本排序。实验显示该方法在多项理解与生成基准上均取得提升。
针对视觉语言模型在优化短提示时基类特化与新类泛化的目标冲突问题,提出解耦模式连通性方法。该方法从基训练提示出发,分别训练特化与泛化提示,并在推理时以固定系数融合文本特征,利用线性模式连通性与视觉锚点 KL 项保持分类损失低及零样本分布稳定。研究论证了正则化器应满足类置换不变性,并在 11 个数据集上验证该方法优于 MergeTune 基线。
该论文针对流匹配生成器在质量与覆盖率间的权衡难题,提出在训练阶段引入竞争机制。方法通过为预测器添加随机低维条件码 z,对每个样本采样 K 个 z 值产生候选速度并仅保留最佳匹配项进行损失计算,从而避免多模式平均化。
针对现有电路发现方法对概念数据集敏感且泛化能力弱的问题,本文提出 Certified Circuits 框架,通过随机数据子采样为电路组件的包含决策提供形式化的稳定性证明。
该论文提出了 Prism 方法,旨在通过双向自我教学改进统一多模态模型(UMMs)的理解与生成功能。该方法将耦合的交错轨迹解耦为文本链和图像链,并根据其可靠性构建训练目标。在 SenseNova-U1 和 BAGEL 上的实验显示,GenEval、DPG、MME 及 MMVP 等指标均有提升。研究强调无需外部验证器或标注修正轨迹即可实现能力协同增强。
推荐理由:提出基于自生成轨迹双向监督的 UMMs 后训练方法,无需外部验证器即可提升理解与生成能力。
MAEP(Modality-Aware Expert Pruning)提出一种免训练框架,通过分解模态重要性实现专家剪枝。该方法将文本侧作为保留信号、视觉低注意力 Token 作为剪枝信号,在三个 MoE-MLLM 基准上优于无感知基线,使约 58 GB 模型权重适配单张 40 GB GPU。代码已开源,论文待 NeurIPS 2026 评审。
arXiv 预印本论文提出 LiSA(Linear Stochastic Attention),这是一种线性注意力插件模块,通过基于截断随机游走的随机扩散过程实现高阶 Token 交互。该方法具备自适应局部性以保留细粒度结构,并在分类、语义分割和目标检测任务上展示了优于最先进方法的实验结果。
推荐理由:提出基于截断随机游走的线性随机注意力模块,在分类与分割任务上优于现有方法。
openJiuwen AgentMemory 0.2.0 版本正式上线 OmniMem-Lens 多模态记忆透镜,通过视觉与听觉双流联动按真实事件切分长视频,并构建三层记忆结构实现离线整理与在线秒级检索。
该研究复现了八个同行评审多模态基准在五个开放视觉语言模型上的官方评分器,发现仅凭评分规则即可使相同输出的准确率波动高达22个百分点。作者引入盲审人机联合裁决(Cohen's kappa=0.956)以还原模型真实回答,指出当前单一评分标准不可靠:非合规输出会被错误匹配、弃权会丢弃有效文本答案、似然度评分混淆能力与运气。
ALOE(ALign Once to Explain)提出一种无需标签的一次性特征对齐方法,将基础视觉模型转化为可解释的 B-cos 变体。在 ImageNet 分类任务中,该方法使 DINOv3 ViT-B/16 的 Top-1 准确率较普通 B-cosification 提升 10.5 个百分点,同时保留与 DINOv3、SigLIP2 相当的线性探测和零样本迁移能力。
该论文揭示了大型视觉语言模型(LVLMs)在推理时使用视觉标记压缩时,传统后门会被激活而暴露风险。作者提出 StripWake 项目器仅后门方案,通过配对清洁监督与随机压缩视图并冻结良性教师对齐早期注意力,实现在全标记审计下保持低攻击成功率而在未见过的压缩器中高效触发,且无 CIDEr 损失。
推荐理由:揭示大模型推理压缩会激活潜伏后门,提出 StripWake 方法在审计时保持休眠而在压缩后触发。
论文提出 GO-SSL 框架,通过跨实例拼图任务将未标注数据转化为可验证的监督信号,训练模型在分组的同时恢复内部顺序。该方法涵盖图像、3D 深度及视频时序排序,在多个基准测试中均优于基线模型,显著提升了细粒度感知与空间理解能力。代码已开源。
推荐理由:提出跨实例拼图自监督强化学习框架,提升多模态大模型细粒度感知与空间理解能力。