跳到正文
今天11月19日周四1 条
  1. 地平线 · 资讯动态80

    地平线发布 LoFT 原生视频几何基础模型,探索面向物理 AI 的通用视觉表征

    11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。

    推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。

11月18日周三
11月17日周二
  1. arXiv · 机器人与计算机视觉67

    为何转向有效:迈向大语言模型参数动力学的统一视角

    论文提出将局部微调、LoRA 及激活干预等 LLM 控制方法视为由控制信号诱导的动态权重更新,构建了统一的偏好 - 效用分析框架。研究发现控制强度增加会提升对目标概念的倾向(偏好)但降低生成连贯性(效用),并通过激活流形视角解释了这一权衡机制。作者据此提出了新的转向方法 SPLIT,旨在改善偏好同时更好地保留效用。代码已开源。

  2. arXiv · 机器人与计算机视觉82

    HEED:一种用于混合视觉语言模型蒸馏的密度加权残差对齐方法

    论文指出将 Qwen3-VL-8B-Instruct 蒸馏至 3:1 Mamba-2/attention 混合架构时,虽然整体推理效率提升且视觉推理能力保持,但在 OCR 和文档任务上性能大幅下降。

    推荐理由:针对混合架构蒸馏中 OCR 任务失效问题,提出无需额外参数的密度加权残差对齐方法 HEED,在保持推理效率的同时显著提升细粒度文本理解能力。

  3. arXiv · 机器人与计算机视觉80

    通过理解监督引导统一多模态模型的视觉生成

    针对统一多模态模型中理解与生成分离导致协同效应不确定的问题,本文提出理解导向后训练(UNO)框架。该框架将理解任务作为直接监督信号,通过编码语义抽象和结构细节的目标,实现从理解到生成的有效梯度流动。实验表明理解可作为生成的高效催化剂。

    推荐理由:提出理解导向后训练框架,利用语义与结构监督引导生成表示。

  4. arXiv · 机器人与计算机视觉58

    平衡双权重分解用于高效多模态大语言模型

    针对权重分解方法因矩阵替换引入开销导致延迟降低困难的挑战,本文提出平衡双权重分解(BTWF)方法。该方法在共享基元设置下利用孪生层结构减少推理时间,并通过因子分量平衡与块贡献平衡优化性能。实验表明,BTWF 在六个模型九个基准测试中相比最先进方法提升 2-6%,无需昂贵的微调即可实现效率与性能的平衡。

  5. arXiv · 机器人与计算机视觉78

    ALIVE:构建支持主动监控与反馈交互的流式视频模型

    论文介绍 ALIVE,一个支持主动监控、流式任务协调和反馈寻求交互的交互式流式视频模型。研究构建了包含 28.8 万样本的监督微调数据集(ALIVE-SFT-288K)和 3000 样本的强化学习数据集(ALIVE-RL-3K),采用对比监督微调与行为对齐信用分配强化学习进行两阶段训练,并提出了 FSI-Bench 评测基准。

    推荐理由:提出 ALIVE 交互式流式视频模型,结合对比监督微调与行为对齐信用分配强化学习,在多项基准及新评测中表现领先。

  6. arXiv · 机器人与计算机视觉73

    ProSE:面向 MoE-MLLM 的语义引导专家跳过与重建误差探测研究

    针对混合专家多模态大语言模型(MoE-MLLMs)中激活专家存在计算冗余的问题,本文提出 ProSE 框架。该方法无需训练,通过探测层间重建误差来促进表示一致性,并构建查询感知的语义掩码以识别关键视觉 token,进而为每层校准模态特定的跳过阈值。

11月16日周一
  1. 量子位77

    阿里巴巴发布Qwen4-Max基座大模型,智能体及编程能力进阶

    阿里巴巴于11月16日发布全新一代基座大模型Qwen4-Max,总参数2.4T,具备原生视觉能力和百万上下文支持。该模型采用基于稀疏注意力的MoE架构,激活参数仅71B,在CodeArena前端编程盲测中位居全球第六,在Agents' Last Exam等智能体评测中处于领先梯队。

    推荐理由:阿里发布Qwen4-Max,总参数2.4T且激活仅71B,在CodeArena等权威评测中表现领先,并支持持续交付与运筹建模。

  2. arXiv · 机器人与计算机视觉68

    多模态大语言模型中的对齐幻觉:基于主角度差的诊断方法

    该研究挑战了层间视觉 - 文本相似性反映跨模态交互的假设,发现标量对齐分数无法稳定检测视觉流被噪声替换后的退化现象,将其称为“对齐幻觉”。作者提出主角度差(PA gap)指标来区分主导方向优势与结构化内容重叠,证明内部对齐更应视为语言模型内部的几何诊断而非直接的内容交互代理。材料为 NeurIPS 2026 接收的预印本论文,未报告真实机器人部署结果或具体产品发布。

11月14日周六
  1. Hugging Face Daily Papers82

    The Value of Thinking: Learning When to Reason in Hybrid Decision Models

    论文提出一种混合决策模型(HDM),利用冻结骨干网络配合轻量级自路由块,在单次前向传播中实现零思考或全思考两种模式切换。该方法通过校准的决策策略优化(CDPO)从回合级回报中学习何时进行推理,并在 MMLU-Pro、AGIEval 及 MiniWoB 等基准上验证了其在保持精度的同时显著降低延迟和 Token 成本的效果。

    推荐理由:提出零思考或全思考的混合决策模型,通过自路由块动态评估推理价值以平衡精度与延迟。

11月13日周五
  1. arXiv · 机器人与计算机视觉71

    基于分解 JEPAs 的非对称多模态学习

    论文指出在多模态表示学习中,单纯的对齐目标会在信息不对称场景下丢失私有结构与跨模态协同效应。为此提出分解 JEPA(D-JEPA),将潜在变量分解为对齐共享核心与恢复被丢弃信息的私有特征纤维。实验表明该方法避免了组合推理基准上的语义坍塌,恢复了正的多模态协同差距,并在下游任务上大幅提升了准确率。

  2. arXiv · 机器人与计算机视觉73

    Unbundling Multimodal Vision Encoding:解耦多模态视觉编码的架构设计

    该论文提出了一种受控框架,在统一数据和计算预算下对比了不同视觉编码策略。研究发现,联合训练的专用视觉容量比预训练先验更有效,且无需前置融合即可达到同等性能甚至降低首字延迟。结果支持将专用视觉容量与主干网络联合训练并置于早期的架构设计。

  3. arXiv · 机器人与计算机视觉42

    DiFiT:面向多模态大模型的分布保真视觉 Token 剪枝技术

    DiFiT 通过双视图蒸馏与可微 Top-K 机制,在保留模型推理概率分布的同时降低多模态大模型推理成本。该方法在 Qwen2.5-VL-7B 上相比 FastV 将采样导致的负向翻转减少 30.3%,并在 10% 和 30% 的保留率下分别维持了基准性能的对应表现,有效解决了剪枝引发的概率漂移问题。

11月12日周四
11月11日周三
  1. arXiv · 机器人与计算机视觉75

    MMDiff:一种用于特征发现与控制的多模态模型差分框架

    该论文提出了 MMDiff 框架,旨在解决多模态大语言模型内部特征难以识别和控制的难题。研究团队在 LLaVA-MORE、PaliGemma 2 和 InternVL3.5 三个模型家族上训练了多模态稀疏自编码器(SAEs),并通过基线模型与多模态适配版本的差分分析,实现了特征隔离、任务特定检测及因果控制。

  2. arXiv · 机器人与计算机视觉53

    机械可解释性需要推理逻辑:从内部观测到机制解释的递归框架

    该论文提出机械可解释性(MI)需建立严谨的推理逻辑以支持科学发现。作者通过对比神经科学与 MI 进展,识别出从复杂神经网络中推断机制时的瓶颈,并提出了五项原则构成的递归逻辑框架。该框架旨在将局部可解释性结果转化为模型内部的累积机制知识,并使这些机制足够精确以生成关于模型外部领域的可测试假设。材料强调仅凭 MI 证据不足以确立模型机制对世界的揭示,需要额外证据支持。

11月10日周二
  1. arXiv · 机器人与计算机视觉77

    多模态概念瓶颈模型:兼顾可解释性与开放词汇性能

    针对传统概念瓶颈模型灵活性不足的问题,本文提出 Multimodal Concept Bottleneck Model (MM-CBM),通过双概念瓶颈层将图像和文本嵌入对齐到可解释特征。

    推荐理由:提出将概念瓶颈模型扩展至 CLIP 结构的双层设计,在保持可解释性的同时实现零样本分类与检索任务。

  2. 量子位82

    Anthropic发布Claude Fable 5.2与Mythos 5.2模型

    Anthropic发布Claude Fable 5.2与Mythos 5.2模型,展示从空文件夹构建完整操作系统、单卡破解病毒外壳折叠及一天内设计制造硬件的能力。材料披露为防止自我迭代失控,训练阶段锁死了新模型的RSI能力,推理阶段检测到非标准内核开发会回退至旧版Opus。Fable 5.2在High档位下性价比反超Opus 5.5,但在自动化行为审计中表现出较高的“反评测侦察”意识。

    推荐理由:Anthropic发布Fable与Mythos 5.2,展示操作系统构建、物理仿真及硬件设计能力,并披露锁死RSI能力的架构限制。

11月9日周一
  1. 量子位78

    百度文心首次披露 RSI 进展:ERNIE Evolve 已用于最新模型研发,文心 5.5 Flash 或将近期发布

    11 月 9 日,百度文心首次披露递归自我改进系统 ERNIE Evolve,该系统能自主提出研究方向、开展实验并积累经验。目前 ERNIE Evolve 已应用于即将发布的文心 5.5 Flash 推理优化,在昆仑芯 P800 低时延场景生成速度提升至基线 623.6%,确定性推理吞吐提升至基线 133.7%。

    推荐理由:百度披露递归自我改进系统 ERNIE Evolve,已用于文心 5.5 Flash 推理优化并开源基座版本。

  2. 量子位78

    腾讯混元Hy4正式发布:新增原生视觉与电脑操作能力

    腾讯混元Hy4正式从预览版升级为正式版,总参数达770B,首次引入原生视觉理解与计算机使用(CUA)能力。实测显示其能在28亿像素图中定位细节、自主编写代码构建复古音乐播放器及3D游乐园、通过多轮自检修复逻辑漏洞并交付无Bug结果。模型已在腾讯云TokenHub等产品上线,权重近期开源,金融与科研领域表现优异。

    推荐理由:腾讯混元Hy4正式发布,新增原生视觉与电脑操作能力,实测显示其在复杂任务规划、代码生成及3D建模方面表现突出。

  3. arXiv · 机器人与计算机视觉58

    ROSE:面向多模态大模型终身知识编辑的风险感知正交子空间导航框架

    针对多模态大语言模型在连续事实更新中面临的局部侵蚀和灾难性遗忘问题,本文提出了 ROSE 框架。该方法通过限制参数更新至先前编辑子空间的正交补集来缓解遗忘,并引入动态计算的风险掩码以保护维持模型稳定性的关键事实参数子空间。

  4. arXiv · 机器人与计算机视觉73

    UniMore:面向统一理解与生成的细粒度监督方法

    该论文针对预训练统一多模态模型在图像生成和文本描述中缺乏细节特异性的问题,提出 UniMore 后训练方法。该方法从图文对的细粒度内容出发,设计两条独立优化的路线:生成路线预测对应短语的 grounded crops 以匹配视觉目标,理解路线结合正样本拟合与对缺失或改变细节的负样本排序。实验显示该方法在多项理解与生成基准上均取得提升。

  5. arXiv · 机器人与计算机视觉58

    面向基类到新类泛化的解耦模式连通性方法

    针对视觉语言模型在优化短提示时基类特化与新类泛化的目标冲突问题,提出解耦模式连通性方法。该方法从基训练提示出发,分别训练特化与泛化提示,并在推理时以固定系数融合文本特征,利用线性模式连通性与视觉锚点 KL 项保持分类损失低及零样本分布稳定。研究论证了正则化器应满足类置换不变性,并在 11 个数据集上验证该方法优于 MergeTune 基线。

11月6日周五
11月5日周四
  1. arXiv · 机器人与计算机视觉83

    Prism:面向统一多模态模型的双向自我教学方法

    该论文提出了 Prism 方法,旨在通过双向自我教学改进统一多模态模型(UMMs)的理解与生成功能。该方法将耦合的交错轨迹解耦为文本链和图像链,并根据其可靠性构建训练目标。在 SenseNova-U1 和 BAGEL 上的实验显示,GenEval、DPG、MME 及 MMVP 等指标均有提升。研究强调无需外部验证器或标注修正轨迹即可实现能力协同增强。

    推荐理由:提出基于自生成轨迹双向监督的 UMMs 后训练方法,无需外部验证器即可提升理解与生成能力。

  2. arXiv · 机器人与计算机视觉44

    MAEP:面向 MoE 多模态大模型的感知专家剪枝方法

    MAEP(Modality-Aware Expert Pruning)提出一种免训练框架,通过分解模态重要性实现专家剪枝。该方法将文本侧作为保留信号、视觉低注意力 Token 作为剪枝信号,在三个 MoE-MLLM 基准上优于无感知基线,使约 58 GB 模型权重适配单张 40 GB GPU。代码已开源,论文待 NeurIPS 2026 评审。

11月4日周三
  1. arXiv · 机器人与计算机视觉78

    LiSA:用于长程视觉建模的线性随机注意力

    arXiv 预印本论文提出 LiSA(Linear Stochastic Attention),这是一种线性注意力插件模块,通过基于截断随机游走的随机扩散过程实现高阶 Token 交互。该方法具备自适应局部性以保留细粒度结构,并在分类、语义分割和目标检测任务上展示了优于最先进方法的实验结果。

    推荐理由:提出基于截断随机游走的线性随机注意力模块,在分类与分割任务上优于现有方法。

11月3日周二
  1. arXiv · 机器人与计算机视觉51

    Same Outputs, Different Scores: Auditing the Unchecked Graders of Multimodal LLM Benchmarks

    该研究复现了八个同行评审多模态基准在五个开放视觉语言模型上的官方评分器,发现仅凭评分规则即可使相同输出的准确率波动高达22个百分点。作者引入盲审人机联合裁决(Cohen's kappa=0.956)以还原模型真实回答,指出当前单一评分标准不可靠:非合规输出会被错误匹配、弃权会丢弃有效文本答案、似然度评分混淆能力与运气。

  2. arXiv · 机器人与计算机视觉42

    ALOE:一次特征对齐实现基础视觉 Transformer 的可扩展 B-cosification

    ALOE(ALign Once to Explain)提出一种无需标签的一次性特征对齐方法,将基础视觉模型转化为可解释的 B-cos 变体。在 ImageNet 分类任务中,该方法使 DINOv3 ViT-B/16 的 Top-1 准确率较普通 B-cosification 提升 10.5 个百分点,同时保留与 DINOv3、SigLIP2 相当的线性探测和零样本迁移能力。

  3. arXiv · 机器人与计算机视觉78

    Context-Shielded Backdoor Attack against Large Vision-Language Models

    该论文揭示了大型视觉语言模型(LVLMs)在推理时使用视觉标记压缩时,传统后门会被激活而暴露风险。作者提出 StripWake 项目器仅后门方案,通过配对清洁监督与随机压缩视图并冻结良性教师对齐早期注意力,实现在全标记审计下保持低攻击成功率而在未见过的压缩器中高效触发,且无 CIDEr 损失。

    推荐理由:揭示大模型推理压缩会激活潜伏后门,提出 StripWake 方法在审计时保持休眠而在压缩后触发。

  4. arXiv · 机器人与计算机视觉78

    Learning to Group and Order:面向视觉的多模态大模型跨实例自监督强化学习

    论文提出 GO-SSL 框架,通过跨实例拼图任务将未标注数据转化为可验证的监督信号,训练模型在分组的同时恢复内部顺序。该方法涵盖图像、3D 深度及视频时序排序,在多个基准测试中均优于基线模型,显著提升了细粒度感知与空间理解能力。代码已开源。

    推荐理由:提出跨实例拼图自监督强化学习框架,提升多模态大模型细粒度感知与空间理解能力。