地平线发布 LoFT 原生视频几何基础模型,探索面向物理 AI 的通用视觉表征
11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。
推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。
11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。
推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。
本文提出 EMRD 评估框架,将视觉语言模型(VLM)的时空推理解耦为探索、建图、记忆和决策四阶段,并在 16 栋建筑及三种环境压力下评测了 11 个 VLM。结果显示,无外部记忆的开放权重模型在 95% 的回合中未访问房间且物体检测率不超过 51%,且其选择受语义先验影响显著;运动噪声、黑暗和烟雾分别导致位置误差增加、建图召回下降及可见物体减少。
该研究提出一种物理感知的双 LTC 架构,将跌倒重构为耦合动力学系统中的失稳事件。模型在仅约 50K 参数下实现低功耗边缘设备实时推理,但在两分类数据集上的验证后,作者因术语不准确于 2026 年 11 月 17 日撤回论文。
针对 3D Gaussian Splatting 因输入图像包含传感器缺陷、环境遮挡或数字叠加层等屏幕空间伪影而导致的重建质量下降问题,本文提出 SSA-3DGS 框架。
针对 pinned 蝴蝶标本难以数字化的小尺寸、脆弱性及腹面拍摄难题,该研究提出无需三脚架的手持对焦堆叠与非接触首表面镜系统。结合免分割的镜面感知 3D Gaussian Splatting 扩展,该方法在九种多样标本上验证了全方向查看的光真实感重建效果。
该方法基于扩散 Transformer,通过坐标变换旋转嵌入机制与分离注意力掩码,在无需像素扭曲下精准控制频率、方向和平铺模式。实验显示其在控制精度和纹理保真度上均优于现有最先进基线,且能保持场景原始光照与几何结构。代码与数据集已公开访问。
TableVista 是一个包含 3,000 个高质量问题、经渲染扩展为 30,000 个样本的多模态表格推理基准。研究对 29 种开源及专有基础模型进行评测,发现其在复杂结构布局和纯视觉设置下表现显著下降。该结果揭示了当前多模态模型在结合结构复杂度与视觉呈现时难以保持推理一致性的关键差距。
针对现有基准无法有效评估多行手写数学转录的问题,本文揭示了视觉语言模型(VLM)倾向于“修正”而非忠实转录学生作业的过度修正失效模式。作者提出 PINK 指标,利用大语言模型进行基于评分标准的打分并明确惩罚过度修正行为。
针对深度学习在科学和医学成像中的幻觉难以定位问题,本文提出 QUTCC 方法,利用 U-Net 架构学习全条件分位数分布,实现非线性的空间自适应 conformal 校准。
针对异质采集条件下的低剂量 CT 成像挑战,该方法利用正弦图共轭对称性合成噪声多样化数据对,实现了无需外部监督的自监督网络训练。该轻量级去噪网络在低剂量仿真、临床螺旋 CT 及预临床光子计数 CT 数据集上均展现出强大的泛化能力与竞争性性能。代码已公开,为结合物理冗余的学习型图像重建提供了通用且高效的数据范式。
研究利用扩散模型生成合成训练数据,以解决标注超声数据集成本高昂的问题。在 CAMUS 和 CardiacUDC 数据集上,结合抽象令牌与分割掩码的条件生成将 FID 降至 1.5,使 ResNet-18 分类准确率从 83.8% 提升至 87.2%,并将 U-Net 分割 Dice 系数最高提至 87.6%。
Matisse 是一种无需训练的框架,通过利用预训练生成式 3D 模型提供的证据,统一了主动重建与关键帧选择任务。该方法估计证据不确定性并推导证据信息增益,以指导视图获取和关键帧选择。在 GSO30、YCB-V 和 Replica 数据集上,Matisse 相对于最佳基线分别将 Chamfer 距离降低了 12.7%、3.8% 和 9.2%,并在 GSO30 上实现了 1.5 倍的整体加速。
推荐理由:该工作提出无需训练的框架,利用预训练生成式 3D 模型的证据来指导主动重建与关键帧选择。
针对现有方法过度依赖声学韵律而忽视文本语义的问题,该研究提出一种可靠性感知语义 - 节奏控制框架。通过双分支语义贡献估计机制及噪声条件特征调制,在基准数据集上实现了语义表达、节奏同步、运动多样性与鲁棒性的良好平衡。
SkillPE 提出一种通过参考引导探索系统演化可复用电影化技能的创意导向提示增强框架。该框架基于专家知识初始化并标准化 20 个结构化种子技能,利用共鸣者、不协和音及发散者三类电影参考分别优化技能适用性、执行效果及激发替代实现方案。在 StoryEval 和 VBench 上的实验显示,其四维评估量表得分较种子技能最高提升 1.10 分,强于最强外部基线 1.02 分。
该论文指出将浅层编码器层融合进表征自编码器(RAE)虽能锐化像素重构但会损害扩散生成,传统归因于潜在内容本身,实则源于编码器 - 解码器界面的几何失配。作者提出冻结基础编码器以保留丰富视觉信息,同时正则化解码器以平抑其对潜在变化的敏感性,并将扩散坐标与冻结解码器的度量在相同干净重构处对齐。
当前音频 - 视觉大语言模型在处理多说话人对话视频时难以解决“谁说了什么”的问题,这要求模型具备文本、音频和视觉的三模态绑定能力。该研究揭示了利用模态特定符号变量(如时间序列和空间坐标)在抽象空间中建立跨模态链接的机制,并发现绑定失败主要源于音画连接错位。
推荐理由:针对多说话人视频中的指代消解难题,提出利用现成主动说话人检测模型进行无训练提示的方法,显著提升了跨模态绑定性能。
该研究提出 Explanation-Driven Counterfactual Testing (EDCT) 协议,通过提取模型解释中的视觉概念并进行验证后的最小编辑,测试回答与解释是否仍与修改后的图像一致。作者构建了涵盖知识密集型问答、安全关键驾驶和三维空间推理三个领域的 EDCT-Bench 基准。评估显示现有 VLM 存在显著的忠实度缺口,且基于此生成的对抗样本可作为高效的微调训练信号。
DroneGround 框架通过 Unreal Engine 5 和 Cosys-AirSim 生成合成数据集,结合 YOLO26s 检测器与 LoRA 微调的 PaliGemma 模型,将无人机载荷 F1 分数从 82.5% 提升至 96.3%,未见类别识别率达 80.4%。该方案有效缓解仿真到现实分布偏移问题,显著优于传统闭集检测方法。数据集与代码将在收到请求后发布。
arXiv 论文 WALDO 提出一种无需针对每个物体单独训练的实例检测方法。该方法将冻结的自监督图像特征(DINOv3)与视频世界模型特征(V-JEPA 2.1)进行融合,利用轻量级条件头在杂乱真实场景中定位特定物体实例。研究指出,通过模型图像通路读取 V-JEPA 的特征可改善其定位性能,且两种特征互补;相比强视觉语言模型,该方法显著提升了单样本查询下的实例定位效率与精度。
该研究提出了 RPA(Raw-Patch Attribution),一种轻量级卷积神经网络,旨在解决仅凭图像判断其生成模型的归因问题。该方法在严格黑盒设定下运行,通过处理多图像补丁以适应不同尺寸并提升精度,在 25 类 DRAGON 数据集上达到 98.9% 的准确率,在 27 类 OpenFake 数据集上达到 95.0%。
推荐理由:提出 RPA 轻量级 CNN,在严格黑盒设定下以毫秒级成本实现高精度图像生成模型归因。
PatchGen 提出图像条件软权重机制,结合低分抑制与置信度目标以增强跨域和跨类别的泛化能力。实验在自然及病理图像基准上显示,该模型在多数配置下优于匹配骨干基线,且无需文本监督即可媲美视觉语言方法。arXiv 预印本已公开,代码与权重许可状态待进一步确认。
Semantic Prism 通过结合显式语义 - 图像接口与分层细化,解决条件图像生成器在道路场景分割中的色彩漂移问题。该框架基于扩散蒸馏骨干网络,仅在 Cityscapes 验证集上即达 72.07% mIoU,较直接解码提升 11.39 个百分点。
arXiv 论文 MAGIC-SSCIL 提出一种无需存储旧数据的半监督类增量学习方法,通过冻结特征图的 k 近邻图传播标签并利用软加权几何校准优化统计量。实验在 CIFAR-100、CUB-200 和 ImageNet-R 上验证,该方法在极低标注比例(如 1%)下表现优异,但在高标注比例时不如自适应骨干的方法。材料为 v2 修订版,简化了部分组件并更新了基线对比与分析。
StyleComposer 是一种无需训练或反演的扩散 Transformer 方法,旨在解决现有生成器将多参考源作为单一风格信号转移的问题。该方法发现扩散模型中每条路径传输多种属性但仅有一种表示可直接控制,因此设计路由机制分别通过潜在色度坐标处理颜色、注意力键值处理纹理、查询处理结构,并限制各路径从参考源引入的其他内容。
该论文针对 4D 雷达点云稀疏、噪声及定位精度有限导致的配准里程计挑战,提出 RaDiVe 框架。方法包括限制对应搜索至近距体素对的距离受限 NDT 以提升优化稳定性与效率;利用测量多普勒径向速度与估计自车速度预测值的差异构建速度差异点不确定性模型以缓解测量歧义;并通过隐式神经映射提取基于有向距离函数的表面点以构建几何一致且去噪的局部子图。
针对文本到视频扩散模型在描述‘早期场景持续且新事件涌现’时出现的时序先验抑制失效问题,提出无需重训的采样修正方法 TPD。该方法通过构建仅基于早期片段的反事实条件,将被抑制的信号方向加回指导更新中,主要作用于晚期帧和结构形成步骤。实验表明该方法能显著改善晚期概念的实现效果,同时保持时序连贯性与视觉保真度,适用于任何暴露分类器自由引导更新的骨干网络。
该研究针对视觉语言模型在坐标接口下存在的归因幻觉问题,对比了坐标与纯文本引用两种接口,发现后者能显著提升证据召回率并降低幻觉。基于此,作者提出了一种无需昂贵区域级监督的 GRPO 训练方案,通过让模型直接引用原文片段并由检索器定位位置,成功将 8B 骨干模型的严格归因准确率从 22.4% 提升至 33.8%,为视觉文档理解提供了新的实践路径。
该论文提出 ReMo 框架,旨在降低多模态大模型在推理阶段的输入 Token 成本。该方法无需训练,通过跨模态对齐去除冗余视觉信息,并用轻量级检测器将物体级视觉 Token 替换为紧凑的文本代理。
针对复杂田间环境中小目标易受光照与背景干扰的检测难题,Cotton-SF YOLO 基于 YOLO26m 引入动态蛇形卷积与频域调制模块。该模型在自建标注数据集上实现 mAP50 为 0.8196、召回率 0.7939,较基线提升 1.25% 至 2.96%,验证了结构与时频特征互补的有效性。因作者发现方法局限需进一步研究,该版本已撤回并暂不开源。
论文分析 ImageNet 发现,数据集中某些与特定标签强相关的自然统计信号在去除随机相关性后,能直接且可预测地改变模型预测结果。这些‘统计对手’比通用扰动更具针对性且具备跨架构迁移能力,表明数据集的分布结构本身可能驱动漏洞,建议审计时将此类虚假结构视为潜在攻击面而非仅关注偏差或解释性问题。
该论文提出将二元目标分割度量视为模块化设计选择而非孤立公式,分解为预测表示、目标提取等五个阶段。分析显示新度量如何解决早期协议的局限,并提供参考代码以支持任务感知的评估协议设计。
CogCanvas 基准包含 1952 张精选图像与 1361 个组合提示,涵盖 100 位名人、115 种物体及 29 个真实场景。该基准通过 BG-Sim 和 Attr-VQA 双指标评估背景保真度与属性绑定能力,揭示现有扩散模型在群体规模超过三人时出现近乎完全失效的退化现象。
RQUL-UIE 框架利用输入到参考的修正估计,决定共享循环增强器由哪些参考进行监督。该方法在无需额外质量标注的情况下,结合层级潜空间增强与纹理细化技术,在三个评测集上优于 12 个基线模型。定性对比显示其在退化水下场景中实现了更优的色彩平衡与结构清晰度。
论文介绍了 VZCrash,这是目前公开可用的最大规模真实车辆碰撞数据集,包含超过 31,000 个验证后的碰撞事件和 158,000 个负样本。数据来自安装在 73,010 辆不同尺寸商用车辆上的设备,在美国行驶数年间采集,每个样本包含 100 Hz 的加速度与角速度以及 1 Hz 的 GPS 速度。
推荐理由:该数据集包含超 3.1 万起真实碰撞与 15.8 万负样本,为训练高鲁棒性碰撞检测模型提供了大规模 IMU 数据支撑。
针对两视图对应关系学习中的异常值剔除问题,论文提出了 SFMambaNet。该方法将匹配对按簇扫描以区分平滑的正确匹配与 erratic 的错误匹配,并在前向和反向传播间引入可学习的频域门控滤波器。实验表明,该架构在相机位姿估计、外点去除和单应性估计任务上优于空间域 Mamba 基线,且参数更少;其核心发现是参数化的低通滤波器效果优于同等规模的逐点层,证明了频率是描述对应关系一致性的自然语言。
论文提出 RACE-AD 框架,旨在解决零样本视觉异常检测中异质模式与跨域变化带来的挑战。该方法整合局部异常响应与注意力衍生的关系信息,利用香农熵表征视觉注意力分布的离散度以捕捉块间关系,并通过关系感知路由构建图像条件化表示。
HolisticMotion 提出统一骨架布局视角,通过课程掩码、身体分区与运动学注意力三大设计,在 AMASS 和 HPS 数据集上实现各类跟踪协议下最低的定位误差。该统一表示还能兼容额外可穿戴传感器,进一步提升重建精度与动作平滑度。代码与论文已作为预印本发布于 arXiv。
论文提出了 SKYPART,一种轻量级可替换头部的视觉 Transformer 方法,通过原型竞争、高度条件调制和图注意力读出解决跨视角地理定位中的纹理与尺度问题。该方法在 SUES-200、University-1652 等数据集上实现最先进结果,且在多种天气干扰条件下保持优势。材料为 Neurips 2026 接收的预印本,代码已开源。
该论文针对文本条件扩散模型难以控制生成内容的难题,发现嵌入空间呈超球面而非欧几里得结构。作者提出 HEART 框架,直接在超球面上进行 Kent 分布感知的测地线变换,实现无需微调、反演或优化的主体替换与属性控制,且适用于多种架构。材料为 arXiv 预印本,未提及同行评审状态。
推荐理由:提出无需微调的 HEART 框架,利用超球面几何与 Kent 分布实现扩散模型的精确编辑。
该论文针对扩散模型在生成罕见但合理的图像组合时易发生默认补全偏差的问题,提出无需重训的 DCR 框架。该方法通过构建反事实吸引子并移除与漂移方向对齐的引导分量,有效抑制高频语义配置对生成过程的干扰,同时保持视觉质量。