地平线发布 LoFT 原生视频几何基础模型,探索面向物理 AI 的通用视觉表征
11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。
推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。
11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。
推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。
本文提出 EMRD 评估框架,将视觉语言模型(VLM)的时空推理解耦为探索、建图、记忆和决策四阶段,并在 16 栋建筑及三种环境压力下评测了 11 个 VLM。结果显示,无外部记忆的开放权重模型在 95% 的回合中未访问房间且物体检测率不超过 51%,且其选择受语义先验影响显著;运动噪声、黑暗和烟雾分别导致位置误差增加、建图召回下降及可见物体减少。
该方法基于扩散 Transformer,通过坐标变换旋转嵌入机制与分离注意力掩码,在无需像素扭曲下精准控制频率、方向和平铺模式。实验显示其在控制精度和纹理保真度上均优于现有最先进基线,且能保持场景原始光照与几何结构。代码与数据集已公开访问。
Matisse 是一种无需训练的框架,通过利用预训练生成式 3D 模型提供的证据,统一了主动重建与关键帧选择任务。该方法估计证据不确定性并推导证据信息增益,以指导视图获取和关键帧选择。在 GSO30、YCB-V 和 Replica 数据集上,Matisse 相对于最佳基线分别将 Chamfer 距离降低了 12.7%、3.8% 和 9.2%,并在 GSO30 上实现了 1.5 倍的整体加速。
推荐理由:该工作提出无需训练的框架,利用预训练生成式 3D 模型的证据来指导主动重建与关键帧选择。
该研究引入流匹配模型,在单步采样下优于扩散与 Real-ESRGAN 实现 Sentinel-2 影像 4 倍超分辨率。基于 CONUS 区域生成的 2.5 米四波段产品涵盖超 1.58 万亿像素, Chesapeake Bay 流域土地覆盖分类整体准确率达 89.11%。该成果为地理空间应用提供了高效的高分辨率影像生成方案。
针对视觉语言生成系统中语言否定建模不足的问题,该方法将否定视为扩散动力学中语义引导的结构性可行性约束,通过投影更新方向至由语言结构导出的凸集来实现否定,无需引入启发式或重训模型参数。
WoRD 利用学习到的轨迹先验,通过变分推断从部分观测中恢复智能体意图。该方法在机器人、行人及车辆仿真设置下均能保持多模态信念校准,克服了传统滤波器与分类器在模糊轨迹前缀上的失效问题。论文已被 NeurIPS 2026 接收,代码与权重开放许可状态待确认。
该研究提出一种带注意力增强的 U-net 生成器与多损失目标的条件对抗网络(cGAN),旨在解决跨卫星泛化难题。模型在 CBERS 及 AMAZONIA-1 数据上训练,针对 SWIR-2 波段实现 SSIM 0.917、PSNR 33.35 dB,显著优于基线。代码与权重已公开于指定 URL,验证了从 VNIR 合成短波红外影像的可行性。
NexSight 提出一套用于评估和训练智能体长视频理解的框架,通过 SightForge 管道仅接受能被独立证据重构且无反例的任务,构建了 310 个可追溯任务的 SightLine 基准。该研究展示了在少量示例下微调模型能显著提升交互准确率并引入显式空间检查能力,同时指出当前最强模型在无辅助证据时表现仍有提升空间。
GaussianMamba 提出双分支 Mamba 框架,利用各向异性高斯支撑和特征语义亲和性优化 3D 高斯原语的遍历顺序。该方法在 nuScenes-SurroundOcc 和 SSCBench-KITTI-360 数据集上,IoU 与 mIoU 指标均优于 GaussianFormer 及 GaussianFormer-2。
SpatialCast 是一个利用投射阴影评估模型连接物理场景条件与视觉观察能力的基准,包含 21,000 个合成问题和 200 个真实场景问题。评测显示闭源多模态大语言模型优于通用开源权重及空间推理专用模型,后者在合成基准上表现接近随机猜测。研究还利用该数据对 GRPO 进行后训练,提升了开源模型性能并验证了其在外部空间基准上的迁移能力。
针对相机重访已知场景导致物体重复计数的难题,该研究提出 PlaceTally 模型,这是一种无需预先知道目标类别的测试时记忆模型,能为每个视频构建地方图。模型将视频片段与最佳早期匹配的地方合并或开启新地方,利用冻结的视觉语言模型从最多 128 帧中计数每个地方一次,确保输入有界且内存随地方数量增长,建图速度为实时速度的 15 倍。
该技术提出一种基于半透明三角形的场景表示方法,通过推导三角形泼溅窗口在像素上的精确闭式解实现抗锯齿。该方法无需重新训练即可消除现有模型的严重混叠效应,相比 2x2 超采样展现出更少的时域混叠并支持多尺度训练。实验表明其在降低分辨率下能匹配或超越超采样训练效果,且仅剔除无法达到渲染器 alpha 截止值的三角形以优化性能。
SpatialMind 提出 GeoFus 模块,通过门控网络动态调节浅层至深层几何特征以适配不同认知层级任务。该方法引入负熵正则化损失防止门控坍塌,在 VSI-Bench 基准测试中取得 72.3 的最优分数。源代码已公开提供。
论文 EgoHandWAM 探究了第一人称相机视角下手部运动对预测未来视觉特征的贡献。研究基于 751,065 个 EgoDex 窗口训练,冻结 DINOv2 编码器,结果显示仅凭历史轨迹信息对视觉特征预测的增益有限(平滑 L1 误差降低 1.32%),而结合未来位移掩码能显著减少误差(降低 3.93%)。
本文指出当前六个开源权重的交互视频世界模型存在“相机高度回归”缺陷,即在生成过程中无法保持初始设定的相机高度(如地面机器人 0.15m),而是向人眼水平(1.1m-1.5m)漂移。
该研究介绍了 Sage S1.5 Flash 模型,这是一个拥有 3200 亿参数的通用多模态专家混合模型(MoE),旨在进行科学证据推理并在交互式环境中行动。
MindTopo 是一个基于认知科学与形式拓扑学的基准,涵盖连续性、分离性、序关系、封闭性与纽结五种属性,包含 3900 个核心实例和 11035 个扩展实例。
该研究开发了一种针对加州戴维斯市的光学 GeoAI 工作流,利用 2022 年国家农业影像计划数据生成树冠候选并映射了 7.71 平方公里的树冠覆盖。分析显示像素召回率为 87.3%,与 USDA/CAL FIRE 激光雷达辅助产品的交并比为 0.719。
作者发布了 UnderOneFacade,这是迄今为止最大的跨国界和跨大陆的 3D 建筑立面基准数据集,包含总计 27 亿个标注点的厘米级精度点云及层级化、标准化的语义标签。
推荐理由:该数据集提供全球跨域、厘米级精度的建筑立面分割基准,揭示了现有模型在细粒度识别与泛化上的瓶颈。
Xuan Gong 等人提出 RAPO(Reflection Anchor Policy Optimization),一种基于 GRPO 的策略优化方法,旨在解决长链思维推理中视觉信息衰减问题。
论文介绍 LatentUM 统一模型,其核心创新在于将所有模态表示于共享语义潜在空间中,消除生成视觉状态时的像素解码中介,使内部推理更灵活高效。实验显示该模型在 Visual Spatial Planning 基准上达到最先进水平,通过自我反思提升视觉生成功能,并在共享空间内预测未来视觉状态以展示世界建模能力。代码与模型已开源,论文为 NeurIPS 2026 Oral 录用版本。
推荐理由:该工作提出共享语义潜在空间的统一模型架构,消除像素解码依赖,在视觉空间规划基准上达到最先进水平并展示世界建模能力。
该研究提出 SGR3 Model,这是一个利用多模态大语言模型与检索增强生成(RAG)实现的免训练框架,用于生成语义场景图以支持机器人高层推理。实验显示其性能在免训练基线中具竞争力且媲美基于 GNN 的专家模型,消融研究表明外部信息被显式整合进 token 生成功能。该论文已撤回,无 PDF 可供下载。
针对现有大语言模型在越视域导航任务中短视行为的挑战,该方法首次引入视频生成模型以利用长视界监督优势。通过提出 SparseVideoNav 技术,将原本需数十秒的视频生成长度压缩为亚秒级轨迹推断,同时保持 20 秒的未来视界跨度。实验表明,该方法在越视域导航任务上的成功率是现有大语言模型基线的 2.5 倍,并首次实现了夜间复杂场景下的有效导航能力。
针对轨道操作中对未知空间目标(RSO)的导航需求,本文研究了可见光、热红外及两者融合的成像方案。研究通过像素级融合结合传感器优势进行前端跟踪,并提出一种基于剪影的新型视觉位置识别方法,该方法无需训练、全 CPU 运行且优于基线。实验对比显示,融合图像配合该剪影识别方法在光照条件、轨迹和定位性能上表现最佳,证明了多模态信息在不同导航阶段的互补性。
PrefCVAE 是一种增强型 CVAE 框架,利用弱标签偏好对赋予隐变量语义属性,在保持基线精度的同时实现了可控且具语义意义的轨迹多样性。该方法以平均速度为例证,验证了偏好监督作为提升基于采样生成模型效率的低成本方案的有效性。研究结果发表于 arXiv,属于预印本状态,旨在解决现有方法缺乏可控多样化轨迹生成的问题。
Sidewalk Stewards 是一款填补自动提取与部署就绪人行道网络之间差距的视觉分析系统,通过协调的空间视图支持用户引导修正并实时反馈质量。对比传统工作流,该系统在跨城市案例研究中显著提升了错误识别效率及修正完整性,少量人工干预即可改善多项路网质量指标。目前该工具处于 arXiv 预印本审查阶段,代码与数据待开放许可后获取。
针对冻结扩散生成器需改变部分输出属性同时保持其他属性的需求,本文研究了条件引导的忠实性并引入局部逆修正以改善方向。该方法结合请求特定的余弦增益预测器与阻尼逆修正及固定时间重线性化,适用于有限编辑场景。
推荐理由:该文提出光谱引导方法,结合局部逆修正与固定时间重线性化,在图像修复等任务中显著优于 Adam 优化器。
论文提出 Cross-Input Relative Policy Optimization (CrossRPO) 方法,利用仅在小区域有差异的对比集训练视觉智能体,使其在回答超高分辨率图像问题时基于证据而非常识。
Wildfire-SSR 是一种结合卫星图像与街景全景的地理定位感知多模态框架,旨在进行结构级的野火脆弱性评估。该研究利用视觉语言模型从事件前的街景中提取建筑属性并转换为结构化文本,通过解耦交叉注意力融合解码器将其与卫星影像空间对齐,同时使用冻结的 DINOv3 编码器捕捉高空视觉上下文。
论文指出视觉语言模型在跨图像匹配点或物体时常失败,即便答案隐含在隐藏状态中。研究在 Qwen3-VL、InternVL3.5 和 Gemma-3 等模型上验证了两种失效机制:一是携带比较信息的注意力头未将答案读出,二是语义对应存在于视觉 token 但未传递至输出层。
推荐理由:研究发现跨图像比较失败源于特定注意力头未读出答案,通过重分布注意力或微调查询键投影即可修复。
论文介绍 ReSpaceBench 基准,包含 590 个合成与真实家庭场景及 3244 个问题,用于评测智能体在跨会话访问中的持久化空间理解能力。评估显示最强零样本模型整体准确率为 50.5%,远低于人类标注者的 90.1%;代理框架未带来额外提升。作者提供了 RS-30K 合成训练集,微调 Qwen3-VL-8B 可将准确率从 35.5% 提升至 60.4%。
针对长视频理解中感知与推理上下文负担过重的问题,本文提出 VideoNexus 框架,将详细视频感知从证据驱动的规划与推理中解耦。该框架由规划器控制检查位置、分辨率及采样密度,感知子智能体在独立上下文中处理原生音视频并返回紧凑的时间锚定证据。
推荐理由:该框架通过分离感知与规划,在降低推理上下文负担的同时提升了长视频理解准确率。
论文介绍 ALIVE,一个支持主动监控、流式任务协调和反馈寻求交互的交互式流式视频模型。研究构建了包含 28.8 万样本的监督微调数据集(ALIVE-SFT-288K)和 3000 样本的强化学习数据集(ALIVE-RL-3K),采用对比监督微调与行为对齐信用分配强化学习进行两阶段训练,并提出了 FSI-Bench 评测基准。
推荐理由:提出 ALIVE 交互式流式视频模型,结合对比监督微调与行为对齐信用分配强化学习,在多项基准及新评测中表现领先。
论文提出了 Polygraph 系统,解决机器人和车辆多次穿越同一环境时的轨迹全局一致性问题。该方法在线处理会话,按关键帧和空间聚类逐步优化,不构建 3D 地图。
推荐理由:Polygraph 提出在线多会话轨迹优化方案,无需构建 3D 地图即可实现跨设备、跨场景的位姿图融合。
论文提出了 Explain The Unexplainable (ETU) 框架,旨在解决弱监督视频异常检测(VAD)模型预测缺乏可解释性的问题。该方法通过反事实干预冻结的 VAD 模型特征空间,将视频特征映射到代理、动作和结果的离散依赖图中,并利用图条件扩散生成器进行特征再生与掩码操作。
论文提出了 MetricHand,这是一个针对度量世界空间中 4D 手部重建的几何感知流匹配框架。该方法将手 - 物体交互区域的深度先验编码到关节关联表示中,结合视觉特征引导粗粒度度量估计并条件化时间生成步骤。
推荐理由:该工作提出几何感知的流匹配框架,在度量世界空间重建手部运动,显著降低相机与绝对空间的误差。
论文提出 GJBench 基准,要求图像生成模型绘制被打散、旋转且分离的拼图式场景,以区分模型是真正理解场景整体还是仅依赖相邻连接。评估显示所有测试模型均无法在碎片化条件下保持场景连贯:要么数量错误,要么轮廓不匹配导致无法拼接,且参考图对解决这些问题帮助有限。该工作揭示了图像生成器在处理空间破碎场景时的根本局限。
研究利用 CLIP 图像编码器与 Tip-Adapter-F 缓存,通过少样本学习实现相位敏感光时域反射仪(Phase-OTDR)的事件识别。在控制数据泄露的协议下,ViT-L-14 架构配合每类 128 个支持样本的配置,在独立测试集上达到 96.81%±0.42% 的准确率与 96.79%±0.42% 的宏平均 F1 分数。相关代码及图像数据集已公开于 GitHub,且性能对提示词表述不敏感。
该论文研究了驾驶视觉 - 语言 - 动作(VLA)模型中导航指令的收集与评估方法,区分了行动前发出的前瞻性指令和行动后标注的回顾性标签。作者开发了 ADVLAT-Engine 同步语音指令、道路场景视频和车辆轨迹,并在 48 条回放路线上对比了三款导航应用。