地平线发布 LoFT 原生视频几何基础模型,探索面向物理 AI 的通用视觉表征
11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。
推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。
11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。
推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。
Grounding Video Reasoning in Physical Signals 基准扩展 V-STaR 结构,涵盖 SSV2、YouCook2 等四源共 1,560 条视频及六物理领域。结果显示物理推理为最强范式,空间定位最弱,且扰动增益集中于原始弱案例。该基准建议报告物理锚定与提示感知的诊断指标,论文已接受于 CVPR 2026 VidLLMs Workshop。
WoRD 利用学习到的轨迹先验,通过变分推断从部分观测中恢复智能体意图。该方法在机器人、行人及车辆仿真设置下均能保持多模态信念校准,克服了传统滤波器与分类器在模糊轨迹前缀上的失效问题。论文已被 NeurIPS 2026 接收,代码与权重开放许可状态待确认。
针对硬件限制导致的低分辨率湍流数据,该研究提出一种架构无关的高维空间物理耦合算子,将标准卷积扩展至联合时空维度以显式捕捉变量间局部交互。实验表明该方法在极度稀疏条件下具备强重建性能与零样本泛化能力,为三维湍流建模提供了物理感知的归纳偏置。
论文介绍 RFW-S 数据集,包含 83,365 个经过独立仿真验证的变形物体资产,覆盖 485 类日常物品及五种结构家族。作者开发了结合参考引导生成、结构感知物理建模与 LLM 参数校准的自动化管线,并通过独立于校准过程的交互行为评估确保物理可靠性。
COAST 是一种基于 B-Spline 的在线轨迹规划器,通过 A*前端生成几何简单安全飞行走廊并利用二次规划优化控制点,在确保严格安全约束的同时将平均计算时间控制在 5 ms 以内。该方法利用 B-Splines 有限支撑特性保证曲线不越界,并结合 MINVO 变换与摄动最小化矩阵实现动力学可行且平滑的轨迹。研究已通过高保真仿真实验验证了该算法的有效性,源代码已公开。
针对自主水面车辆(ASV)在稀疏噪声测量下映射异质污染场的需求,该研究引入证据深度学习(EDL)作为不确定性校准模型。在包含五类规划器的闭环物理仿真基准中,EDL 在所有配置下均实现最低误差与最高 IoU,且每步推理耗时仅 3.9ms。实验表明模型选择主导了最终重建误差的 80% 方差,证明了不确定性感知路径规划的鲁棒性要求。
Wildfire-SSR 是一种结合卫星图像与街景全景的地理定位感知多模态框架,旨在进行结构级的野火脆弱性评估。该研究利用视觉语言模型从事件前的街景中提取建筑属性并转换为结构化文本,通过解耦交叉注意力融合解码器将其与卫星影像空间对齐,同时使用冻结的 DINOv3 编码器捕捉高空视觉上下文。
研究利用 CLIP 图像编码器与 Tip-Adapter-F 缓存,通过少样本学习实现相位敏感光时域反射仪(Phase-OTDR)的事件识别。在控制数据泄露的协议下,ViT-L-14 架构配合每类 128 个支持样本的配置,在独立测试集上达到 96.81%±0.42% 的准确率与 96.79%±0.42% 的宏平均 F1 分数。相关代码及图像数据集已公开于 GitHub,且性能对提示词表述不敏感。
ThermoSight 框架利用可微光谱模型,仅凭有限校准火焰图像联合重构三维温度与烟气体积分数场,无需场级真值即可解决解耦难题。合成消融实验显示,波长分辨衰减将高温区温度 RMSE 从 234 K 降至 112 K,且 RGB PSNR 保持 65.23 dB 至 65.24 dB 几乎不变。该成果证明物理引导神经场能恢复视觉上无法直接观测的内部可解释物理量。
该报告总结了 arnav007 团队参加 IEEE BigData Cup 2026 UrbanTwin Sim2Real LiDAR Challenge(V2X-Real track)的提交工作。
论文发布 DominoBench 基准,包含 854 个二维刚体场景的静态图像对,用于测试多模态模型预测链式反应结果的能力。实验表明,未获提示的前沿模型在关键决策步骤上准确率不足 72%,且无法自主计算决定结果的物理量;仅当提供具体计算和数值时,模型表现才显著提升。该基准旨在验证模型是否能在无提示下发现并计算决定性物理量,而非仅凭流畅描述场景。数据集与评估工具已开源。
推荐理由:该基准揭示了多模态模型在仅凭静态图像进行定量物理预测时的失效,为具身智能与仿真到现实迁移提供了关键评估工具。
针对轨道视觉导航系统必须依赖合成图像训练的现状,该研究利用 SPEED+ 基准(含 Mylar/铝材反射近似及辐射误差的仿真器)评估了合成到现实的差距。实验发现模型在真实域存在过度自信现象:校准至合成数据 90% 置信度的区域在真实硬件回环测试中仅覆盖 9-15% 的旋转误差。
推荐理由:研究揭示了仿真器辐射误差导致模型在真实域过度自信,且骨干网络适配比数据增强更能有效缩小合成到现实的差距。
Cosmos4D 模型利用引力 4D Gaussian Splatting 和光度分层动力学,成功从多视角图像中恢复星系的四维演化。该方法在包含八条银河的宇宙学仿真数据集上,优于动态高斯基线的光度质量与物理准确性。研究展示了在 96 帧内重现星系 8 亿年生命周期的能力,解决了现有方法无法处理微弱恒星群体及重力约束的问题。
针对近身交互场景下缺乏大规模标注数据的难题,作者提出了 CISyn 数据集,利用物理仿真和 Blender 渲染生成了包含碰撞动力学、相互遮挡及姿态纠缠的 25,000 条序列。该工作还提出了一种不确定性感知损失函数,帮助模型更有效地学习重度遮挡样本。实验表明,结合 CISyn 并替换回归损失可显著提升近身交互基准上的表现。数据集、生成管线和代码已开源。
Teleo-Spatial Intelligence(TSI)通过整合物理动力学与动作目标,揭示了视觉语言模型在开放世界环境中存在显著的意图推理差距。基于包含 11,328 个真实视频及 8,000 例基准数据的 EscherVerse 资源评估显示,最强专有模型整体准确率仅为 57.26%,远低于人类首判平均 90.62% 的水平。
针对复杂体表个性化生物电子设备的需求,本文提出一种结合 3D 视觉、六自由度机械臂和直接墨水写入的 AI 引导机器人原位打印平台。系统利用 AI 进行伤口分割以确定尺寸与局部曲率,并将重建的三维几何信息纳入接收线圈与叉指电极的电磁设计,以补偿由几何形状引起的谐振行为偏移。研究在人体组织等效前臂假人上演示了该工艺,将假人的介电特性融入 RF 优化,实现了接近目标频率(25 MHz)的谐振操作。
Skydio 发布专为自主部署和高空高速飞行设计的 F10 Lightrunner 固定翼无人机。为解决传统固定翼在低空盘旋侦察时的视野遮挡问题,该机型将相机置于机翼尖端,导致机身非对称且重心偏移。
UniPat AI 牵头推出 Science Prediction Universe(SPU)基准,联合十余家顶尖高校与科研机构,涵盖化学、材料、生物和医学等 32 个子领域共 4207 个任务。
推荐理由:SPU 基准发布,揭示当前模型在湿实验预测上表现有限且算力投入未必提升效果,为 AI4S 提供统一评估标准。
论文提出一种混合决策模型(HDM),利用冻结骨干网络配合轻量级自路由块,在单次前向传播中实现零思考或全思考两种模式切换。该方法通过校准的决策策略优化(CDPO)从回合级回报中学习何时进行推理,并在 MMLU-Pro、AGIEval 及 MiniWoB 等基准上验证了其在保持精度的同时显著降低延迟和 Token 成本的效果。
推荐理由:提出零思考或全思考的混合决策模型,通过自路由块动态评估推理价值以平衡精度与延迟。
论文提出了 NEXUS 框架,利用结构图表示物体并构建动态接触图,通过标量能量和耗散项而非直接预测状态来建模运动,从而在变化机械属性和物理效应组合下提升长时序准确性。该框架为接触丰富的视频生成提供有效引导,改善物理合理性并保持视觉质量。材料为预印本,未报告真实机器人部署结果。
ReflFlow 框架通过残差材质增强高斯泼溅表示及混合渲染管线,解决了动态高光场景中的反射方向估计与物理建模难题。在动态场景基准测试中,该方法定量定性均优于先前方法,生成了更清晰逼真的复杂环境高光反射。该成果作为 ICML 2026 预印本发布,包含代码、权重与数据,共 16 页含 5 张表格。
Neural Render Proxies 通过解耦路径采样与发射计算,在固定相机和材质下为静态场景提供约 30-60 Hz 的交互式重渲染速率。该方法兼容非可微生产渲染器且推理内存需求极低,能逼近真实路径追踪的视觉保真度并支持基于梯度的逆向工作流。论文已被 EGSR 2026 接收,代码与数据许可状态待定。
针对视频扩散模型存在的显著物理错误问题,本文提出 K2V 框架,将物理推理任务分配给语言模型驱动的关键帧生成模块,使扩散模型专注于在物理正确的中间状态间进行插值。该方法在 Physics-IQ Verified 基准和 PhyGenBench 上取得了最先进的性能。
DroneDiffusion 是一款专为本地三维无人机轨迹生成设计的感知感知扩散规划器,能显式规避由镜头眩光、过曝和反光表面导致的失效区域。该模型在仿真中训练并实现零样本真实部署,其可靠性条件将生成的轨迹平均感知可靠性从几何基线的 0.63 提升至 0.71。此外,无需重新训练的 CHOMP 引导策略将学习先验的碰撞率从 14.7% 降低至 7.8%,有效平衡了传感器不可靠区域的规避与导航性能。
Yuqiao Feng 和 Xiaoyu Ao 在 arXiv 上发布研究论文,指出当前广泛使用的控制指标仅检查相机是否跟随指令,而忽略了场景响应不足的问题。作者发现现有模型生成的场景变化最多仅为真实视频的三分之一,且无法区分执行与忽略的速度指令。
推荐理由:作者指出主流驱动世界模型仅移动相机而未同步场景,提出无需训练的 ReTime-Compose 方法以几何方式注入计划。
针对现有文本生成视频模型评估依赖主观直觉打分、无法指出具体违反的物理原理的问题,本文提出 PhyRubric 框架。该框架在未见视频前即根据提示词构建特定评分标准,将内容分解为语义与物理项,并基于时间戳证据进行逐项裁决。
arXiv 论文 URL-Sim 提出一种统一且受控的动态激光雷达仿真框架,旨在解决现有基于 NeRF 渲染慢及基于 3DGS 方法难以处理非刚性物体和冗余原语的问题。
论文提出了首个针对毫米波雷达的新视角合成(NVS)可微分点溅射渲染器 3DPS。该方法直接源于雷达方程的标准立体角形式,为每个定向 3D 点构建基于 ITU-R P.2040 介电常数和板层反射的材料模型,并通过预计算的点扩散函数将复数相量溅射到距离单元中。
推荐理由:提出首个基于点溅射的毫米波雷达新视角合成渲染器,在保持复数域物理保真度的同时大幅缩短训练时间。
SENTINEL 是一个无需训练或标注的可靠性评估框架,通过结合几何扫描统计与 RGB-D 相机深度一致性,为仅含距离信息的 LiDAR 生成每帧可靠性评分。当评分低于阈值时,系统自动丢弃受玻璃、镜面等干扰的脏数据并回退至轮速计,防止 SLAM 静默损坏。
论文提出一种针对自主车辆(特别是航空器)轨迹跟踪误差的安全认证方法,解决现有基于不变椭球或区间的方法过于保守的问题。该方法利用李代数坐标下的线性化误差动力学与管状集合传播技术,在平面飞行器仿真及四旋翼实飞中验证了所提管状边界能紧密包含所有可达跟踪误差,且在强扰动下优于传统椭球法。
针对现有视频生成模型在物理动态上表现脆弱的难题,本文提出 PhysOPSD 方法,引入可执行代码作为特权物理上下文,将真实场景转化为可验证的仿真程序。该方法通过双级物理特权和受控物理变化,在仅用 3K 样本的情况下显著优于监督微调与强化学习基线,同时保持视频生成质量。
推荐理由:提出用可执行代码作为特权上下文,以少量样本提升视频生成的物理合理性。
论文提出 FastGRT,通过解耦光路遍历与混合及重用前向计算,将基于高斯的光线追踪训练速度提升 1.9 至 4.97 倍。该方法在 Vulkan 中实现并开源,是首个支持训练和渲染的 Vulkan 版 GRT 实现,同时保留了原有的渲染公式。
针对现有随机预测器在生成过程中无法重审互反几何约束的问题,本文提出 SRA(Spatial Reasoning Adapter),这是一种可集成到现有扩散和流匹配预测器的模块化图去噪器。
arXiv 预印本介绍 PhyProbe,一种用于评估生成视频物理一致性的新工具。该方法利用冻结的预训练时空编码器提取特征,并通过轻量级评分头映射为标量违规分数。
ObjView-Bench 是一个用于评估以物体为中心视图规划的新基准框架,旨在解决现有评测混淆物体复杂度、规划难度假设及物理可达性约束的问题。该工作将视图规划评估解耦为三个独立量:作为物体侧属性的全向自遮挡、观测饱和难度以及通过集合覆盖公式定义的协议依赖型规划难度。
该论文在 arXiv 发布,介绍了对 NanoVDB 数据结构的两项基础改进:动态 GPU 原生拓扑更新和体素顺序访问范式。前者通过位并行算法实现了形态学膨胀、网格合并等动态操作;后者将活跃体素流式传输为线性序列,消除了树遍历需求。这些贡献打破了原有只读限制,使其适用于动态几何过程与仿真,并在三维重建、流体模拟等基准测试中进行了评估。
推荐理由:原文介绍了动态拓扑更新与体素顺序访问范式,使 NanoVDB 成为动态 GPU 仿真的高性能主表示。
USB Gym 是一个基于公开患者 CT 构建的超声图像匹配测试床,其标准引擎利用网络从 CT 标签绘制器官纹理以模拟超声。该测试床包含可替换的三个部分(器官分割器、控制器和奖励函数),在六个预留患者的 60 个回合中评估了 20 种已发表方法,最终确定仅使用图像相似度奖励(SSIM)的组合作为基准线。
DCAP 框架摒弃静态姿态预测,通过语义释放状态驱动耦合刚柔模拟器实现物理真实的物体放置。该方法在标准任务中将 VLM 物理性与自然度提升 21.2 分、人类偏好提升 26.5%,并将平均穿透深度降低 72.3%。研究证明准确建模语义意图与物理实现的分离过程对解决室内放置问题至关重要。
该论文提出 Structure from Collision (SfC) 方法,旨在从多视角碰撞观测中恢复物体的隐藏内部结构(如空腔)。针对传统密度表示法难以直接指示空腔位置及梯度信息弱的难题,作者将问题重构为假设空间推理:全局阶段利用前向仅材料点法 (MPM) 进行无梯度优化筛选假设,局部阶段通过可微 MPM 模拟以拉格朗日粒子系统形式进行基于梯度的细化。