跳到正文
今天11月19日周四1 条
  1. 地平线 · 资讯动态80

    地平线发布 LoFT 原生视频几何基础模型,探索面向物理 AI 的通用视觉表征

    11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。

    推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。

11月18日周三
  1. arXiv · 机器人与计算机视觉67

    EMRD:VLM 在安全关键场景下的探索、建图、记忆与决策基准

    本文提出 EMRD 评估框架,将视觉语言模型(VLM)的时空推理解耦为探索、建图、记忆和决策四阶段,并在 16 栋建筑及三种环境压力下评测了 11 个 VLM。结果显示,无外部记忆的开放权重模型在 95% 的回合中未访问房间且物体检测率不超过 51%,且其选择受语义先验影响显著;运动噪声、黑暗和烟雾分别导致位置误差增加、建图召回下降及可见物体减少。

  2. arXiv · 机器人与计算机视觉35

    Controllable Texture Tiling with Transformed RoPE-Enhanced Diffusion Models 提出新框架实现可控纹理平铺

    该方法基于扩散 Transformer,通过坐标变换旋转嵌入机制与分离注意力掩码,在无需像素扭曲下精准控制频率、方向和平铺模式。实验显示其在控制精度和纹理保真度上均优于现有最先进基线,且能保持场景原始光照与几何结构。代码与数据集已公开访问。

  3. arXiv · 机器人与计算机视觉82

    Matisse:基于证据空间的主动三维重建推理方法

    Matisse 是一种无需训练的框架,通过利用预训练生成式 3D 模型提供的证据,统一了主动重建与关键帧选择任务。该方法估计证据不确定性并推导证据信息增益,以指导视图获取和关键帧选择。在 GSO30、YCB-V 和 Replica 数据集上,Matisse 相对于最佳基线分别将 Chamfer 距离降低了 12.7%、3.8% 和 9.2%,并在 GSO30 上实现了 1.5 倍的整体加速。

    推荐理由:该工作提出无需训练的框架,利用预训练生成式 3D 模型的证据来指导主动重建与关键帧选择。

  4. arXiv · 机器人与计算机视觉5

    AoI-Aware Multi-Robot Sensing and Transport on Connected Graphs 论文撤回

    arXiv 预印本《AoI-Aware Multi-Robot Sensing and Transport on Connected Graphs》已撤回,作者 John Tadrous Dr. 指出定理 5 关于相位放置最优性的证明存在错误。该研究原旨在推导移动机器人网络中感知延迟与传播延迟的下界,并构建达到理论下界的传输架构。

  5. arXiv · 机器人与计算机视觉45

    Flow Matching 模型实现 Sentinel-2 影像 4 倍超分辨率:CONUS 区域生成 1.58 万亿像素产品且分类准确率达 89.11%

    该研究引入流匹配模型,在单步采样下优于扩散与 Real-ESRGAN 实现 Sentinel-2 影像 4 倍超分辨率。基于 CONUS 区域生成的 2.5 米四波段产品涵盖超 1.58 万亿像素, Chesapeake Bay 流域土地覆盖分类整体准确率达 89.11%。该成果为地理空间应用提供了高效的高分辨率影像生成方案。

  6. arXiv · 机器人与计算机视觉80

    Bridging Scene Generation and Planning: Driving with World Model via Unifying Vision and Motion Representation

    论文提出了 WorldDrive 框架,旨在解决现有驾驶世界模型仅关注视觉表征而忽视运动规划需求的问题。该方法通过统一视觉与运动表征,引入轨迹感知的世界模型以生成符合特定意图的未来场景,并将预优化的编码器转移至多模态规划器中。

    推荐理由:该工作提出统一视觉与运动表征的端到端自动驾驶框架,通过轨迹条件生成未来场景并蒸馏奖励以优化规划策略。

  7. arXiv · 机器人与计算机视觉62

    InFeR:一种具备知情失败韧性的视觉导航控制框架

    针对模仿学习策略在分布外场景下易发生不可预测失败的问题,该研究提出 InFeR 框架,可在不依赖失败或恢复演示的情况下,利用变信息瓶颈重构潜在空间以检测分布外失败,并结合 Grad-CAM 将失败归因于特定图像区域以指导启发式策略自主恢复。实机实验表明该方法在两种不同架构的策略上均能实现复杂环境中的长距离导航恢复。

  8. arXiv · 机器人与计算机视觉68

    DualTopo:基于双潜在世界模型的时空车道图生成方法

    该论文针对流式方法在车道拓扑推理中存在的初始化查询监督不足及 BEV 边界信息丢失导致时序传播减弱的问题,提出了 DualTopo 框架。该方法通过双并行解码器路径同时监督时序与初始化查询,确保后者作为可靠锚点;并利用基于自车运动的两个潜在世界模型将过去观测的隐状态表征传播至当前时刻。

  9. arXiv · 机器人与计算机视觉42

    利用知识表示与大语言模型实现类人语义自动驾驶导航

    针对动态城市环境中依赖预定义地图的导航难题,该方法通过大语言模型将非正式指令转化为 Answer Set Programming 逻辑规则,支持无需预设地图的自适应规划。实验表明,LLM 驱动的 ASP 规则生成实现了基于语义的决策与可解释性,其推理过程高度契合人类沟通导航意图的方式。该研究为自动驾驶在复杂场景下的实时适应性与逻辑推演提供了新的形式化知识表示框架。

  10. arXiv · 机器人与计算机视觉45

    WoRD:基于扩散模型的在线目标识别方法

    WoRD 利用学习到的轨迹先验,通过变分推断从部分观测中恢复智能体意图。该方法在机器人、行人及车辆仿真设置下均能保持多模态信念校准,克服了传统滤波器与分类器在模糊轨迹前缀上的失效问题。论文已被 NeurIPS 2026 接收,代码与权重开放许可状态待确认。

  11. arXiv · 机器人与计算机视觉84

    Perception into Imagination:面向物理 AI 的可执行感知记忆世界模型框架

    该论文提出可执行感知记忆(EPM)框架,旨在解决物理智能体在失去视觉或接触后利用过往信息的问题。该方法将显式感知状态与神经潜在动力学结合,用于奖励预测、价值估计和策略学习。

    推荐理由:提出可执行感知记忆框架,在记忆迷宫任务中相比仅用共享前端的方法提升 7.00 回报,验证了持久感知对世界模型的贡献。

  12. arXiv · 机器人与计算机视觉65

    RelayWAM:让未来预测性表征可被利用的机器人世界模型方法

    针对现有世界动作模型(WAMs)在推理时丢弃未来预测、导致深层视觉层学到的预测信息未被动作路径有效利用的问题,本文提出 RelayWAM 架构。该方法引入显式过渡空间,基于任务指令和当前状态提取跨深度的步相关预测线索并直接传递至动作注意力机制,无需生成未来帧。

  13. arXiv · 机器人与计算机视觉58

    SpikWM:一种高效的端到端脉冲视觉规划世界模型

    针对基于图像观测和目标的条件化规划任务,本文提出了 Spiking Latent World Model(SpikWM),这是一种端到端的联合嵌入预测架构。该方法通过脉冲区域编码保留空间线索,结合双极性动作编码与因果膜电位预测机制,在奖励自由的图像 - 动作轨迹上进行联合训练。

  14. arXiv · 机器人与计算机视觉43

    SWIR-cGAN:利用 CBERS 和 AMAZONIA-1 VNIR 影像合成短波红外波段

    该研究提出一种带注意力增强的 U-net 生成器与多损失目标的条件对抗网络(cGAN),旨在解决跨卫星泛化难题。模型在 CBERS 及 AMAZONIA-1 数据上训练,针对 SWIR-2 波段实现 SSIM 0.917、PSNR 33.35 dB,显著优于基线。代码与权重已公开于指定 URL,验证了从 VNIR 合成短波红外影像的可行性。

  15. arXiv · 机器人与计算机视觉68

    Fly as Instructed:面向无人机视觉语言导航的世界 - 动作策略优化研究

    该论文针对现有世界模型主要关注动作预测而缺乏可靠指令遵循、任务进度追踪及安全避障的局限,提出一种融合三种互补机制的世界 - 动作学习框架。具体包括:具备针对性后训练的语言条件化动作接口以响应指令运动;循环指令消耗预测以跟踪任务进度并确定终止时机;以及高斯场景后训练通过轨迹模仿和可微几何反馈增强障碍规避能力。

  16. arXiv · 机器人与计算机视觉82

    AgentWorld:面向自动驾驶的代理中心化视觉语言动作世界模型

    针对现有世界 VLA 模型在像素级生成中保留大量无关细节导致性能瓶颈的问题,本文提出 AgentWorld 模型。该模型采用离散代理 Token 联合进行推理与轨迹规划,每个 Token 动态关联周围物体的语义、3D 几何、运动及交互上下文。

    推荐理由:提出 AgentWorld 模型,通过离散代理 Token 替代像素级生成,聚焦驾驶场景中的物体交互与动力学以支持规划。

  17. arXiv · 机器人与计算机视觉68

    NexSight:面向细粒度智能体长视频理解的可验证任务

    NexSight 提出一套用于评估和训练智能体长视频理解的框架,通过 SightForge 管道仅接受能被独立证据重构且无反例的任务,构建了 310 个可追溯任务的 SightLine 基准。该研究展示了在少量示例下微调模型能显著提升交互准确率并引入显式空间检查能力,同时指出当前最强模型在无辅助证据时表现仍有提升空间。

  18. arXiv · 机器人与计算机视觉85

    Evolve in Panorama, Render in View:用于视频世界模型的全景状态演化方法

    针对现有视频世界模型在视角变化时冻结场景或丢失物体的问题,本文提出 PanoEvo 架构,利用全景扩散模型的潜在空间进行全局状态演化,并通过透视渲染器生成高质量视图。

    推荐理由:提出 PanoEvo 架构解决全景视频世界模型的视角演化问题,在 WRBench 和 STEVO-Bench 上取得最佳分数。

  19. arXiv · 机器人与计算机视觉85

    构建真实反应的世界:面向自动驾驶的闭环交互式世界模型

    针对现有世界模型在行为真实性与视觉保真度上的不足,本文提出一种闭环交互式世界模型,耦合行为建模与视觉渲染。该方法利用多智能体强化学习微调模仿学习的背景车辆策略以匹配真实交互,通过高斯诊断优化未观测区域的视觉表现,并依据驾驶意图渲染信号灯状态。实验显示,在长尾闭环场景下,方法将行为发散度降低 85%,新视角车辆 PSNR 提升 2.0dB,且信号灯对自动驾驶行为的间接影响显著。

    推荐理由:提出闭环交互式世界模型,通过多智能体强化学习与高斯诊断提升行为真实度与视觉保真度。

  20. arXiv · 机器人与计算机视觉42

    SpatialCast:通过投影阴影评估空间推理能力的基准

    SpatialCast 是一个利用投射阴影评估模型连接物理场景条件与视觉观察能力的基准,包含 21,000 个合成问题和 200 个真实场景问题。评测显示闭源多模态大语言模型优于通用开源权重及空间推理专用模型,后者在合成基准上表现接近随机猜测。研究还利用该数据对 GRPO 进行后训练,提升了开源模型性能并验证了其在外部空间基准上的迁移能力。

  21. arXiv · 机器人与计算机视觉63

    PlaceTally:一种用于构建地方图的测试时记忆模型

    针对相机重访已知场景导致物体重复计数的难题,该研究提出 PlaceTally 模型,这是一种无需预先知道目标类别的测试时记忆模型,能为每个视频构建地方图。模型将视频片段与最佳早期匹配的地方合并或开启新地方,利用冻结的视觉语言模型从最多 128 帧中计数每个地方一次,确保输入有界且内存随地方数量增长,建图速度为实时速度的 15 倍。

  22. arXiv · 机器人与计算机视觉82

    可信视频可能导致糟糕决策:诊断与修复用于规划的世界模型

    动作条件化的世界模型虽能生成逼真的视频,却可能做出糟糕的规划决策。本文提出 CURE(Certify, Upweight, Rollout, Explore)技术,通过证书评估模型是否可信赖并决定后续操作:重新加权训练数据以去偏、测试时滚动更多样本或在支持缺失处探索新数据。

    推荐理由:提出 CURE 证书引导技术,通过评估决策质量而非视频感知质量来诊断并改进用于规划的世界模型。

  23. arXiv · 机器人与计算机视觉84

    JointGV:基于并行图动力学的视觉世界模型结构感知修正方法

    针对视觉世界模型在实体姿态和空间关系上的递归误差限制长视界规划问题,本文提出 Joint Graph--Visual Dynamics Correction (JointGV) 插件。

    推荐理由:提出 JointGV 插件,在不重构视觉模型前提下利用图动力学修正长视界预测漂移,在 DMC 与真实倒立摆实验中显著降低误差。

  24. arXiv · 机器人与计算机视觉48

    MentalGrid 基准与 SpatialWalker 模型:揭示并增强 MLLM 的空间动态模拟能力

    MentalGrid 基准评估显示现有多模态大语言模型在无需视觉反馈的动态空间模拟任务中存在感知局限与推理不足。为此提出的三阶段课程学习框架利用 16k 专用样本训练出 SpatialWalker,其平均性能较基线提升 33.8%,超越 Gemini-3-Flash 等专有模型。该模型在跨域基准上保持 4.9% 的平均增益,证实空间模拟是构建广泛空间智能的关键基石。

  25. arXiv · 机器人与计算机视觉46

    ATS:带精确逐原语积分的抗锯齿三角形泼溅技术

    该技术提出一种基于半透明三角形的场景表示方法,通过推导三角形泼溅窗口在像素上的精确闭式解实现抗锯齿。该方法无需重新训练即可消除现有模型的严重混叠效应,相比 2x2 超采样展现出更少的时域混叠并支持多尺度训练。实验表明其在降低分辨率下能匹配或超越超采样训练效果,且仅剔除无法达到渲染器 alpha 截止值的三角形以优化性能。

  26. arXiv · 机器人与计算机视觉35

    SkiNet-Sim:用数据模拟 Petri Net 以验证自主系统控制器

    SkiNet-Sim 提出一种融合数据感知转换与令牌的解释 Petri Net 形式化模型,旨在解决传统形式在工业应用中因语义简单或过度专业化而难以落地的难题。该研究通过机器人执行层建模及完整工业巡检任务案例,对比了经典形式与新形式在仿真及模型检测中的结果,并提供了轻量级工具以支持通用应用的数据感知状态空间探索。

  27. arXiv · 机器人与计算机视觉58

    超越情节回忆:面向终身具身导航的经验到知识进化

    针对现有记忆增强方法存储成本高且无法显式进化知识的局限,本文提出了 EvoNav 两时间尺度记忆框架。该框架将语义观测、空间关系及任务反馈线索组织为稀疏经验原子,并在慢时间尺度上将类别共现与反馈信号蒸馏为环境特定的结构知识,无需预定义对象 - 房间关系。实验在单目标、序列多楼层及多模态导航任务中验证了有效经验复用与路径效率提升,并成功迁移至真实机器人。

  28. arXiv · 机器人与计算机视觉82

    InertialVideo World Models:引入惯性先验的视频世界模型

    论文介绍 InertialWorld 模型,该模型在自回归生成中利用惯性状态演化机制,避免每步重复重建导致的误差累积。核心组件 Inertial Memory 包含欧拉网格与拉格朗日载体,结合动作条件运动预测下一帧并融合新旧内容。实验涵盖机器人操作、3D 游戏仿真和开放世界导航,性能对标现有基线。代码链接见 arXiv 页面。

    推荐理由:提出将惯性作为先验的 InertialWorld,通过欧拉网格与拉格朗日载体结合,解决视频预测中的误差累积问题。

  29. arXiv · 机器人与计算机视觉77

    当世界即测试套件:面向物理世界的智能体智力综述

    该文是一篇关于“面向物理世界的智能体智力”的综述论文,探讨了语言模型如何为机器人编写程序(如策略生成、奖励函数设计),以及如何利用物理仿真、形式化检查等手段进行低成本且可靠的验证。文章分析了从软件测试到物理测试的范式转移,讨论了经验留存机制及当前面临的基准评测挑战,指出未来进展依赖于建立类似持续集成的物理验证流程。

    推荐理由:本文提出将物理世界视为测试套件,探讨智能体在机器人编程中的写作、测试与学习机制。