跳到正文

技术方向

空间智能 最新动态

三维重建、空间表示、视觉定位和可交互环境中的感知与推理。

760 条精选近 30 天 559 条共收录 4,114 条

更新

空间智能的精选

今天11月19日周四第 1–20 条
  1. 地平线 · 资讯动态80

    地平线发布 LoFT 原生视频几何基础模型,探索面向物理 AI 的通用视觉表征

    11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。

    推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。

11月18日周三
  1. arXiv · 机器人与计算机视觉82

    Matisse:基于证据空间的主动三维重建推理方法

    Matisse 是一种无需训练的框架,通过利用预训练生成式 3D 模型提供的证据,统一了主动重建与关键帧选择任务。该方法估计证据不确定性并推导证据信息增益,以指导视图获取和关键帧选择。在 GSO30、YCB-V 和 Replica 数据集上,Matisse 相对于最佳基线分别将 Chamfer 距离降低了 12.7%、3.8% 和 9.2%,并在 GSO30 上实现了 1.5 倍的整体加速。

    推荐理由:该工作提出无需训练的框架,利用预训练生成式 3D 模型的证据来指导主动重建与关键帧选择。

  2. arXiv · 机器人与计算机视觉82

    Scalable Black-Box Model Attribution for Images

    该研究提出了 RPA(Raw-Patch Attribution),一种轻量级卷积神经网络,旨在解决仅凭图像判断其生成模型的归因问题。该方法在严格黑盒设定下运行,通过处理多图像补丁以适应不同尺寸并提升精度,在 25 类 DRAGON 数据集上达到 98.9% 的准确率,在 27 类 OpenFake 数据集上达到 95.0%。

    推荐理由:提出 RPA 轻量级 CNN,在严格黑盒设定下以毫秒级成本实现高精度图像生成模型归因。

  3. arXiv · 机器人与计算机视觉82

    VZCrash:首个大规模车载 IMU 车辆碰撞数据集发布

    论文介绍了 VZCrash,这是目前公开可用的最大规模真实车辆碰撞数据集,包含超过 31,000 个验证后的碰撞事件和 158,000 个负样本。数据来自安装在 73,010 辆不同尺寸商用车辆上的设备,在美国行驶数年间采集,每个样本包含 100 Hz 的加速度与角速度以及 1 Hz 的 GPS 速度。

    推荐理由:该数据集包含超 3.1 万起真实碰撞与 15.8 万负样本,为训练高鲁棒性碰撞检测模型提供了大规模 IMU 数据支撑。

  4. arXiv · 机器人与计算机视觉80

    Bridging Scene Generation and Planning: Driving with World Model via Unifying Vision and Motion Representation

    论文提出了 WorldDrive 框架,旨在解决现有驾驶世界模型仅关注视觉表征而忽视运动规划需求的问题。该方法通过统一视觉与运动表征,引入轨迹感知的世界模型以生成符合特定意图的未来场景,并将预优化的编码器转移至多模态规划器中。

    推荐理由:该工作提出统一视觉与运动表征的端到端自动驾驶框架,通过轨迹条件生成未来场景并蒸馏奖励以优化规划策略。

  5. arXiv · 机器人与计算机视觉82

    MillBill:一种具备几何反馈的加工代理

    MillBill 是一种将加工决策与几何执行及验证分离的智能体系统。给定边界表示零件、毛坯和材料信息,本地托管的中大型开放模型负责提出操作和切削参数;几何约束生成器则生成刀具路径、模拟材料去除并返回反馈以优化计划。系统考虑了刀库的物理可达性而非仅可见性。基于 Qwen3.8-27B 的评估显示,MillBill 在指定公差内的目标表面积比例上优于前沿模型方法。代码与论文已公开。

    推荐理由:该工作提出将加工决策与几何执行分离的代理架构,在仿真环境下验证了其对复杂零件加工的优越性。

  6. arXiv · 机器人与计算机视觉84

    Perception into Imagination:面向物理 AI 的可执行感知记忆世界模型框架

    该论文提出可执行感知记忆(EPM)框架,旨在解决物理智能体在失去视觉或接触后利用过往信息的问题。该方法将显式感知状态与神经潜在动力学结合,用于奖励预测、价值估计和策略学习。

    推荐理由:提出可执行感知记忆框架,在记忆迷宫任务中相比仅用共享前端的方法提升 7.00 回报,验证了持久感知对世界模型的贡献。

  7. arXiv · 机器人与计算机视觉84

    无需训练的建筑变化检测方法:基于示例诱导的判别式特征

    建筑变化检测通常依赖昂贵的大规模密集标注。本文提出 Linear INduced Discriminants (LIND),一种无需训练的框架,将区域特征对比转化为可复用的线性分类器。

    推荐理由:提出无需训练的线性判别框架,利用少量标注实现跨数据集的建筑变化检测。

  8. arXiv · 机器人与计算机视觉82

    AgentWorld:面向自动驾驶的代理中心化视觉语言动作世界模型

    针对现有世界 VLA 模型在像素级生成中保留大量无关细节导致性能瓶颈的问题,本文提出 AgentWorld 模型。该模型采用离散代理 Token 联合进行推理与轨迹规划,每个 Token 动态关联周围物体的语义、3D 几何、运动及交互上下文。

    推荐理由:提出 AgentWorld 模型,通过离散代理 Token 替代像素级生成,聚焦驾驶场景中的物体交互与动力学以支持规划。

  9. arXiv · 机器人与计算机视觉82

    Pelorus:一种具备资源感知能力的激光雷达惯性里程计方法

    针对高分辨率激光雷达在线处理效率低且缺乏资源约束的问题,作者提出了 Pelorus 方法。该方法采用固定容量的体素化法线分布地图和迭代等变状态估计器,通过基于相关性的驱逐机制限制内存占用,并利用成熟度加权的地图更新抑制不一致观测。

    推荐理由:Pelorus 提出资源感知的激光雷达惯性里程计方法,在固定内存容量下实现低 CPU/GPU 负载,并开放 CUDA、Vulkan 及 Metal 后端代码。

  10. arXiv · 机器人与计算机视觉82

    ForceBody:首个带力矩不确定性的参数化人体运动数据集

    ForceBody 是首个将地面反作用力与逆动力学关节力矩引入参数化人体表示的数据集,包含 140 名受试者共 10,386 次动作尝试(9.7M 帧、26.9 小时)。

    推荐理由:ForceBody 数据集首次将地面反作用力与参数化人体模型结合,并附带关节力矩不确定性标注。

  11. arXiv · 机器人与计算机视觉85

    Evolve in Panorama, Render in View:用于视频世界模型的全景状态演化方法

    针对现有视频世界模型在视角变化时冻结场景或丢失物体的问题,本文提出 PanoEvo 架构,利用全景扩散模型的潜在空间进行全局状态演化,并通过透视渲染器生成高质量视图。

    推荐理由:提出 PanoEvo 架构解决全景视频世界模型的视角演化问题,在 WRBench 和 STEVO-Bench 上取得最佳分数。

  12. arXiv · 机器人与计算机视觉82

    何时该放大:视觉语言模型在多像素级小物体上的表现极限及优化规则

    在线视觉语言模型常因服务端缩小或拒收大图而遗漏小细节。本研究通过 601 个真实照片中的小物体问答与印刷码眼检,量化了七款主流模型在默认设置下的细节保留能力,发现分块处理可显著提升准确率并减少拒绝,自适应缩放策略能以更低算力匹配甚至超越分块效果。作者还分析了不同模型的失败模式差异,提出了五条关于智能体何时该缩放的规则,并开源了眼检工具、所有模型回答及代码。

    推荐理由:论文量化了大尺寸图像中微小细节的丢失问题,提出分块与自适应缩放策略以恢复精度并降低拒绝率。

  13. arXiv · 机器人与计算机视觉85

    构建真实反应的世界:面向自动驾驶的闭环交互式世界模型

    针对现有世界模型在行为真实性与视觉保真度上的不足,本文提出一种闭环交互式世界模型,耦合行为建模与视觉渲染。该方法利用多智能体强化学习微调模仿学习的背景车辆策略以匹配真实交互,通过高斯诊断优化未观测区域的视觉表现,并依据驾驶意图渲染信号灯状态。实验显示,在长尾闭环场景下,方法将行为发散度降低 85%,新视角车辆 PSNR 提升 2.0dB,且信号灯对自动驾驶行为的间接影响显著。

    推荐理由:提出闭环交互式世界模型,通过多智能体强化学习与高斯诊断提升行为真实度与视觉保真度。

  14. arXiv · 机器人与计算机视觉82

    REVEAL:基于语言与光流引导的视频非遮挡内容重建方法

    论文提出 REVEAL 统一扩散框架,利用用户文本查询驱动开放词汇分割获取可见掩码,并通过光流将前帧可见内容传播至遮挡区域以提供形状先验,同时用文本约束纹理重建以保持视觉连贯性。作者贡献了 LAVAT 基准数据集用于评估重度遮挡下的视频非遮挡完成任务。实验表明该方法在现有基准上达到最先进性能且保持长序列时间一致性。材料为 arXiv 预印本,已接受 TMLR 发表。

    推荐理由:提出 REVEAL 框架,结合光流与文本引导解决视频非遮挡重建难题,并开源 LAVAT 基准。

  15. arXiv · 机器人与计算机视觉82

    可信视频可能导致糟糕决策:诊断与修复用于规划的世界模型

    动作条件化的世界模型虽能生成逼真的视频,却可能做出糟糕的规划决策。本文提出 CURE(Certify, Upweight, Rollout, Explore)技术,通过证书评估模型是否可信赖并决定后续操作:重新加权训练数据以去偏、测试时滚动更多样本或在支持缺失处探索新数据。

    推荐理由:提出 CURE 证书引导技术,通过评估决策质量而非视频感知质量来诊断并改进用于规划的世界模型。

  16. arXiv · 机器人与计算机视觉84

    JointGV:基于并行图动力学的视觉世界模型结构感知修正方法

    针对视觉世界模型在实体姿态和空间关系上的递归误差限制长视界规划问题,本文提出 Joint Graph--Visual Dynamics Correction (JointGV) 插件。

    推荐理由:提出 JointGV 插件,在不重构视觉模型前提下利用图动力学修正长视界预测漂移,在 DMC 与真实倒立摆实验中显著降低误差。

  17. arXiv · 机器人与计算机视觉84

    Disagree to Prune:通过小 VLM 的异议重分配视觉 Token

    论文提出了 PRUDENT 方法,用于加速大型视觉语言模型(VLM)。该方法利用一个小 VLM 对剪枝后结果的异议信号,将节省下来的计算资源重新分配给那些小 VLM 认为不可靠的问题进行二次回答。在 18 个基准测试中,PRUDENT 在相同的平均视觉 Token 预算下优于八种现有的剪枝方法,且在预算更紧张时优势更大。代码和数据已公开。

    推荐理由:提出 PRUDENT 方法,利用小 VLM 对剪枝结果的异议来重新分配视觉 Token,在多个基准上优于现有方法。

  18. arXiv · 机器人与计算机视觉82

    MAVE:从电影镜头重建可编辑的三维块状布局

    针对手动从参考视频中重建动画三维块状布局成本高、限制创作者使用及配对训练数据生产的问题,该工作提出 MAVE 框架与 MAVEBench 基准。MAVE 结合度量观察、代理建模和基于证据的验证,在共享度量坐标系中恢复相机、人物运动及几何证据,由代理构建受约束的可编辑环境,并通过程序化检查报告不一致性以指导优化。

    推荐理由:该工作提出 MAVE 框架与基准,从电影镜头重建可编辑三维场景,为视频生成提供结构化条件。

  19. arXiv · 机器人与计算机视觉82

    InertialVideo World Models:引入惯性先验的视频世界模型

    论文介绍 InertialWorld 模型,该模型在自回归生成中利用惯性状态演化机制,避免每步重复重建导致的误差累积。核心组件 Inertial Memory 包含欧拉网格与拉格朗日载体,结合动作条件运动预测下一帧并融合新旧内容。实验涵盖机器人操作、3D 游戏仿真和开放世界导航,性能对标现有基线。代码链接见 arXiv 页面。

    推荐理由:提出将惯性作为先验的 InertialWorld,通过欧拉网格与拉格朗日载体结合,解决视频预测中的误差累积问题。