跳到正文

技术方向

空间智能 最新动态

三维重建、空间表示、视觉定位和可交互环境中的感知与推理。

760 条精选近 30 天 559 条共收录 4,114 条

更新

精选归档 · 第 9 页

11月10日周二第 161–180 条
  1. arXiv · 机器人与计算机视觉78

    WanderBench:能否从视频中探索动态世界?

    论文介绍 WanderBench 基准,包含 745 个真实与 AI 生成的单镜头视频及键盘动作路线,评估六维度的 24 个子指标。测试发现现有模型在长片段中虽保持静态场景和画质,但丢失相机控制与源动态,且无法保持一致的 revisit 地点。作者提出 WanderLand 免训练框架,通过条件化同一时刻源内容与早期静态内容提升表现,部分维度最高改善 8.3 分。

    推荐理由:提出 WanderBench 基准与 WanderLand 框架,揭示视频条件生成在长序列中丢失动态一致性的问题并提供免训练改进方案。

  2. arXiv · 机器人与计算机视觉78

    ReVMap:基于连通性感知的局部地图融合矢量全局建图方法

    针对大规模矢量高清地图标注成本高及现有方法忽视预测不确定性的问题,本文提出 ReVMap 框架。该方法利用点级定位不确定性将全局先验融入局部预测以提升鲁棒性,并预测局部到全局的连通性以进行可靠性感知的选择性更新。在 nuScenes 和 Argoverse 2 基准上的实验表明,ReVMap 在局部地图预测与全局地图构建方面均达到最先进水平。

    推荐理由:提出 ReVMap 框架,通过不确定性引导先验与连通性感知融合解决矢量 HD 地图构建中的误差传播问题。

  3. arXiv · 机器人与计算机视觉78

    Compass 1:面向开放世界与持久化具身导航的单目 RGB 视频模型

    Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过引入历史表征机制整合稀疏关键帧与显式地图以保留长时空上下文。该模型基于单目 RGB 视频训练,涵盖超 500 小时真实交互与超 2000 小时标注网络视频数据,支持从轮式机器人到无人机等多种载体。

    推荐理由:Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过历史表征实现近两分钟视觉回溯,在开放世界导航任务中成功率达 79.4%。

  4. arXiv · 机器人与计算机视觉82

    BetaGrasp:基于抓取分类标签的攀岩握点灵巧抓取策略

    论文介绍 BetaGrasp,这是一种结合四分类握持标签(crimp、sloper、pinch、jug)作为模式切换的 3D 扩散策略,运行于 Franka 机械臂与 16-DoF LEAP 手部。实验在弹簧测试台(带棘轮测力计)上验证,结果显示该标签使平均滑移力从 9.6 N 提升至 14.3 N,完全脱手率从 44% 降至 10%,而仅靠点云编码的基线策略无法区分握持类型且成功率仅为 25%。

    推荐理由:BetaGrasp 通过引入四分类握持标签作为模式切换,将仿真到现实的滑移力提升显著,大幅降低完全脱手率。

  5. arXiv · 机器人与计算机视觉82

    HIST3R:利用历史分解与校正状态更新的流式三维重建方法

    针对流式三维重建中因不可靠更新导致长期几何漂移的问题,本文提出 HIST3R 框架。该方法在 CUT3R 基础上,利用局部一致的历史状态修正更新方向,并根据当前观测与历史的视觉差异调节更新幅度。实验显示,在 ScanNet、TUM-Dynamics 等数据集上,HIST3R 显著降低了绝对轨迹误差并提升了重建精度,且保持了原有的内存占用和推理速度。

    推荐理由:提出 HIST3R 框架,通过历史状态修正更新方向并调节幅度,解决长视频重建中的几何漂移问题。

  6. arXiv · 机器人与计算机视觉82

    CSG-Nav:面向鲁棒探索与零样本目标导航的置信度感知语义几何融合方法

    论文提出 CSG-Nav 框架,通过整合开放词汇检测、深度定位与多视图证据加权,解决长程感知不可靠及幻觉偏差问题。在 HM3Dv1/v2 和 MP3D 数据集上实现零样本导航成功率分别为 58.9%、71.6% 和 44.3%,并在室内外真实环境完成部署验证。代码已开源。

    推荐理由:提出基于置信度的语义几何融合框架,在 HM3D 等数据集实现零样本导航新 SOTA,代码已开源。

  7. arXiv · 机器人与计算机视觉78

    仅文本即可预测分割读出保留哪些类别

    论文指出开放词汇分割模型在部署超出训练类别时,会静默丢失某些类别且仍输出高置信度掩码,但训练损失下降甚至 mIoU 上升。研究证明哪类崩溃完全由类名列表决定:基于类名与训练词汇的文本相似度即可预测崩溃风险,该排名在九个模型家族中 AUROC 达 0.69-0.96。

    推荐理由:研究发现仅凭类名列表即可预测分割读出的崩溃风险,无需查看图像。通过调整词汇距离或训练幅度可恢复已消失的类别,为模型鲁棒性提供新视角。

  8. arXiv · 机器人与计算机视觉78

    RBA:一种用于 OCTA 血管分割的参数高效交互式读出基适配器

    该研究针对 SEEM 模型在光学相干断层扫描血管造影(OCTA)中分割细血管效果不佳的问题,提出了一种名为 RBA 的读出基适配器。该方法通过生成图像特定的基础图并配合秩为 1 的 LoRA 编码器分支,在不改变原始特征读取分辨率的前提下提升了动脉与静脉的区分能力。

    推荐理由:针对 SEEM 模型在 OCTA 血管分割中读出线粒体分辨率不足的问题,提出仅增加 0.47M 参数的 RBA 适配器,在薄血管分割上优于 LoRA 等参数高效方法。

  9. arXiv · 机器人与计算机视觉78

    面向机器人世界模型空间泛化的动作表示研究

    Yuhang Sun 在 arXiv 上发布了一项关于机器人世界模型中空间泛化的研究。该工作通过受控的机器人剥离基准,评估了在世界、物体和表面坐标系下定义的动作表示如何捕捉跨空间配置有效的物理关系。

    推荐理由:该研究通过受控的机器人剥离基准,评估了不同坐标系下动作表示对物理关系捕捉的有效性,为设计具备跨空间配置泛化能力的机器人世界模型提供了理论依据。

  10. arXiv · 机器人与计算机视觉83

    MemSurg:用于机器人辅助手术的场景与工作流理解的结构性记忆框架

    MemSurg 是一个针对机器人辅助手术的视频理解框架,旨在解决帧级提示无法利用早期观察历史的难题。该框架通过结构化记忆图存储带时间戳的实体类别、位置、运动线索和交互摘要,并利用时序链接与实体关联链接保留上下文及跨阶段观测。

    推荐理由:该框架通过结构化记忆图解决手术视频理解中的历史上下文缺失问题,在前列腺切除术等基准上显著优于现有方法。

  11. arXiv · 机器人与计算机视觉82

    AmodalBox:基于图像生成资产的自动化 3D 边界框标注框架

    针对稀疏驾驶场景中 LiDAR 点云仅覆盖物体小部分的挑战,本文提出 AmodalBox 框架,利用图像生成的 3D 资产作为非遮挡几何先验。该方法通过建立输入图像与渲染视图的对应关系,将标准非遮挡几何与部分观测的世界空间 LiDAR 点云对齐。

    推荐理由:该方法利用图像生成资产作为几何先验解决部分遮挡问题,在 nuScenes 和 Waymo 数据集上显著提升了检测性能。

  12. arXiv · 机器人与计算机视觉82

    相同测量预算下不同的速度风险:时钟不确定性下的互补卷帘快门读出

    该论文研究了在曝光时间存在不确定性时,具有相同测量预算的相机 rigs 如何表现出不同的速度估计率。作者建立了滚动快门重建的理论框架,区分了两种读出策略的风险阶数:重复读出的最坏情况平方速度风险至少为 $ ho_{ ext{eff}}$ 量级,而互补读出的极小极大风险为 $ ho^2$ 量级(其中 $ ho_{ ext{eff}}$ 为固定允许的时钟位移)。

    推荐理由:原文建立了滚动快门在时钟不确定下的速度风险理论,区分了不同读出策略的误差阶数。

  13. arXiv · 机器人与计算机视觉81

    RoadState:一种增强领域先验的视觉语言系统用于工业级车道级地图更新

    论文介绍 RoadState,这是百度地图更新管线中已部署的视觉语言系统,将连续道路场景观测转化为结构化车道级语义。其核心模型 RoadState-VLM 采用自回归状态估计架构,结合几何思维链(Geo-CoT)利用语义依赖有向无环图作为领域先验,提升跨维度的语义一致性与推理保真度。

    推荐理由:RoadState-VLM 通过几何思维链与领域先验提升车道级语义理解准确率,已在百度地图更新管线中部署并降低成本。

  14. arXiv · 机器人与计算机视觉85

    Latent-WAM++:面向端到端自动驾驶的世界与动作表征塑造

    论文提出 Latent-WAM++,一种面向端到端自动驾驶的以表征为中心的世界动作模型(WAM)。该方法通过场景 - 自车未来预测、SIGReg 分布稳定化及冻结几何先验构建世界表征;利用改进的 MeanFlow 速度空间目标直接预测多模态轨迹提议并实现一步采样;同时对齐视觉语义衍生的停止梯度目标以优化预输出动作特征。

    推荐理由:该工作提出 Latent-WAM++,通过重塑中间表征监督与冻结几何先验,在 NAVSIM v2 实现 SOTA 性能并将端到端规划器训练成本降低 88.1%。

  15. arXiv · 机器人与计算机视觉83

    SPARK-VLA:一种无需外部 3D 输入的视觉语言动作模型空间表征蒸馏与知识路由方法

    针对视觉语言动作模型(VLA)理解三维物理结构的需求,本文提出 SPARK-VLA 框架,在无需推理时引入外部 3D 输入或专家的前提下实现空间适配。

    推荐理由:提出无需外部 3D 输入的 SPARK-VLA 框架,通过注意力对齐蒸馏与轻量路由实现参数高效的 3D 感知 VLA 学习。

  16. arXiv · 机器人与计算机视觉82

    通过蒸馏信念空间任务与运动规划器部署合规智能体

    针对强化学习难以完美优化奖励导致行为不合规的问题,本文提出结合离线规划生成轨迹数据集并蒸馏为基于原始观测的策略的方法。该方法引入双重平均损失和ρ-最优强化机制以解决历史依赖策略的难题,并在需要获取信息才能成功的 Scavenger 挑战域中实现超过90%的成功率,而强化学习基线最高仅为5%。研究还展示了该蒸馏策略在遵循未见过的模糊指令及泛化至更大平面图时的迁移能力分别超过60%和75%。

    推荐理由:提出将离线规划蒸馏为策略的新方法,在信息获取任务中成功率超90%,显著优于强化学习基线。

  17. arXiv · 机器人与计算机视觉82

    Mental Imagery That Matters:治愈多模态推理中的潜在坍缩

    该论文提出 Mental Simulation Collapse (MSC) 现象,指出当前多模态大模型在潜在空间进行视觉推理时,往往仅通过文本路径计算答案,内部生成的视觉潜变量对结果影响微乎其微。作者引入 AnchorSim 对比蒸馏框架训练模型,使生成的视觉潜变量变得关键,从而在多模态推理基准上提升性能并修复该失效模式。

    推荐理由:本文揭示了潜在多模态推理中的‘思维模拟崩塌’失效模式,并提出 AnchorSim 框架使内部视觉状态对预测产生实质性影响。

  18. arXiv · 机器人与计算机视觉78

    RigidGS:面向刚体交互的 3D 高斯泼溅几何感知物体解耦

    论文 RigidGS 针对 3D 高斯泼溅(3DGS)在交互式 VR/MR 应用中存在的掩码噪声与标签几何耦合问题,提出一种端到端管线。该方法通过深度与时序感知的掩码细化模块解决 SAM2 的过包含与欠包含缺陷,并利用 COLMAP 投影投票在上游确定物体身份并在训练中冻结,将监督仅导向几何优化。

    推荐理由:该工作提出固定身份与几何解耦设计,解决现有方法在复杂几何下的掩码噪声与标签耦合问题。