跳到正文

技术方向

空间智能 最新动态

三维重建、空间表示、视觉定位和可交互环境中的感知与推理。

768 条精选近 30 天 535 条共收录 4,279 条

更新

精选归档 · 第 27 页

10月21日周三第 521–540 条
  1. arXiv · 机器人与计算机视觉85

    CLOSER:一种用于具身对象 - 目标导航的证据感知主动视觉验证方法

    针对对象 - 目标导航任务中检测器易误判及候选体被遮挡的问题,该研究提出 CLOSER 框架。该方法微调开源 VLM 对多视角候选体进行目标、非目标或不确定标注,利用嵌入多样性门控选择互补视角并融合概率;若仍不确定则驱动智能体仅凭掩码和深度信息接近候选体直至决策明确。

    推荐理由:该工作提出证据感知的主动验证框架,通过微调开源 VLM 与扩散策略结合,在不重新训练现有导航系统的前提下提升目标导航成功率。

  2. arXiv · 机器人与计算机视觉78

    FRDV:一种用于可扩展人形机器人学习的快速动作重定向流程

    针对大规模人形运动捕捉数据在迁移到不同机器人时面临的挑战,论文提出了 FRDV 框架。该框架包含快速约束运动学重定向阶段和额外的动力学验证管道,利用自定义求解器实现高达每秒 9156 帧的处理速度,约为 GMR 和 ProtoMotions 的 136 倍。

    推荐理由:提出 FRDV 框架,结合快速运动学重定向与动力学验证,显著提升人形机器人动作迁移效率并减少物理冲突。

  3. arXiv · 机器人与计算机视觉82

    物理 AI 用于物流:NVIDIA Sim-to-Real 生态对增强型 COMPASS 导航的基准测试

    该预印本系统评估了 NVIDIA Cosmos 在工业移动机器人导航中的 Sim-to-Real 增益,显示其将成功率从 65.3% 提升至 91.7%,为相关团队提供了可复现的基准数据。

    推荐理由:该预印本系统评估了 NVIDIA Cosmos 在工业移动机器人导航中的 Sim-to-Real 增益,显示其将成功率从 65.3% 提升至 91.7%,为相关团队提供了可复现的基准数据。

  4. arXiv · 机器人与计算机视觉78

    Towards Consistent Geospatial Representations: Aligning One Encoder to Many Foundation Models

    Arthur Ouaknine 和 David Rolnick 提出 GeoMixture 框架,旨在解决地理空间基础模型(GFMs)因预训练目标和模态差异导致的表示不一致问题。

    推荐理由:提出 GeoMixture 框架,通过多表示对齐将单一编码器适配多个地理空间基础模型,在九个基准数据集上实现跨任务一致性。

  5. arXiv · 机器人与计算机视觉78

    SplatFlux:基于视频潜变量的前馈式 4D 高斯重建与生成框架

    该论文提出 SplatFlux,这是一个将视频潜变量解码为 4D 高斯(4DGS)的前馈框架,旨在统一处理视频基 4D 重建和条件式 4D 生成。核心观察在于利用预训练视频潜空间表示观测视频与生成内容。

    推荐理由:该工作提出 SplatFlux,利用预训练视频潜空间统一处理重建与生成任务,并通过静态动态解耦策略实现无需标注的 4D 场景构建。

  6. arXiv · 机器人与计算机视觉85

    PointForward V2:面向前馈式驾驶重建的点对齐交互方法

    论文 PointForward V2 针对动态驾驶场景的前馈式重建任务,提出利用紧凑的场景结构化寄存器来中介稀疏 3D 查询间的交互,以替代直接的全局注意力机制。

    推荐理由:该预印本提出通过紧凑的场景结构化寄存器中介查询交互,解决了点表示独立处理与全局注意力计算量大的问题。

  7. arXiv · 机器人与计算机视觉82

    World2HOSI:一种用于长程人机物场景交互生成的多专家编排框架

    论文介绍 World2HOSI 框架,旨在解决长程人机物场景交互(HOSI)任务中单一模型能力不足及高质量数据稀缺的问题。该方法通过构建基于解耦背景与物体资产的持久化三维高斯泼溅(3DGS)场景状态,利用编排器规划动作阶段并调用现有专家模型,同时将动作效果写回以维持世界一致性。

    推荐理由:该工作提出多专家编排架构,利用解耦资产与闭环仿真生成高质量长程人机物场景交互数据。

  8. arXiv · 机器人与计算机视觉78

    VEOcc++:面向具身在线语义占用映射与离线优化的持久体素特征图学习

    论文提出 VEOcc++ 统一框架,利用持久稀疏体素特征图连接探索阶段的在线增量映射与后续的全局地图优化。该方法在 EmbodiedOcc-ScanNet 数据集上实现 67.12% IoU 和 58.40% mIoU,刷新在线增量映射 SOTA;离线优化阶段进一步提升至 67.79% IoU 和 59.37% mIoU。研究展示了在移动机器人上的零样本部署能力与大规模室内建图的可扩展性。

    推荐理由:该工作提出统一框架,通过持久稀疏体素特征图连接在线增量映射与离线全局优化,在 EmbodiedOcc-ScanNet 上刷新 SOTA。

  9. arXiv · 机器人与计算机视觉78

    PanoGraphGS:用高斯泼溅统一全景分割与分层3D场景图

    论文提出 PanoGraphGS 框架,将全景 3D 高斯表示学习与分层 3D 场景图构建相结合,在共享几何上学习语义与实例特征以支持跨视角一致预测。该方法恢复包含关系的空间层级结构,并在 Replica 和 NaviGS 数据集上实现对象节点识别准确率提升超 50 个百分点及领先的 2D 全景分割性能。

    推荐理由:该工作提出统一框架融合全景分割与分层场景图,并开源新数据集,在对象节点识别与2D全景分割上均优于基线。

  10. arXiv · 机器人与计算机视觉82

    NeoWorld-3:从像素到由代码定义的物理世界

    arXiv 论文介绍了 NeoWorld-3,这是一个基于编码智能体的框架,能从视觉观测重建可交互的三维世界。其核心 NeoSDK 提供底层几何、部件组合、可微参数优化及物理验证引擎;NeoMCP 则将这些能力封装为结构化 API,供视觉语言智能体进行代码编辑与迭代优化。

    推荐理由:该工作提出 NeoWorld-3,通过可执行代码重建具备物理交互性的三维世界,并在双臂机器人上实现零样本操作闭环。

  11. arXiv · 机器人与计算机视觉78

    单目头显相机几乎足够:无需电子的 UMI 手套由单一移动相机标定与观测

    该研究提出用佩戴在采集者头上的单目自眼相机($122)替代手腕相机、姿态追踪器及多路数据流,配合贴有标签的无电子手套($22)和纸砖标记。实验显示该方法对机器人编码器标定的中位误差为 6.5mm 和 1.6 度,帧覆盖率 93%-100%;基于此训练的策略验证损失仅比编码器策略高 3%。

    推荐理由:单目头显相机替代手腕设备,配合无电子手套实现低成本高精度抓取,演示了从遥操作到自主执行的迁移效果。

  12. arXiv · 机器人与计算机视觉78

    Sensitivity-Orthogonal Residual Learning for Adaptive Sideslip and Cornering Stiffness Estimation

    该论文提出一种基于正交残差学习的自适应侧偏和转向刚度估计方法,旨在解决轮胎变化时模型校正与滤波器创新竞争的问题。研究通过传播预测测量的刚度敏感性并构建与之正交的校正器,在整车仿真中使侧滑误差降低 12.7% 至 22.0%,并在真实车辆数据上验证了其对名义刚度偏移的鲁棒性。材料为预印本论文,已提交至 Vehicle System Dynamics。

    推荐理由:提出正交残差学习框架,在保持侧偏刚度估计能力的同时抑制模型修正干扰。

  13. arXiv · 机器人与计算机视觉78

    Cross-Visibility-Gap Identity Persistence for 4D Scene Graphs:一种基于历史节点恢复的 4D 场景图身份持久化方法

    论文提出 CVG-SGM 方法,通过几何加权的跨节点交互与共享节点 GRU 记忆机制,解决物体在遮挡载体内消失后重新出现时的身份重连问题。该方法在单载体单身份受控设置下达到 1.000 的重连准确率,优于无记忆和无写入基线;在真实 RGB-D/SAM2 特征级数据上正确重连了全部 36 个保留检测样本。

    推荐理由:论文提出利用历史节点恢复机制解决物体在遮挡载体内消失后的身份重连问题,在受控实验与真实数据上均优于无记忆基线。

  14. Hugging Face Daily Papers82

    Learning the 4D World through Point Trajectory Forecasting

    论文介绍 Video-Point Model (VPM),这是一个基于多视角视频历史和语言指令的世界模型,能够联合预测任意视角的未来视频和场景中持久点的 3D 轨迹。

    推荐理由:该工作提出 Video-Point Model,通过点轨迹监督联合预测多视角视频与 3D 运动,并扩展至机器人控制。

  15. Hugging Face Daily Papers78

    Foundation4D:面向自动驾驶的统一感知与重建模型

    NVIDIA 团队在 arXiv 发布 Foundation4D,这是一个统一的前馈模型,用于从多摄像头驾驶视频中估计几何、进行 3D 检测、生成语义占用和 Gaussian 重建。

    推荐理由:该预印本提出统一几何估计与重建模型,并开源基准数据集,为无激光雷达场景提供深度与语义占用先验。

10月20日周二
  1. arXiv · 机器人与计算机视觉82

    无梯度噪声优化用于生成模型的奖励对齐

    针对现有扩散和流模型的奖励对齐方法依赖多步随机轨迹且难以扩展至确定性生成器的局限,本文提出 ZeNO(Zeroth-order Noise Optimization)框架。

    推荐理由:提出无需反向传播的噪声空间优化框架,解决扩散与流模型在不可微生成器上的奖励对齐难题。

  2. arXiv · 机器人与计算机视觉82

    UniW(A)M:一种用于世界与世界 - 动作模型的统一混合专家框架

    论文提出 UniW(A)M,这是一种基于扩散 Transformer 的混合专家世界模型框架,旨在统一动作条件化的世界建模与多种世界 - 动作模型变体。共享专家捕捉通用动力学,原子能力专家跨接口复用,部署时通过插件自适应接口路由器(PAIR)选择合适接口以平衡任务成功率和执行效率,同时保持骨干网络冻结。

    推荐理由:该工作提出统一混合专家框架,在真实操作任务中成功率提升 11.6%,并实现跨接口能力复用。

  3. arXiv · 机器人与计算机视觉82

    LynxScenes:面向户外轮足机器人的大规模现实世界基准数据集与评测套件

    arXiv 预印本介绍 LynxScenes,这是一个基于 LYNX M20 轮足机器人采集的大规模户外现实世界数据集与基准。数据包含约 10 万段 30 秒导航片段(总时长 833.6 小时、里程 3,294.7 公里)及 300 万帧标注,涵盖四路鱼眼相机、双激光雷达、IMU、里程计与机器人状态。

    推荐理由:该基准提供轮足机器人户外导航、感知与世界模型的密集标注数据及评估工具,可帮助研究者验证现有方法在真实场景下的不足。

  4. arXiv · 机器人与计算机视觉82

    GraFT:一种基于三维场景图的免训练多模态大语言模型空间推理框架

    论文 GraFT 针对当前多模态大语言模型在几何测量、视角转换及细粒度外观定位上的不足,提出无需微调的解决方案。该方法通过紧凑的三维场景图(3DSG)向冻结模型提供三维结构信息,具体形式包括符号工具计算的值、鸟瞰图图像以及由几何选定的以自我为中心的画面。

    推荐理由:GraFT 提出无需微调的框架,通过图结构为冻结模型补充三维信息,在 ScanQA 和 VSI-Bench 上显著优于基线。

  5. arXiv · 机器人与计算机视觉82

    具身智能体接管控制:最小接口零样本代理媲美工业级策略

    论文研究了通用模型如何通过最小接口直接引导感知、行动、验证和自纠正的决策循环,提出‘具身代理控制’概念。研究评估了十四款前沿多模态模型在六个导航及问答基准上的表现,发现最佳代理在部分子集上超越已发表分数并接近人类测试者水平。

    推荐理由:该研究评估了十四款前沿多模态模型在导航与问答任务中的表现,发现最小接口代理能接近人类水平,但受限于身体感知与空间理解。