跳到正文
10月8日周四
  1. arXiv · 机器人与计算机视觉38

    GAGR-Lab:评估联合空间几何与分析函数推理能力的框架

    GAGR-Lab 是一个通过笛卡尔游戏场景和权威 Rust 轨迹执行来测量机器人空间感知与函数构建能力的研究框架。该框架在 Llama 3.2 11B Vision Instruct 模型上试点显示无目标命中,但独立分析搜索控制在 600 个方向案例中全部成功且可重复验证。目前仅报告了部分评估结果,完整的难度矩阵与多模型对比数据尚未测试。

  2. arXiv · 机器人与计算机视觉35

    Ledger:从第一人称视频中理解三维物体记忆的持久性

    Ledger 是一个结合物体位置、历史与上下文描述的持久三维物体记忆系统,能从第一人称视频观测并保留离开视野的物体。该系统将 HD-EPIC 准确率从 29.7% 提升至 42.6%,UCS-Bench 准确率从 33.8% 提至 38.5%,Ego4D 物体定位中位误差为 0.99 米。研究基于 100 条拼接多场景流分析,揭示了检索与构建中的失效模式及跨场景性能恢复情况。

  3. arXiv · 机器人与计算机视觉43

    ECHO:首个结合重建场景与人类活动的物体放置基准数据集发布

    ECHO 是首个公开可用的合成数据集,将室内 RGB-D 扫描、人体携带活动及自然语言上下文标注相结合。该数据集包含 159 层楼、115 个 HM3D 场景中 3,805 集人类标注片段,涉及 198 种物体及完整的 6-DoF 轨迹数据。实验结果显示单一输入模态不足够,需联合推理场景结构、人类活动与上下文知识以预测物体目的地。

  4. arXiv · 机器人与计算机视觉58

    AirGroundVLN:面向目标导向的空天地协同视觉语言导航大规模基准

    针对现有视觉语言导航在广域搜索与精细定位结合上的不足,该研究提出了 AirGroundVLN 基准,包含 10,281 个导航回合和 955 个目标实例,覆盖 19 个 Unreal Engine 环境。同时提出 AG-CoNAV 参考框架,通过时空锚定协同记忆模块保持跨视角上下文一致,利用空天地引导的区域到局部规划策略提升感知可靠性。材料为预印本论文,未涉及真实机器人部署或商业化产品发布。

  5. arXiv · 机器人与计算机视觉38

    NeRFifyMesh:从纹理网格生成地面真值点辐射场以加速机器人场景构建与碰撞仿真

    NeRFifyMesh 提出新流程,通过采样网格几何与纹理人工生成地面真值点辐射场,无需相机采样或多视图渲染即可将现有网格转为 NeRF。基准测试显示该方法渲染质量与基线相当,并支持构建统一 NeRF 场景及提取几何进行碰撞仿真。论文已接受至 IROS2026,代码与数据许可状态待注册。

  6. arXiv · 机器人与计算机视觉38

    Making Task Abstractions Executable:固定控制器的可执行任务抽象与布局修复研究

    针对结构化任务记录中空间布局阻碍固定控制器完成事件的问题,该方法将追踪、 clearance 及驱动需求编译为可审计的仿射布局约束。在三个研究者撰写的任务抽象上,双后端均通过认证并完成了所有 300 次新鲜配对 rollout,但风险目标扫描显示部分固定事件测试无法仅靠布局编辑满足。

  7. arXiv · 机器人与计算机视觉82

    Flow-of-Thought:一种基于视觉草图生成的空间推理框架

    针对大型语言模型和视觉 Transformer 在需要空间理解的任務中表现不佳的问题,该研究提出 Flow-of-Thought(FoT)框架,通过生成视觉草图作为中间推理步骤来模拟人类的心智意象。

    推荐理由:该工作提出通过生成视觉草图作为中间推理步骤来弥补大模型在空间理解上的不足,并在 Tetris 等任务上达到极高准确率。

  8. arXiv · 机器人与计算机视觉82

    COOL:基于好奇心的物体归属学习用于个性化机器人辅助

    论文提出了 COOL 框架,旨在让机器人在日常环境中从观察中自主学习物体归属关系并维持长期空间记忆。该框架利用基于代理的好奇心驱动数据收集策略,引导机器人前往最具信息量的位置以更新陈旧观测。离线实验、消融研究和现实世界评估表明,COOL 能够从真实交互中推断出归属关系,并利用这些知识进行条件化的导航和任务执行。

    推荐理由:论文提出 COOL 框架,通过好奇心驱动的数据收集学习物体归属关系并维持长期空间记忆。

  9. arXiv · 机器人与计算机视觉72

    基于规划器条件化估计误差的信念空间规划方法

    针对信念空间规划中规划器与独立设计估计器信息不对称导致误差均值非零的问题,本文提出一种结合仿射误差动力学与矩递归的规划器条件化估计误差模型。该方法在指定运行域内预测估计误差动态并将其纳入任务加权二次风险目标函数中进行优化。

  10. arXiv · 机器人与计算机视觉58

    Anaximander:在任意计算后端交互式运行地理空间深度学习模型

    Anaximander 是一个开源系统,旨在解决遥感从业者在使用地理信息系统(GIS)时面临的模型格式不兼容和部署摩擦问题。该系统通过统一的推理服务器支持从多种常见来源加载模型,并可在本地工作站、无服务器云服务或远程 GPU 等任意计算后端运行。

  11. arXiv · 机器人与计算机视觉45

    面向地外异常分级的证据驱动人机机器人协作架构

    针对深空任务无法依赖实时地面支持的问题,提出一种将智能体视为有状态协调器的证据驱动架构。该方案在硬件在环原型中验证,利用 Reachy Mini 和 Innate MARS 移动机器人获取受限场景下的局部证据以区分故障原因。相关预印本已获准参加 2026 IEEE/RSJ IROS 空间机器人研讨会。

  12. arXiv · 机器人与计算机视觉48

    基于因子图与场景图的机器人世界模型综述:面向动态环境的架构模式与挑战

    该综述系统评估了针对动态环境、结合因子图与场景图的机器人世界模型,涵盖表示方法、构建更新流程及下游任务应用。文章重点分析了混合建模架构如何处理不确定性传播、最小感知下的运动可观测性及终身维护等开放挑战,并指出当前缺乏能验证动态下世界模型质量的基准数据集与评估协议。

10月7日周三
  1. arXiv · 机器人与计算机视觉23

    Ego2World:将第一人称烹饪视频编译为可执行世界以支持信念状态规划

    Ego2World 是一个基于 HD-EPIC 数据集构建的可执行基准,它将第一人称烹饪视频转化为受图转换规则支配的符号世界。该基准强制智能体仅凭局部观测和反馈更新记忆并重新规划,实验表明信念记忆能提升任务完成率并减少重复视觉探索。论文已撤回 v1 版本以避免混淆,当前 arXiv 链接指向 v2 版本(arXiv:2605.13335v2)。

  2. arXiv · 机器人与计算机视觉82

    看见不等于知道:VLM 何时不该回答空间问题(及原因)

    本文介绍 SPATIALUNCERTAIN 框架,评估八个视觉语言模型对遮挡和透视导致的观测不确定性识别能力。研究发现模型行为未随证据可靠性变化而调整,存在投影关系易得但物理三维关系难解码的表征不对称,且提示或微调无法完全解决此类问题。

    推荐理由:该研究揭示了 VLM 在空间推理中忽视观测可靠性的缺陷,指出单纯微调无法解决视角冲突下的判断偏差。

  3. arXiv · 机器人与计算机视觉68

    视觉语言模型中空间变量绑定的双重机制研究

    该论文揭示了视觉语言模型(VLM)在处理需要关联物体属性与空间关系的任务时,主要依赖视觉编码器提供的全局布局信息而非语言骨干网中间层的次要信号。研究在 COCO 数据集上验证,通过放大源自视觉编码器的空间表示可修正各类规模模型的绑定失败,阐明了空间变量绑定的计算机制及视觉编码器的核心作用。

  4. arXiv · 机器人与计算机视觉35

    WorldSonus:为物理 AI 世界模型引入实时空间音频合成

    WorldSonus 是一个面向世界模型的交互式视频转音频框架,通过流式因果自回归扩散架构实现 0.41 的实时因子。该框架利用基于分块的提示调度支持动态声音控制,并借助立体声监督确保声学质量与空间配准。实验显示其在开放域基准测试中表现优异,匹配或超越当前双向模型状态。

  5. arXiv · 机器人与计算机视觉38

    稀疏透视下导管导航的信仰状态世界模型:平面概念验证

    该研究提出基于 Cosserat 杆模拟器和粒子滤波器的信念状态世界模型,旨在稀疏 X 射线采集间维持内血管导管导航。在合成平面血管幻象中,该模型以连续速率十五分之一获取观测时,尖端追踪均方根误差为 1.30 mm,接触风险估计的 AUROC 达 0.68。这些结果仅在简化仿真环境中成立,旨在证明校准后的信念状态是稀疏成像世界模型的关键属性,而非临床就绪演示。

  6. arXiv · 机器人与计算机视觉67

    通过几何观测规范化的无传感器布局依赖导航研究

    现有视觉导航策略受限于固定相机配置,难以跨异构机器人传感器布局实现零样本部署。本文提出一种具身感知的导航策略,显式将任意深度传感器载荷(数量、外参、内参各异)解投影到共享的机器人中心坐标系,拼接为统一球面范围图像和二进制有效性掩码,使下游策略能区分覆盖空间与盲区。

  7. arXiv · 机器人与计算机视觉78

    PhysLDM:面向高保真可变形仿真的潜空间扩散方法

    PhysLDM 是首个针对体形可变形动力学的潜空间自编码器与扩散范式。该方法通过整体时空 VAE 避免标准压缩的阶梯伪影,在米级场景中实现约 2.48 毫米的重建精度和高达 78 倍的 Token 压缩率。

    推荐理由:PhysLDM 提出首个基于潜空间扩散的高保真体形变形仿真范式,在米级场景中实现约 2.48 毫米重建精度,并证明扩散模型比确定性回归更适合处理混沌动力学。

  8. arXiv · 机器人与计算机视觉72

    高程图看不见的东西:面向人形机器人的语义感知移动与执行感知导航基准

    针对人形机器人导航中高程图难以识别低矮障碍物(如倒下的瓶子)且运动策略易产生偏差的问题,作者提出了一种结合语义感知的移动与执行感知的导航新基准。该工作构建了闭环的视觉语言导航加移动控制框架以修正状态失配,并在仿真环境中评估了导航性能,同时在宇树 G1 人形机器人上验证了移动策略的有效性。结果表明,引入语义输入能减少与高程图表征不佳障碍物的接触,而抗偏差机制显著提升了导航成功率。

  9. arXiv · 机器人与计算机视觉45

    Toward Trustworthy Physical AI for Human Interaction:提出融合安全、行为可解释性与感知对齐的可信物理 AI 框架

    针对机器人进入人类空间过快而信任标准滞后的问题,该研究提出一个整合具身、控制、认知与设计维度的可信物理 AI 框架。框架通过统一物理能力、可观测行为及用户交互预期来涌现信任worthiness,涵盖安全、行为可解释性和感知对齐三大核心要素。目前为 arXiv 预印本(arXiv:2610.07382),尚未进入同行评审或正式出版阶段。

  10. arXiv · 机器人与计算机视觉44

    零样本语言推理实现跨视角地理定位:NeurIPS 2026 研讨会接受论文

    该研究提出无需训练组件,利用多模态大语言模型(MLLM)将地面全景图与卫星图块描述为结构化文本进行零样本跨视角地理定位。在 VIGOR 数据集上,该方法虽无法直接替代视觉检索器,但能解释匹配依据并辅助修正错误排序。代码与提示词已公开,论文被 NeurIPS 2026 研讨会接收。

  11. arXiv · 机器人与计算机视觉78

    Demo: 视觉语言模型引导的电磁数字孪生在线校准

    该论文演示了一种由视觉语言模型(VLM)引导的电磁数字孪生在线校准框架,使用宇树 G1 机器人和 NVIDIA Sionna。系统通过两次 VLM 调用:首先利用 ITU-R P.2040 标准将可见材料映射为电导率先验以辅助 Sionna 基于累积接收信号强度(RSS)进行梯度下降;其次利用剩余 RSS 校准误差和图像覆盖度在线规划下一测量点。

    推荐理由:该工作演示了利用视觉语言模型引导电磁数字孪生在线校准的框架,在真实室内场景中实现了低误差的材料电导率估计与路径规划。

  12. arXiv · 机器人与计算机视觉78

    Hierarchy-GBP:通过抽象与恢复加速因子图推理

    论文提出 Hierarchy-GBP(H-GBP)框架,旨在解决高斯信念传播(GBP)在处理大规模空间智能任务时的效率瓶颈。该方法采用两阶段迭代策略:首先利用粗粒度图近似快速修正全局误差并投影回原图,随后使用 GBP 细化局部误差。

    推荐理由:提出分层高斯信念传播框架,通过粗粒度近似加速全局误差修正,在大规模位姿图优化中收敛速度显著快于标准算法。

  13. Hugging Face Daily Papers84

    miniTE:诊断并弥合原生 NVFP4 强化学习的执行差距

    该论文提出 miniTE 轻量级框架,结合执行诊断、跨引擎数值对齐及高效原生 W4A4 GEMM 计算,解决大语言模型强化学习中训练与采样引擎间的不一致问题。

    推荐理由:原文介绍了 miniTE 框架,展示了在 Qwen3-30B-A3B 模型上实现原生低比特强化学习稳定训练与高吞吐率的实验结果。

  14. OpenCV Blog4

    OpenCV 直播预告:构建物理 AI 管线——OpenCV 到 NVIDIA Isaac Sim

    OpenCV 将于 2026 年 10 月 8 日周四上午 9 点(太平洋时间)举办名为"OpenCV Live! 228"的直播,主题聚焦构建从 OpenCV 到 NVIDIA Isaac Sim 的物理 AI 管线。NVIDIA Isaac Sim 作为开源参考框架,支持在基于物理的虚拟环境中进行机器人仿真、测试及合成数据生成,并能摄入 CAD、URDF 或真实世界捕获等多源数据。

10月6日周二
  1. arXiv · 机器人与计算机视觉78

    Look-Before-Move:基于叙事的动态 3D 故事世界视觉注意力研究

    论文提出了 Look-Before-Move 框架,将相机规划解耦为观察规范与运动执行,通过语义观察契约、蒙特卡洛视点搜索和语义轨迹接地技术,在动态三维故事世界中实现叙事驱动的视觉注意力。

    推荐理由:该工作提出叙事驱动的视觉注意力框架,在动态三维故事世界中实现先观察后移动的相机规划。

  2. arXiv · 机器人与计算机视觉77

    UniWAM:统一世界 - 动作模型

    UniWAM 是一种统一架构,整合物理推理器、世界生成器和动作预测器,旨在联合学习物理世界的语义理解、视觉生成和动作预测。研究团队开发了严格的数据清洗与标注流程以处理人类第一视角数据和机器人数据,并在预训练中利用视觉问答等互补监督信号适配具身任务。

    推荐理由:该工作提出统一架构融合物理推理与动作预测,并验证了人机混合数据预训练的缩放定律。

  3. arXiv · 机器人与计算机视觉28

    RelationVGGT:无需姿态估计的视觉几何 Transformer 实现三维空间关系分割

    RelationVGGT 提出了一种前馈式框架,融合视觉基础模型语义特征与三维几何表示,在无需场景优化或已知相机位姿的多视图设置下完成目标分割。该方法配合基于 ScanNet++、利用 VLMs 和 LLMs 构建的自动化标注管线,解决了现有方法局限于物体中心感知而忽视空间关系的难题。该工作已作为海报形式被 NeurIPS 2026 接收,相关代码与数据开放许可情况需查阅项目页面。

  4. arXiv · 机器人与计算机视觉48

    CoDimRecon:基于智能体的可变形曲线曲面与体积仿真就绪三维场景重建框架

    CoDimRecon 提出一种智能体框架,从多视角 RGB 观测中重建包含刚性、铰接及可变形物体的可编辑场景。该方法利用场景级几何先验确定尺度布局,针对可变形物体分别生成中心线、流形壳层或水密实体以适配不同维度仿真。在 Replica 和 ScanNet++ 数据集上,该框架实现了具有竞争力的组合重建精度并支持机器人交互验证。

  5. arXiv · 机器人与计算机视觉42

    FAVOR:自由浮动空间机械臂的高效贝塞尔速度优化规划器

    FAVOR 是一款针对无执行机构航天器的碰撞规避规划器,通过独立于展开分辨率的决策维度与解析递归灵敏度实现高效计算。在七自由度臂与五个仿真航天器模型实验中,该算法点对点成功率达 99.8%,平均耗时 1.779 秒,显著优于 IK 初始化位置样条基线(62.9%、50.270 秒)。

  6. arXiv · 机器人与计算机视觉72

    NavProbe:基于主动记忆检索的证据 grounding 零样本导航方法

    论文提出 NavProbe,一种分层零样本导航智能体,通过紧凑索引关联访问地点与视觉几何记录,并在上下文不足时主动检索证据以生成或修正子目标。该方法在 R2R-CE 和 RxR-CE 基准上分别取得 71.7% SR/55.8% SPL 及 55.3% SR/38.6% SPL,同时在 HM3D-v2 ObjectNav 达到 79.3% SR。作者提供了真实机器人的定性演示与代码开源链接。

  7. arXiv · 机器人与计算机视觉42

    MG-VQA:利用操作进行视觉问答的 VLMs 基准评测

    研究提出 MG-VQA-Bench,在杂乱桌面环境中评估八款 VLM 通过操作获取证据以回答被遮挡问题的表现。直接观察与感知任务平均成功率仅约 37%,而引入抓取和推挤等操作后提升至 56.8%。强工具调用模型如 GPT-6-Astra(83.0%)能持续搜索并修正,代码与基准已开源。

  8. arXiv · 机器人与计算机视觉70

    3ViewSense:基于正交视图的空间与心智视角推理框架

    针对大语言模型具备高阶逻辑但视觉语言模型(VLM)在基础空间任务如积木计数上表现不佳的矛盾现象,该研究揭示了缺乏一致空间接口是核心瓶颈。为此提出 3ViewSense 框架,利用工程认知原理将复杂场景分解为正交投影视图,通过模拟与推理机制对齐自我中心感知与allocentric参考系,显式实现心智旋转与重建。

  9. arXiv · 机器人与计算机视觉62

    ZeST:基于 VLM 的未知环境零样本可通行性导航方法

    针对机器人导航中数据采集风险高的问题,本文提出 ZeST 方法,将重复视觉语言模型输出视为随机测量并融合为不确定性后验,实现无需真实危险数据收集的零样本可通行性预测。实验显示该方法在室内及户外非结构化环境中均能稳定到达目标,相比现有最先进方法成功率达 90-100%,推理延迟不超过 4 秒。

  10. arXiv · 机器人与计算机视觉82

    H-JEPA:面向视觉规划的端到端分层世界模型学习

    论文介绍 H-JEPA,一种用于长程规划的端到端分层世界模型方法。该架构包含多个动作条件化的 JEPA 层级,每层在独立潜空间预测不同时间尺度的未来:顶层优化目标进度,下层将高层预测作为子目标。

    推荐理由:提出分层 JEPA 架构,在仿真与真实机器人视频中通过时间尺度分解提升长程规划成功率并降低计算开销。