跳到正文

技术方向

空间智能 最新动态

三维重建、空间表示、视觉定位和可交互环境中的感知与推理。

760 条精选近 30 天 559 条共收录 4,114 条

更新

精选归档 · 第 4 页

11月17日周二第 61–80 条
  1. arXiv · 机器人与计算机视觉78

    使 Koopman 控制保证在机器人上成立:Tangent-Invariant Koopman (TIK)

    论文针对 Koopman 控制器在潜空间稳定但无法稳定非线性物理系统的矛盾,提出 Tangent-Invariant Koopman (TIK) 方法。该方法通过离线估计局部植物线性化并强制一阶匹配,恢复拟合的 LQR 增益并在大机动中捕获状态依赖的动作。

    推荐理由:提出 Tangent-Invariant Koopman 方法,通过一阶匹配解决潜空间线性模型在非线性物理系统上的稳定性问题。

  2. arXiv · 机器人与计算机视觉78

    DominoBench:基于静态图像的跨步物理推理评估基准

    论文发布 DominoBench 基准,包含 854 个二维刚体场景的静态图像对,用于测试多模态模型预测链式反应结果的能力。实验表明,未获提示的前沿模型在关键决策步骤上准确率不足 72%,且无法自主计算决定结果的物理量;仅当提供具体计算和数值时,模型表现才显著提升。该基准旨在验证模型是否能在无提示下发现并计算决定性物理量,而非仅凭流畅描述场景。数据集与评估工具已开源。

    推荐理由:该基准揭示了多模态模型在仅凭静态图像进行定量物理预测时的失效,为具身智能与仿真到现实迁移提供了关键评估工具。

  3. arXiv · 机器人与计算机视觉78

    SPEED+ 基准下的方向鲁棒性:来自仿真器误设的不合理置信度

    针对轨道视觉导航系统必须依赖合成图像训练的现状,该研究利用 SPEED+ 基准(含 Mylar/铝材反射近似及辐射误差的仿真器)评估了合成到现实的差距。实验发现模型在真实域存在过度自信现象:校准至合成数据 90% 置信度的区域在真实硬件回环测试中仅覆盖 9-15% 的旋转误差。

    推荐理由:研究揭示了仿真器辐射误差导致模型在真实域过度自信,且骨干网络适配比数据增强更能有效缩小合成到现实的差距。

  4. arXiv · 机器人与计算机视觉78

    SelfMark:一种用于多模态大模型的原生视觉推理能力

    该论文介绍了 SelfMark 方法,该方法允许多模态大模型在其原生的视觉特征空间中构建和使用视觉标记进行推理。通过 locate-mark-read 流程建立标记与图像的显式空间对应关系,并在空间规划、密集计数等任务上联合训练单一模型。实验显示该方法在六个基准测试中优于现有专用方法,且效果在不同骨干网络上保持一致。

    推荐理由:提出 SelfMark 方法,将视觉标记直接嵌入多模态大模型特征空间以增强推理能力。

  5. arXiv · 机器人与计算机视觉78

    SAFER:解决基于世界模型的自动驾驶规划中的探索 - 利用困境

    论文提出 SAFER 框架,旨在解决基于世界模型的自动驾驶规划中因训练数据覆盖不足导致的探索 - 利用困境。该方法离线阶段利用专家标注的失败日志对部分预训练的代理进行训练,并在仿真环境中引入可恢复的扰动以生成失败样本;在线阶段则通过闭环驾驶持续修正模型超出离线数据覆盖的区域。

    推荐理由:提出 SAFER 框架,利用专家标注的失败日志进行离线预训练以覆盖探索盲区,结合在线闭环修正,在 CARLA 和 MetaDrive 基准上实现最高路线完成率与奖励。

  6. arXiv · 机器人与计算机视觉78

    PointWM:一种用于点云视频预训练的无泄露潜在世界模型

    针对点云视频自监督学习中存在的几何位置与时间掩码导致的信息泄露问题,论文提出了 PointWM 方法。该方法通过仅使用目标最后一次出现的位置和时间戳进行查询,并学习无需标注的潜在动作来预测未来帧的特征与几何结构,从而将任务从补全转变为真正的因果预测。

    推荐理由:提出 PointWM 方法解决点云视频预训练中的信息泄露问题,在 HOI4D 任务上显著优于从头训练。

  7. arXiv · 机器人与计算机视觉82

    ReactBench-AD:驾驶 VLA 和世界动作模型能否对路径中的突发危险做出反应?

    该研究引入 ReactBench-AD 基准,基于 NAVSIM 和 PhysicalAI-Autonomous-Vehicles 构建像素级反事实场景(插入行人或车辆),评估四款 VLA 和两款 WAM 发现其对突发危险反应微弱。针对 ReCogDrive 进行少量编辑场景微调后,模型学会紧急制动且能泛化至未见物体及真实场景,同时保持常规驾驶性能。代码与数据将公开。

    推荐理由:该基准通过像素级编辑场景发现现有模型对突发危险反应微弱,并证明少量微调即可让 ReCogDrive 学会紧急制动且能泛化至真实场景。

  8. arXiv · 机器人与计算机视觉78

    MoViC:基于单目视频的实时人形机器人全身控制

    论文提出了 MoViC 框架,利用无穿戴设备的单目 RGB 视频流作为信号,通过单目人体运动重建、机器人重定向及 Transformer 行为基础模型实现实时全身模仿。策略融合本体感知历史与显式下一步参考,采用频域运动表示降低输入维度;部署时通过外推方法桥接 10Hz 视觉估计与 50Hz 控制器以支持异步处理。实验展示了在单目 RGB 输入下对双手动及单手操作任务的高动态跟踪与无设备遥操作能力。

    推荐理由:该工作提出无需穿戴设备的单目视频实时全身控制框架,结合运动重建与行为基础模型实现动态任务。

  9. arXiv · 机器人与计算机视觉78

    复杂环境下多类隧道缺陷的形态解耦分割方法

    针对隧道衬砌检测中裂纹等细长型与渗漏、脱落等面状型缺陷的几何差异,本文提出形态解耦分割(MDS)方法。该方法利用监督路由模块将特征分为线性流和面状流:线性流采用可变形条带注意力保持裂纹连续性,面状流结合金字塔池化捕捉区域上下文;两者通过门控跨形态注意力交互。

    推荐理由:提出形态解耦分割方法,通过线性与面状流处理不同缺陷几何特征,在隧道衬砌检测任务中取得优于基线模型的效果。

  10. arXiv · 机器人与计算机视觉78

    DiffWAM:从连续视觉差异中学习世界动作模型

    论文提出了 Difference World Action Model (DiffWAM),这是一种混合专家框架,旨在解决未来状态预测中任务无关内容干扰的问题。

    推荐理由:该工作提出 DiffWAM 框架,通过联合学习未来状态与连续视觉差异来增强表征,在 LIBERO 和 RoboTwin 2.0 基准上取得最先进性能。

  11. arXiv · 机器人与计算机视觉78

    翻转测试:视频世界模型未能学会世界状态

    该研究通过 FlipTest 对 1,680 帧初始画面中的 25 个任务进行评测,发现所有 11 款视频世界模型均无法准确捕捉微小物理变化(如物体位置毫米级偏移)对未来结果的影响。最佳模型准确率仅 18.3%,低于随机猜测水平,且缺乏对因果状态的识别能力;相比之下,视觉语言模型和代码智能体表现更佳。作者建议社区重新思考世界建模不应仅是像素预测,而需识别控制未来动态的因果状态。

    推荐理由:FlipTest 评测显示现有视频世界模型无法捕捉微小状态变化,建议从纯像素预测转向识别因果状态。

  12. arXiv · 机器人与计算机视觉87

    JEPA4R:基于 4D 点规划的具身 JEPA 世界模型

    该预印本提出 JEPA4R,一种在冻结的 JEPA 世界模型上运行的具身智能架构,通过单目深度相机观测点云并在其潜在空间进行预测与规划(即 4D 点规划)。解码器可将想象内容可视化为平均误差小于 1.1 厘米的 4D 点云。

    推荐理由:该预印本提出 JEPA4R,在数字孪生中训练即可零样本迁移至真实机械臂,并在多个基准上优于像素级 JEPA 模型。

  13. arXiv · 机器人与计算机视觉78

    输入空间与特征层条件化:鲁棒面部表情识别的受控比较

    面部表情识别在光照、曝光或分辨率偏离训练分布时性能急剧下降。本文在 RAF-DB 数据集上对输入空间条件化(使用四种确定性视图)和特征层条件化(FiLM/Conditional BatchNorm)进行了受控对比。

    推荐理由:该研究在 RAF-DB 数据集上系统对比了输入空间与特征层两种条件化策略,发现前者在六种骨干网络中均提升准确率且成本更低。

  14. arXiv · 机器人与计算机视觉78

    StyleJudge:一种经人工验证的、基于上下文学习的艺术风格迁移视觉语言评估器

    论文提出了 StyleJudge,这是一种紧凑的视觉语言评估器,通过少量源到风格化参考对进行条件校准以评估图像风格迁移质量。在包含 12 种艺术风格的 878 对人标注基准上,该模型在未见风格上与人工评分的 Spearman 相关系数达到 0.325,优于 Gram-matrix、CLIP 和 LPIPS 等现有指标。

    推荐理由:该工作提出了一种基于小样本参考对进行上下文学习的风格迁移评估模型,在未见风格上的人机相关性优于现有指标。

  15. arXiv · 机器人与计算机视觉78

    多楼层建筑内长视界因果惯性里程计研究

    针对室内多层建筑中电梯或扶梯加速后进入长时间匀速巡航导致惯导退化、垂直位移低估的问题,论文提出 Local-Token Causal Attention 架构,将每秒惯性数据压缩为运动令牌并在有限缓存中维持初始状态。

    推荐理由:提出 LTCA 架构解决长时惯性里程计在电梯匀速阶段的漂移问题,并在 MSIO 基准上验证了优于短窗口基线的性能。

  16. arXiv · 机器人与计算机视觉82

    RETR:一种用于鲁棒 3D 车道检测的结构保持 RGB-事件 Transformer

    论文提出了 RETR,这是首个尝试将事件相机引入 3D 车道检测的工作。作者构建了包含真实世界序列的 DSEC-3DLD 和大规模仿真序列的 Ev-OpenLane 两个多模态基准数据集。

    推荐理由:提出首个将事件相机引入 3D 车道检测的模型,在真实与仿真基准上均达到最先进水平。

  17. arXiv · 机器人与计算机视觉78

    RoboCoEvo:通过智能体 - 策略协同进化扩展机器人能力

    论文提出 RoboCoEvo 框架,旨在解决 MLLM 智能体与机器人基础模型(如 VLA)改进脱节的问题。该方法采用代码即策略的表述形式,让智能体开发可执行的失败检测与恢复程序以生成修正经验,随后将修正行为整合进模型的端到端策略中;更新后的策略分布变化反过来指导智能体程序的修订。

    推荐理由:提出基于代码的策略与 VLA 模型协同进化的框架,通过失败引导的迭代循环提升自主任务执行能力。

  18. arXiv · 机器人与计算机视觉78

    面向瓶颈环境的层级多机器人导航:通道聚焦软协调方法

    针对多机器人导航中全局调度对执行偏差敏感而局部方法缺乏长程协同的问题,提出一种结合软全局协调与灵活局部执行的框架。该方法利用凸集图支持优先级规划,通过感知通道的路线选择与时空路径受限优化避免冲突,并采用模型预测路径积分控制器在线避障及自适应跟踪策略应对偏差。

    推荐理由:提出基于通道的分层多机器人导航框架,在仿真与硬件实验中均实现高成功率并优于基线。

  19. arXiv · 机器人与计算机视觉83

    Frame First, Decode Once:面向系统一世界模型的物体中心坐标与单次解码方法

    论文研究了当单步原语解码器作为系统一世界模型时的关键因素。在 ManiSkill3 PushT-v1 和 lerobot/pusht 数据集上,将输入输出表达为物体初始姿态的 SE(2) 坐标系比世界坐标系降低决策后悔值 1.9-2.2 倍;单步解码延迟为 1.6-1.8 毫秒,优于迭代扩散模型。

    推荐理由:该研究对比了单步解码与迭代解码在系统一世界模型中的表现,证实物体坐标系能显著降低决策后悔值且单步解码延迟更低。