跳到正文
  1. arXiv · 机器人与计算机视觉78

    Homeward:无训练视角下的观测适配方法

    论文介绍了一种名为 Homeward 的训练免费、即插即用观测适配器,旨在解决视觉 - 语言 - 动作(VLA)策略在部署相机发生位移或更换后性能急剧下降的问题。

    推荐理由:针对冻结 VLA 策略在部署相机变动后性能骤降的问题,提出无需微调的观测适配器 Homeward,通过渲染已知运动学状态与估计未知场景深度来恢复训练视图。

  1. arXiv · 机器人与计算机视觉82

    PRIME:基于情境记忆嵌入的 VLA 模型感知反馈

    该论文提出 PRIME 方法,通过跨注意力机制聚合过去感知、推理及导航目标的潜在表示,为 VLA 模型提供情境记忆反馈,使其感知查询具备意图驱动性。实验显示,该方法在基准测试中实现了 82.47 的驾驶得分和 60% 的成功率,显著优于现有基线。材料仅包含预印本摘要与元数据,未涉及真实部署或开源代码。

    推荐理由:PRIME 通过引入情境记忆嵌入机制,以极小参数成本实现了感知模块的意图驱动注意力,在 Bench2Drive 基准上刷新了 VLA 模型的驾驶得分与成功率。

  2. arXiv · 机器人与计算机视觉78

    GRAZE:基于人类注视的未见物体无文本抓取合成

    GRAZE 是一种从人类注视而非物体名称或部位名称中生成手 - 物抓取运动的方法。该方法通过几何感知注视编码将注视射线映射为物体几何线索,并利用交叉注意力条件化扩散 Transformer。

    推荐理由:GRAZE 方法利用人类注视生成未见物体的抓取动作,在无需微调的情况下实现了优于文本基线的抓取成功率与泛化能力。

  1. arXiv · 机器人与计算机视觉78

    Grounding Object-to-Object Hazard Reasoning into 3D Risk Fields for Task-Conditioned Safety

    该论文提出一种基于视觉语言模型(VLM)的机器人操作安全框架,旨在处理几何约束之外的语义安全问题。系统首先通过结构化安全工具判断任务是否因可能导致不可恢复的危害而应被拒绝;若可执行,则识别物体对之间的可预防危害并指定需避免的空间关系。

    推荐理由:该框架利用 VLM 将任务语义与物体交互风险映射为连续三维风险场,结合避障模块在仿真与现实环境中验证了可预防性危害的识别能力。

  1. arXiv · 机器人与计算机视觉78

    阅读桌面:面向 Chef's Hat 卡牌游戏的仿真到现实游戏状态检测

    针对桌面卡牌游戏中物体识别成本高、标注难的问题,作者开发了一套全自动的合成数据采集管线。该方法利用已知三维坐标的重投影自动生成标签,并结合域随机化技术以弥合仿真与现实的差距。

    推荐理由:提出利用重投影与域随机化构建合成数据管线,在真实机器人上实现卡牌游戏状态检测的高精度感知。

  1. arXiv · 机器人与计算机视觉82

    BetaGrasp:基于抓取分类标签的攀岩握点灵巧抓取策略

    论文介绍 BetaGrasp,这是一种结合四分类握持标签(crimp、sloper、pinch、jug)作为模式切换的 3D 扩散策略,运行于 Franka 机械臂与 16-DoF LEAP 手部。实验在弹簧测试台(带棘轮测力计)上验证,结果显示该标签使平均滑移力从 9.6 N 提升至 14.3 N,完全脱手率从 44% 降至 10%,而仅靠点云编码的基线策略无法区分握持类型且成功率仅为 25%。

    推荐理由:BetaGrasp 通过引入四分类握持标签作为模式切换,将仿真到现实的滑移力提升显著,大幅降低完全脱手率。

  1. arXiv · 机器人与计算机视觉82

    基于流式第一人称 3D 手部动作预测的操纵表征学习方法 SFHand

    论文提出 SFHand,这是一种首个通过流式第一人称 3D 手部动作预测进行表征学习的方法。该方法利用自回归架构从视频和语言指令中连续预测未来手部状态(包括手部类型、2D 边界框、3D 姿态及轨迹),并配备 ROI 增强记忆层以捕捉时间上下文。

    推荐理由:提出通过流式第一人称手部动作预测进行表征学习,开源了配套数据集与模型,在仿真及真实世界操作中均取得领先性能。

  1. arXiv · 机器人与计算机视觉78

    Aligning Policy Encoders with a Shape Teacher

    该论文提出一种训练时的形状教师对齐机制,利用预训练的 3D 形状特征作为图像策略编码器的对齐目标,将几何结构转移至纯图像接口策略中。在 LIBERO 基准测试中,该方法使物体和空间套件的政策收敛速度分别提升 4.7 倍和 5.6 倍,同时提高了任务成功率,且部署时无需依赖形状教师或深度输入。

    推荐理由:提出形状教师对齐方法,在 LIBERO 基准上加速策略收敛并提升成功率。

  2. arXiv · 机器人与计算机视觉78

    基于视觉的轮式机器人自主导航集成开源栈

    该研究提出了一套面向轮式移动机器人的视觉自主导航开源栈,旨在有限传感与计算资源下整合感知、定位、规划与控制。系统连接了YOLOv8n检测、几何方向估计、RGB-D SLAM、轮惯状态估计及运动学感知规划,并通过行为树管理任务。

    推荐理由:该研究提供了一套面向轮式移动机器人的视觉自主导航开源栈,集成了YOLOv8n检测与RGB-D SLAM,在Jetson Orin NX上实现了低延迟感知,并公开了数据集与评估日志。

  3. arXiv · 机器人与计算机视觉78

    运动学假设上下文:面向带宽受限机器人策略上行链路的具身条件化学习视频编码

    针对远程服务器运行大型视觉语言动作策略时相机上行链路成为瓶颈的问题,本文提出一种零速率条件的运动学假设上下文机制。该方法利用关节状态、机器人模型和相机标定构建自运动单应性、连杆重投影等假设,对上一帧重建结果进行变换以条件化学习视频编码。

    推荐理由:提出运动学假设上下文机制,在带宽受限场景下显著降低视频传输码率并提升策略成功率。

  1. arXiv · 机器人与计算机视觉82

    超越可见性:基于稀疏 LiDAR 的实时表面可达性场

    本文提出一种名为 Accessibility Field 的方法,利用流式稀疏 LiDAR 数据实时更新每一点的表面物理可达性标签。该方法通过 GPU 评估预计算的工具体积核与不同接近姿态下的碰撞情况,无需先验场景模型即可在工作站和 Jetson Orin 边缘设备上实时运行。

    推荐理由:提出基于稀疏 LiDAR 的实时表面可达性场方法,在合成基准上 F1 达 90.8%,能区分可见但不可触及的表面。

  2. arXiv · 机器人与计算机视觉78

    Do Agentic Policies Need to Look at Every Step? Geometric Abstraction for Reasoning and Action

    论文提出一种基于 3D 几何抽象的接口,将机器人场景的空间推理从原始图像转移到文本和符号上。该方法利用校准后的 RGB-D 数据对物体部件进行类型化和证据感知的符号引用,并在每次动作后返回包含度量残差的紧凑文本检查点。

    推荐理由:提出通过几何抽象将空间推理从图像转为符号,减少多模态查询并提升多步操作成功率。

  1. arXiv · 机器人与计算机视觉82

    Look as You Leap:面向高自由度机器人的运动与感知同步规划方法

    该研究针对动态空间中机器人需持续感知环境的挑战,提出一种名为 PS-PRM 的 GPU 并行化概率路图规划器。该方法利用神经代理模型近似感知分数(如目标检测置信度),将其融入运动规划搜索过程,以解决运动与感知需求冲突及实时评估成本高的问题。实验表明,该规划器在静态和动态环境下的仿真及真实机器人实验中,均优于基于强化学习和轨迹优化的基线方法。

    推荐理由:提出 PS-PRM 规划器,利用神经代理模型近似感知分数并引入 GPU 并行,解决高自由度机器人在动态环境中运动与感知的联合优化难题。

  1. arXiv · 机器人与计算机视觉82

    AmaraSpatial-10K:面向空间计算与具身智能的时空对齐 3D 数据集

    AmaraSpatial-10K 是一个包含 10,071 个合成 3D 资产的数据集,所有资产均经过标准化处理以支持直接摄入。每个资产提供符合物理尺度的.glb 文件、分离的 PBR 贴图、凸碰撞包络、配对参考图像及多句文本元数据。

    推荐理由:该数据集提供标准化 3D 资产与独立评测套件,显著改善检索召回率并提升仿真稳定性。

  1. arXiv · 机器人与计算机视觉82

    VLN on the Fly:一种用于空中机器人的车载视觉语言导航栈

    VLN on the Fly 是一种在四旋翼无人机上完全本地运行的模块化视觉语言导航栈,将指令落地、三维规划与控制作为可检查的独立阶段。该栈利用量化 VLM 进行粗粒度图像单元定位,通过深度估计提升为三维目标,使用快速 B-样条规划器生成可行轨迹,并由预训练的强化学习策略跟踪至电机指令。

    推荐理由:该预印本提出了一种在四旋翼无人机上完全本地运行的模块化视觉语言导航栈,实现了指令落地、三维规划与闭环控制的分阶段执行。

  2. arXiv · 机器人与计算机视觉82

    未知动态环境下的可见性感知移动抓取研究

    针对未知且动态环境中机器人需利用有限视场摄像头接近并抓取目标物体的场景,提出统一系统以运行时强制执行可见性约束。该系统包含速度感知注视策略、分层子目标策略及实时全身规划器。

    推荐理由:提出统一系统,在动态环境中通过视线策略与全身规划器解决可见性约束,相比解耦方案显著提升成功率并降低碰撞。

  3. arXiv · 机器人与计算机视觉78

    基于 RGB-D 的移动端机器人实时行人轨迹预测:TrajMamba 模型

    针对移动机器人在动态环境中导航的短时段行人轨迹预测任务,该研究提出 TrajMamba 模型以解决传统方法中训练数据理想化与推理端传感器噪声之间的分布差异。模型采用单一路径处理姿态提取、深度反投影及平滑过程,利用堆叠双向 Mamba 块编码髋部中心速度并配合 GRU 头解码未来速度。

    推荐理由:该工作提出轻量级双向状态空间模型解决训练部署分布差异,在移动机器人上实现实时行人轨迹预测。

  1. arXiv · 机器人与计算机视觉85

    CLOSER:一种用于具身对象 - 目标导航的证据感知主动视觉验证方法

    针对对象 - 目标导航任务中检测器易误判及候选体被遮挡的问题,该研究提出 CLOSER 框架。该方法微调开源 VLM 对多视角候选体进行目标、非目标或不确定标注,利用嵌入多样性门控选择互补视角并融合概率;若仍不确定则驱动智能体仅凭掩码和深度信息接近候选体直至决策明确。

    推荐理由:该工作提出证据感知的主动验证框架,通过微调开源 VLM 与扩散策略结合,在不重新训练现有导航系统的前提下提升目标导航成功率。

  2. arXiv · 机器人与计算机视觉78

    单目头显相机几乎足够:无需电子的 UMI 手套由单一移动相机标定与观测

    该研究提出用佩戴在采集者头上的单目自眼相机($122)替代手腕相机、姿态追踪器及多路数据流,配合贴有标签的无电子手套($22)和纸砖标记。实验显示该方法对机器人编码器标定的中位误差为 6.5mm 和 1.6 度,帧覆盖率 93%-100%;基于此训练的策略验证损失仅比编码器策略高 3%。

    推荐理由:单目头显相机替代手腕设备,配合无电子手套实现低成本高精度抓取,演示了从遥操作到自主执行的迁移效果。