跳到正文
10月27日周二
  1. arXiv · 机器人与计算机视觉72

    重访直接控制:通过鸟瞰图评估全尺寸自动驾驶车辆遥操作中传感器融合的现场有效性

    论文报告了一项针对全尺寸自动驾驶车辆的实地遥操作实验,对比了标准摄像头、原始 LiDAR 点云及传感器融合三种鸟瞰图界面。结果显示,融合感知在感知可用性、认知负荷(NASA-TLX 评分显著降低)、任务完成时间及系统可用性(SUS)等指标上均优于单一传感器方案,为设计鲁棒的远程驾驶系统提供了实证依据。

  2. arXiv · 机器人与计算机视觉55

    从语言到驱动:一种通过大语言模型对齐自主机器人与人类目的的跨模态框架

    该研究探索了利用大语言模型和视觉语言模型的通用与文化知识,建立跨模态交互式对齐过程,将人类自然语言表达的目的转化为机器人的任务与驱动以引导其行为。系统分为语义对齐、任务生成和驱动建模三层结构,支持双向交互循环:人类输入定义高层目的,机器人利用多模态信息将其扩展为可执行任务并维持意图对齐。在仿真和物理机器人上的实验表明该过程能产生有效任务和行为,支持交互式场景下的人机对齐。

  3. arXiv · 机器人与计算机视觉78

    面向精确抓取的机器人对齐3D高斯泼溅与腕部相机VLA策略研究

    针对电子垃圾拆解等复杂场景中视觉语言动作(VLA)策略学习的数据收集瓶颈及数字孪生建模困难,本文提出基于3D高斯泼溅(3DGS)的腕部相机数据生成管线。该方法通过重建真实工作空间并渲染机器人对齐姿态下的观测,配合平滑结构化的到达轨迹,为VLA微调提供机器人对齐的视觉 - 动作监督;同时引入指令条件到达验证器以估计目标接近度并提供可靠的物理交互前终止。

    推荐理由:针对电子垃圾拆解等复杂场景,提出基于3D高斯泼溅的腕部相机数据生成管线与指令条件到达验证器,在仅需少量遥操作演示下实现高精度抓取。

  4. arXiv · 机器人与计算机视觉78

    受限 arena 内微型振动驱动机器人集群的分布式预测 flocking 控制研究

    该论文提出了一种分布式预测 flocking 控制器,用于在无领导者或全局地图的情况下协调大量微型机器人。研究在数字孪生环境中对比了六种屏障函数安全公式,发现离散时间 CBF 在多种任务(如趋光性、轨道运行)和不同集群规模下表现最佳,能有效平衡安全性与秩序。材料仅基于仿真结果,未涉及真实物理部署或量产数据。

    推荐理由:原文在数字孪生环境中对比了六种安全约束公式,发现离散时间 CBF 在密集集群中碰撞最少且协调性最佳。

  5. arXiv · 机器人与计算机视觉43

    PIFR 基准评测长视界具身导航的中断恢复能力

    PI FR 基准引入单级、重复及嵌套中断设置,评估智能体在原子任务完成后的插入执行与序列恢复表现。实验显示不同中断条件下恢复性能存在差异,且聚合成功率可能掩盖处理细节。研究提出轻量候选排序基线以提升中断后目标重定位效果,为长视界导航提供系统框架。

  6. arXiv · 机器人与计算机视觉78

    VisGeo-PipeTrack:一种用于无人机动态管道跟踪的视觉几何伺服控制框架

    针对无人机在工业环境中对动态移动管道(如振动)的跟踪难题,本文提出 VisGeo-PipeTrack 伺服控制框架。该框架利用 YOLOv5 检测管道标签并结合视觉几何约束实现精准定位,同时设计基于模型预测控制的实时修正自适应 PID(MPC-RCAPID)控制器以应对跟踪挑战。

    推荐理由:提出 VisGeo-PipeTrack 框架,结合视觉几何约束与 MPC-RCAPID 控制器实现无人机对动态管道的自主跟踪。

  7. arXiv · 机器人与计算机视觉62

    Labference:机器人实验室中的推理 - 动作连接基准

    作者提出 Labference 基准,旨在评估物理实验结果如何引导后续决策并转化为机器人动作。该协议通过控制证据变化测试行为适应性,独立测量操作选择、物理执行和任务完成,并利用共享检查点的 Oracle 辅助评估支持形式的影响。初步结果显示,现有 VLA 策略在物体转移成功时仍存在目标选择错误,而 GPT 驱动的控制虽能正确选择却面临执行失败和高计算成本,揭示了连接合理推理与可靠及时行动的必要性。

  8. arXiv · 机器人与计算机视觉78

    Zero-HLM:无需真实机器人数据的通用类人机器人行走操作框架

    论文提出 Zero-HLM 框架,旨在解决类人机器人行走与操作泛化受限于昂贵真实演示的问题。该方法通过高斯引导的智能体重建将手机捕获数据对齐至物理场景,并利用运动与环境共适应机制修正全身参考与交互几何。

    推荐理由:提出 Zero-HLM 框架,利用手机数据与仿真生成零样本迁移演示,将 Unitree G1 任务成功率从 46.7% 提升至 66.7%,无需额外真实机器人数据。

  9. arXiv · 机器人与计算机视觉78

    MemVLN:面向视觉语言导航的流式情景记忆框架

    该论文提出 MemVLN 框架,旨在解决基于 VLM 的智能体在长视野导航中维持持续情景记忆的难题。方法上,系统维护一个有界压缩感知特征库(标注时间戳与动作相对姿态),并通过交叉注意力生成紧凑记忆 token;结合冻结预训练几何编码器及掩码轨迹总结任务进行训练。

    推荐理由:提出 MEMVLN 框架,通过压缩感知特征与冻结几何编码器实现长视野导航中的持续记忆,物理实验显示成功率从基线 17% 提升至 47%。

  10. arXiv · 机器人与计算机视觉58

    PushAround:一种通过物理信息引导的混合搜索实现协同清障的路径规划方法

    针对大型车辆在杂乱环境中被可移动障碍物阻挡的问题,该研究提出 PushAround 算法,这是一种结合几何连通性推理与短时仿真搜索的物理信息驱动混合搜索方法。系统通过重复查询 W-清除连通图(WCCG)来暴露需要拓宽的前端间隙并按预估下游成本排序,生成直接或递归的推挤候选方案,并选择障碍物、方向、接触点和力进行物理评估。

  11. arXiv · 机器人与计算机视觉35

    3D-Force Estimation for Dual-arm Manipulation of Deformable Linear Objects via Factor Graphs 预印本发布

    针对欠驱动的可变形线性物体(如线缆),该工作提出基于因子图的方法,在仅使用单一传感信息下同时重构形状并估算三维力的大小、方向及位置。实验通过引入测量噪声并在外部力作用下验证了方法的有效性,为双臂操作任务提供了可靠的接触估计与精确控制方案。

  12. arXiv · 机器人与计算机视觉42

    VISTA:具身智能体主动探索实现自我改进

    VISTA 提出一种元代理框架,将事后回放反思转化为具身 harness 的主动自我探索。该框架维护 harness 图谱以记录谱系,避免重复探索失败方向,并在 LIBERO-Pro、RoboCasa 和 RoboTwin 基准上验证了其在更少仿真回放下提升任务成功率的效果。代码与项目页面已公开。

  13. arXiv · 机器人与计算机视觉72

    面向多候选单纯形架构的基于设计时识别的运行时上下文依赖安全吸引域构造

    该论文针对高性能控制策略缺乏形式化验证的问题,提出一种两阶段安全域认证框架。该方法利用收缩稳定性建立目标集,进而对闭环系统进行处理,实现了运行时构建上下文相关的安全吸引域(RoA)以及在高保真控制器候选项之间进行安全的切换以优化恢复能力。

  14. arXiv · 机器人与计算机视觉78

    Learning Direct Control from Optimization for Dynamic Target Tracking

    针对移动机器人在导航障碍物同时保持目标可见性的动态跟踪任务,本文提出 LECO 框架,通过将轨迹优化转移至离线直接控制策略学习,利用可微运动学模型让轨迹级目标直接指导控制学习。

    推荐理由:LECO 框架将轨迹优化转化为离线直接控制策略学习,在仿真与真实机器人平台上实现了平滑且鲁棒的动态目标跟踪。

  15. arXiv · 机器人与计算机视觉48

    MMGNet:多模态六自由度抓取合成网络在杂乱场景下的性能突破

    MMGNet 通过分层图像到三维特征注入与旋转抓握性建模,解决点云噪声及 RGB 信息利用瓶颈。该模型在 GraspNet-1Billion 数据集上实现 60.34 的平均 AP,并在对抗性物体实验中较 AnyGrasp 提升 8.46 个百分点成功率。代码、模型与数据将在发表时开放。

  16. arXiv · 机器人与计算机视觉78

    无 GNSS 环境下无人机群搜索的不确定性感知方法

    该论文研究了在无 GNSS 海洋环境中无人机群的协同搜索问题,其中无人机间测距驱动合作定位,不确定性沿多跳参考链传播,影响连通性、避撞和搜索效果。作者提出一种不确定性感知控制屏障函数框架,通过费希尔信息矩阵近似级联定位协方差,将协方差模型及其变化率纳入连通性和避撞的约束边界中,并采用分层 Voronoi 目标策略保持队形。

    推荐理由:提出不确定性感知控制屏障函数框架,解决无 GNSS 环境下无人机群协同定位误差累积问题。

  17. arXiv · 机器人与计算机视觉58

    人类行为模型的目标不匹配:机器人学习中行为质量与学习效用的分离

    该论文在高速驾驶和物体交接两个领域评估了不同的人类行为模型,发现现有的行为评估指标不能一致地预测下游强化学习策略的性能,且评估结果对轨迹表示的选择敏感。研究还表明,即使已知真实的测试行为分布,针对不同的分布进行训练也可能带来更好的下游性能。

  18. arXiv · 机器人与计算机视觉72

    面向四旋翼无人机的拦截导向球形轴承非线性模型预测控制研究

    针对搭载惯导相机的四旋翼拦截器需同时解决机动与相机指向耦合冲突的问题,提出 ISB-NMPC 方法,结合 S^2 上的姿态补偿扩展卡尔曼滤波进行目标方位预测。在 30 次配对仿真试验中拦截成功率达 86.7%,平均可见时间占比 99.11%;户外飞行实现约 150 米外获取 30 厘米目标,长航程速度约 17 m/s,追击机动目标时约 14 m/s。代码与硬件开源。

  19. arXiv · 机器人与计算机视觉58

    网络人形智能:通信、协调、协作与社会交互综述

    这篇论文以工厂场景为纽带,系统梳理了人形机器人从实验室平台向网络化集群演进的关键技术维度。文章通过六个维度(交互架构、信息交换、物理耦合等)区分了物理机器人与仿真/非具身代理的研究差异,重点分析了通信、协调、协作及社会智能四大功能,并识别了控制感知网络、紧凑消息格式及可问责的人类监督等开放问题。

  20. arXiv · 机器人与计算机视觉58

    VLA-HWBench:VLA 模型在边缘硬件上的时间瓶颈分析

    论文提出了 VLA-HWBench 基准,评估了 18 个开源 VLA 模型在 NVIDIA Jetson AGX Thor 和 AMD Ryzen AI Max+ PRO 395 等边缘硬件上的推理延迟。研究发现动作生成策略比模型大小更关键,长动作块生成优于逐 token 解码;4 位权重与内核融合能显著加速特定模型但兼容性有限;优化后内存带宽和 CPU 预处理成为主要瓶颈。

  21. arXiv · 机器人与计算机视觉10

    货架内机器人拣选资源性能权衡:带载货升降机的穿梭车配置仿真对比研究

    离散事件仿真显示,带载货升降机配置的穿梭车在所有任务规模下平均循环时间均长于无升降机方案。在 n=15 位置时,前者周期为 333.231 秒/次,比后者增加 11.27%,导致每小时处理量下降 10.13%。该研究量化了单穿梭车替代双专用车的循环性能差异,但未评估系统最大吞吐量、投资成本或可靠性。

  22. arXiv · 机器人与计算机视觉78

    OSMA-Bench:家庭机器人导航中基于障碍物的安全基准测试

    该研究引入 OSMA-Bench 基准和语义敏感性指数(SSI),用于评估 VLM 及视觉语言动作策略在家庭环境下的安全导航能力。实验发现,即便有明确的安全提示,现有策略也无法将障碍物的语义风险等级一致地转化为连续的运动参数调整;针对 VLM 策略,增加显式的参数推断步骤可改善其适应性。该工作揭示了从语义理解到运动控制映射中的关键差距,并提出了相应的改进方向。

    推荐理由:OSMA-Bench 基准揭示 VLA 策略虽能语义区分障碍物却难以将其转化为连续运动参数,为物理 AI 中的语义到运动映射提供新评估视角。

  23. arXiv · 机器人与计算机视觉78

    RobotAgentBench:面向开放世界的机器人自主性基准

    论文介绍 RobotAgentBench(RAB),这是一个用于评估机器人智能体在真实开放世界家庭环境中自主性的综合基准。研究团队通过人环闭环的真实到仿真管线,构建了包含 50 种多样布局、90 个原子任务及多种长短期任务的场景。

    推荐理由:该基准通过人环闭环构建真实家庭场景,系统评估机器人智能体在任务发现、推理与恢复等维度的能力差距。

  24. arXiv · 机器人与计算机视觉38

    FastWAM、OpenWAM 与 π₀.₅ 利用未来视频预测作为训练辅助监督提升预训练 VLA 策略成功率

    FastWAM 和 OpenWAM 在已知任务清洁条件下,引入未来视频预测监督使成功率分别提升 24.38 和 72.91 个百分点。然而模型在环境随机化等分布偏移下表现不佳,未见一致优势。研究还向 π₀.₅ 引入轻量 Transformer 预测器作为训练目标,使其成功率从 82.94% 升至 89.19%,证明无需大型预训练视频扩散模型即可实现有效辅助监督。

  25. arXiv · 机器人与计算机视觉74

    基于德国坦克问题的嗅觉导航终止准则研究

    针对机器人接近气味源时浓度梯度平坦化及湍流导致信号中断的问题,本文提出一种受二战德国坦克问题启发的轻量级统计估计方法。该方法将传感器读数视为观测值,仅需维护运行最大值和样本计数器即可构建无偏估计器,用于估算气味羽流的峰值浓度并推断源头位置。研究推导了该估计器的精确置信边界,将其转化为机器人或无人机判断是否继续搜索或着陆的决策规则,并在假设失效情况下考察了其鲁棒性与样本效率。

  26. arXiv · 机器人与计算机视觉18

    多模态社会感知框架在虚拟现实中的具身智能交互研究

    该研究提出整合语音、视觉与触觉的多模态框架,以生成适配上下文的机器人语动。实验在包含五个社交场景的虚拟现实中,由 18 名参与者评估其表现,并与人工遥操作基线对比。结果显示自主系统在自然度与社会适宜性评分上虽高于中性点,但显著低于人工遥操作基线,揭示了当前自主机器人在多模态社会交互中面临的挑战。

  27. arXiv · 机器人与计算机视觉78

    TopX:仅凭骨架文件实现未见角色的文本到动作生成

    TopX 是一个拥有 73M 参数的流匹配 Transformer,能够仅根据骨架树、静息姿态和关节名称为任意运动学树生成关节旋转和根轨迹,无需训练片段或微调。该模型通过热核坐标对查询和键进行旋转以处理任意拓扑的骨架图,并在测试集上显著优于 UniMate,特别是在未见过的角色骨架上降低了 FID 分数并减少了穿模现象。

    推荐理由:TopX 模型仅凭骨架文件即可为未见过的角色生成动作,在无需微调或重定向的情况下显著降低了描述符与运动质量指标。

  28. arXiv · 机器人与计算机视觉63

    ScheNav:基于示意图的目标导向导航方法

    针对复杂环境中具身智能体寻找目标物体的任务,本文提出了 ScheNav 框架及 Furnished-RPLAN 数据集。该工作利用草图(如手绘或方向标注)作为低成本引导信息,通过 SchemaField 模块融合引导信息与观测数据以预测空间价值场,实现了从粗糙示意图到探索与停止决策的转化。

  29. arXiv · 机器人与计算机视觉73

    PS-DLO:一种感知物体属性与空间的变形线性物体操作策略

    针对变形线性物体(DLO)定位难且形变依赖物理属性的挑战,提出 PS-DLO 策略。该方法利用对比图像文本学习获取物体属性先验,并通过 SAM3 提取未来观测的掩码引导特征以编码任务相关区域及后续构型。在单臂与双臂平台上的九项真实世界任务中,PS-DLO 平均成功率达 68.9%,比最强基线高 20.0 个百分点;在蝴蝶结解开的泛化实验中,七种视觉扰动条件下有六种表现优于基线。

  30. arXiv · 机器人与计算机视觉83

    HumanoidNDM:通过人形神经动力学模型弥合运动跟踪的训练与部署差距

    针对人形机器人在真实部署中因物理扰动或仿真不准导致的训练 - 部署差距问题,本文提出 HumanoidNDM 在线微调框架。该方法在数据采集阶段引入低频自适应参考扰动机制,在模型训练阶段利用可微前向运动学构建基于本体的神经动力学模型以消除对昂贵动作捕捉系统的依赖,并在策略微调阶段通过反向传播梯度直接优化策略。

    推荐理由:提出首个无需动作捕捉的在线微调框架,通过本体感知神经动力学模型实现人形机器人对扰动的快速适应。

  31. arXiv · 机器人与计算机视觉70

    RoboDuo:通过代码实现尝试、检查与原子级恢复的视觉语言动作模型

    针对视觉语言动作模型在长程任务中单步失败导致整体未完成的痛点,本文提出 RoboDuo 闭环双系统框架。该框架利用代码作为编程智能体与两个 VLA 之间的接口:全任务 VLA 负责尝试执行,若检查发现未完成,则由原子 VLA 完成剩余步骤。

  32. arXiv · 机器人与计算机视觉83

    X-World:将视频先验迁移至可变视角机器人控制框架

    该论文提出了 X-World 框架,旨在解决将视频扩散模型生成的交互表示迁移到机器人控制的问题。方法上,通过残差跨视角注意力分支扩展预训练视频骨干网络以支持一到三个视角,利用层对齐的 Q-Former 聚合特征,并通过数据集特定模块映射原生状态与动作接口至共享动作专家。

    推荐理由:该框架将视频先验通过固定长度 token 序列迁移至共享动作专家,在 LIBERO 基准上达到 98.5% 成功率,并展示了跨视角融合与去耦训练对真实双臂任务的效果。