重访直接控制:通过鸟瞰图评估全尺寸自动驾驶车辆遥操作中传感器融合的现场有效性
论文报告了一项针对全尺寸自动驾驶车辆的实地遥操作实验,对比了标准摄像头、原始 LiDAR 点云及传感器融合三种鸟瞰图界面。结果显示,融合感知在感知可用性、认知负荷(NASA-TLX 评分显著降低)、任务完成时间及系统可用性(SUS)等指标上均优于单一传感器方案,为设计鲁棒的远程驾驶系统提供了实证依据。
论文报告了一项针对全尺寸自动驾驶车辆的实地遥操作实验,对比了标准摄像头、原始 LiDAR 点云及传感器融合三种鸟瞰图界面。结果显示,融合感知在感知可用性、认知负荷(NASA-TLX 评分显著降低)、任务完成时间及系统可用性(SUS)等指标上均优于单一传感器方案,为设计鲁棒的远程驾驶系统提供了实证依据。
该研究探索了利用大语言模型和视觉语言模型的通用与文化知识,建立跨模态交互式对齐过程,将人类自然语言表达的目的转化为机器人的任务与驱动以引导其行为。系统分为语义对齐、任务生成和驱动建模三层结构,支持双向交互循环:人类输入定义高层目的,机器人利用多模态信息将其扩展为可执行任务并维持意图对齐。在仿真和物理机器人上的实验表明该过程能产生有效任务和行为,支持交互式场景下的人机对齐。
针对电子垃圾拆解等复杂场景中视觉语言动作(VLA)策略学习的数据收集瓶颈及数字孪生建模困难,本文提出基于3D高斯泼溅(3DGS)的腕部相机数据生成管线。该方法通过重建真实工作空间并渲染机器人对齐姿态下的观测,配合平滑结构化的到达轨迹,为VLA微调提供机器人对齐的视觉 - 动作监督;同时引入指令条件到达验证器以估计目标接近度并提供可靠的物理交互前终止。
推荐理由:针对电子垃圾拆解等复杂场景,提出基于3D高斯泼溅的腕部相机数据生成管线与指令条件到达验证器,在仅需少量遥操作演示下实现高精度抓取。
该论文提出了一种分布式预测 flocking 控制器,用于在无领导者或全局地图的情况下协调大量微型机器人。研究在数字孪生环境中对比了六种屏障函数安全公式,发现离散时间 CBF 在多种任务(如趋光性、轨道运行)和不同集群规模下表现最佳,能有效平衡安全性与秩序。材料仅基于仿真结果,未涉及真实物理部署或量产数据。
推荐理由:原文在数字孪生环境中对比了六种安全约束公式,发现离散时间 CBF 在密集集群中碰撞最少且协调性最佳。
PI FR 基准引入单级、重复及嵌套中断设置,评估智能体在原子任务完成后的插入执行与序列恢复表现。实验显示不同中断条件下恢复性能存在差异,且聚合成功率可能掩盖处理细节。研究提出轻量候选排序基线以提升中断后目标重定位效果,为长视界导航提供系统框架。
针对资源受限具身智能体部署大视觉语言模型进行 3D 视觉问答时的带宽限制与传输失真问题,作者提出 TP-JSCC 方法。
arXiv 论文 MATE-BT 提出了一种分层去中心化的行为树框架,将任务执行、分配与具体动作解耦。系统通过车载主动领导者管理进程并在故障时转移权限,各机器人利用行为树适应局部行为。
针对无人机在工业环境中对动态移动管道(如振动)的跟踪难题,本文提出 VisGeo-PipeTrack 伺服控制框架。该框架利用 YOLOv5 检测管道标签并结合视觉几何约束实现精准定位,同时设计基于模型预测控制的实时修正自适应 PID(MPC-RCAPID)控制器以应对跟踪挑战。
推荐理由:提出 VisGeo-PipeTrack 框架,结合视觉几何约束与 MPC-RCAPID 控制器实现无人机对动态管道的自主跟踪。
作者提出 Labference 基准,旨在评估物理实验结果如何引导后续决策并转化为机器人动作。该协议通过控制证据变化测试行为适应性,独立测量操作选择、物理执行和任务完成,并利用共享检查点的 Oracle 辅助评估支持形式的影响。初步结果显示,现有 VLA 策略在物体转移成功时仍存在目标选择错误,而 GPT 驱动的控制虽能正确选择却面临执行失败和高计算成本,揭示了连接合理推理与可靠及时行动的必要性。
该论文提出了 Thermal-Headroom Routing (THR),一种利用闭合形式 RC 热模型预测处理器温度并排除可能触发降频的检测器配置的策略。
现有机器人导航方法多关注孤立任务,忽视跨次任务的经验积累及历史决策反思。本文提出 RetroNav,这是一个无需训练的自进化导航框架,整合了导航、记忆累积与失败反思。
论文提出 Zero-HLM 框架,旨在解决类人机器人行走与操作泛化受限于昂贵真实演示的问题。该方法通过高斯引导的智能体重建将手机捕获数据对齐至物理场景,并利用运动与环境共适应机制修正全身参考与交互几何。
推荐理由:提出 Zero-HLM 框架,利用手机数据与仿真生成零样本迁移演示,将 Unitree G1 任务成功率从 46.7% 提升至 66.7%,无需额外真实机器人数据。
该论文提出 MemVLN 框架,旨在解决基于 VLM 的智能体在长视野导航中维持持续情景记忆的难题。方法上,系统维护一个有界压缩感知特征库(标注时间戳与动作相对姿态),并通过交叉注意力生成紧凑记忆 token;结合冻结预训练几何编码器及掩码轨迹总结任务进行训练。
推荐理由:提出 MEMVLN 框架,通过压缩感知特征与冻结几何编码器实现长视野导航中的持续记忆,物理实验显示成功率从基线 17% 提升至 47%。
针对大型车辆在杂乱环境中被可移动障碍物阻挡的问题,该研究提出 PushAround 算法,这是一种结合几何连通性推理与短时仿真搜索的物理信息驱动混合搜索方法。系统通过重复查询 W-清除连通图(WCCG)来暴露需要拓宽的前端间隙并按预估下游成本排序,生成直接或递归的推挤候选方案,并选择障碍物、方向、接触点和力进行物理评估。
针对欠驱动的可变形线性物体(如线缆),该工作提出基于因子图的方法,在仅使用单一传感信息下同时重构形状并估算三维力的大小、方向及位置。实验通过引入测量噪声并在外部力作用下验证了方法的有效性,为双臂操作任务提供了可靠的接触估计与精确控制方案。
VISTA 提出一种元代理框架,将事后回放反思转化为具身 harness 的主动自我探索。该框架维护 harness 图谱以记录谱系,避免重复探索失败方向,并在 LIBERO-Pro、RoboCasa 和 RoboTwin 基准上验证了其在更少仿真回放下提升任务成功率的效果。代码与项目页面已公开。
该论文针对高性能控制策略缺乏形式化验证的问题,提出一种两阶段安全域认证框架。该方法利用收缩稳定性建立目标集,进而对闭环系统进行处理,实现了运行时构建上下文相关的安全吸引域(RoA)以及在高保真控制器候选项之间进行安全的切换以优化恢复能力。
针对移动机器人在导航障碍物同时保持目标可见性的动态跟踪任务,本文提出 LECO 框架,通过将轨迹优化转移至离线直接控制策略学习,利用可微运动学模型让轨迹级目标直接指导控制学习。
推荐理由:LECO 框架将轨迹优化转化为离线直接控制策略学习,在仿真与真实机器人平台上实现了平滑且鲁棒的动态目标跟踪。
MMGNet 通过分层图像到三维特征注入与旋转抓握性建模,解决点云噪声及 RGB 信息利用瓶颈。该模型在 GraspNet-1Billion 数据集上实现 60.34 的平均 AP,并在对抗性物体实验中较 AnyGrasp 提升 8.46 个百分点成功率。代码、模型与数据将在发表时开放。
该论文研究了在无 GNSS 海洋环境中无人机群的协同搜索问题,其中无人机间测距驱动合作定位,不确定性沿多跳参考链传播,影响连通性、避撞和搜索效果。作者提出一种不确定性感知控制屏障函数框架,通过费希尔信息矩阵近似级联定位协方差,将协方差模型及其变化率纳入连通性和避撞的约束边界中,并采用分层 Voronoi 目标策略保持队形。
推荐理由:提出不确定性感知控制屏障函数框架,解决无 GNSS 环境下无人机群协同定位误差累积问题。
该论文在高速驾驶和物体交接两个领域评估了不同的人类行为模型,发现现有的行为评估指标不能一致地预测下游强化学习策略的性能,且评估结果对轨迹表示的选择敏感。研究还表明,即使已知真实的测试行为分布,针对不同的分布进行训练也可能带来更好的下游性能。
针对搭载惯导相机的四旋翼拦截器需同时解决机动与相机指向耦合冲突的问题,提出 ISB-NMPC 方法,结合 S^2 上的姿态补偿扩展卡尔曼滤波进行目标方位预测。在 30 次配对仿真试验中拦截成功率达 86.7%,平均可见时间占比 99.11%;户外飞行实现约 150 米外获取 30 厘米目标,长航程速度约 17 m/s,追击机动目标时约 14 m/s。代码与硬件开源。
这篇论文以工厂场景为纽带,系统梳理了人形机器人从实验室平台向网络化集群演进的关键技术维度。文章通过六个维度(交互架构、信息交换、物理耦合等)区分了物理机器人与仿真/非具身代理的研究差异,重点分析了通信、协调、协作及社会智能四大功能,并识别了控制感知网络、紧凑消息格式及可问责的人类监督等开放问题。
论文提出了 VLA-HWBench 基准,评估了 18 个开源 VLA 模型在 NVIDIA Jetson AGX Thor 和 AMD Ryzen AI Max+ PRO 395 等边缘硬件上的推理延迟。研究发现动作生成策略比模型大小更关键,长动作块生成优于逐 token 解码;4 位权重与内核融合能显著加速特定模型但兼容性有限;优化后内存带宽和 CPU 预处理成为主要瓶颈。
离散事件仿真显示,带载货升降机配置的穿梭车在所有任务规模下平均循环时间均长于无升降机方案。在 n=15 位置时,前者周期为 333.231 秒/次,比后者增加 11.27%,导致每小时处理量下降 10.13%。该研究量化了单穿梭车替代双专用车的循环性能差异,但未评估系统最大吞吐量、投资成本或可靠性。
该研究引入 OSMA-Bench 基准和语义敏感性指数(SSI),用于评估 VLM 及视觉语言动作策略在家庭环境下的安全导航能力。实验发现,即便有明确的安全提示,现有策略也无法将障碍物的语义风险等级一致地转化为连续的运动参数调整;针对 VLM 策略,增加显式的参数推断步骤可改善其适应性。该工作揭示了从语义理解到运动控制映射中的关键差距,并提出了相应的改进方向。
推荐理由:OSMA-Bench 基准揭示 VLA 策略虽能语义区分障碍物却难以将其转化为连续运动参数,为物理 AI 中的语义到运动映射提供新评估视角。
论文介绍 RobotAgentBench(RAB),这是一个用于评估机器人智能体在真实开放世界家庭环境中自主性的综合基准。研究团队通过人环闭环的真实到仿真管线,构建了包含 50 种多样布局、90 个原子任务及多种长短期任务的场景。
推荐理由:该基准通过人环闭环构建真实家庭场景,系统评估机器人智能体在任务发现、推理与恢复等维度的能力差距。
FastWAM 和 OpenWAM 在已知任务清洁条件下,引入未来视频预测监督使成功率分别提升 24.38 和 72.91 个百分点。然而模型在环境随机化等分布偏移下表现不佳,未见一致优势。研究还向 π₀.₅ 引入轻量 Transformer 预测器作为训练目标,使其成功率从 82.94% 升至 89.19%,证明无需大型预训练视频扩散模型即可实现有效辅助监督。
针对机器人接近气味源时浓度梯度平坦化及湍流导致信号中断的问题,本文提出一种受二战德国坦克问题启发的轻量级统计估计方法。该方法将传感器读数视为观测值,仅需维护运行最大值和样本计数器即可构建无偏估计器,用于估算气味羽流的峰值浓度并推断源头位置。研究推导了该估计器的精确置信边界,将其转化为机器人或无人机判断是否继续搜索或着陆的决策规则,并在假设失效情况下考察了其鲁棒性与样本效率。
Dual Gradient Consensus(DGC)提出一种混合域内/域外扰动的自适应学习方法,通过比较残差梯度与长短记忆并抑制不可靠更新来优化四旋翼轨迹跟踪。
该研究提出整合语音、视觉与触觉的多模态框架,以生成适配上下文的机器人语动。实验在包含五个社交场景的虚拟现实中,由 18 名参与者评估其表现,并与人工遥操作基线对比。结果显示自主系统在自然度与社会适宜性评分上虽高于中性点,但显著低于人工遥操作基线,揭示了当前自主机器人在多模态社会交互中面临的挑战。
本文提出了 ThinkLocoManip,这是一个专为大规模环境中复杂、长周期任务设计的足式行走 - 操作(legged loco-manipulation)智能体框架。
针对视觉语言动作(VLA)模型受限于稀缺的动作标注数据和跨机器人本体不兼容的控制空间问题,本文提出 RynnVLA-Latent 框架。其核心组件 RynnLAM 能从视觉转换中学习连续、三维接地的潜变量动作,无需原生机器人控制信号。
TopX 是一个拥有 73M 参数的流匹配 Transformer,能够仅根据骨架树、静息姿态和关节名称为任意运动学树生成关节旋转和根轨迹,无需训练片段或微调。该模型通过热核坐标对查询和键进行旋转以处理任意拓扑的骨架图,并在测试集上显著优于 UniMate,特别是在未见过的角色骨架上降低了 FID 分数并减少了穿模现象。
推荐理由:TopX 模型仅凭骨架文件即可为未见过的角色生成动作,在无需微调或重定向的情况下显著降低了描述符与运动质量指标。
针对复杂环境中具身智能体寻找目标物体的任务,本文提出了 ScheNav 框架及 Furnished-RPLAN 数据集。该工作利用草图(如手绘或方向标注)作为低成本引导信息,通过 SchemaField 模块融合引导信息与观测数据以预测空间价值场,实现了从粗糙示意图到探索与停止决策的转化。
针对将视觉语言动作模型扩展到具身智能时面临的全身控制协调与数据收集成本高的挑战,该研究提出了 HuGe 系列模型。该模型预训练于超过 2000 小时的以自我为中心的人机混合数据,采用三种代表性架构预测潜在运动令牌及手部控制信号。
针对变形线性物体(DLO)定位难且形变依赖物理属性的挑战,提出 PS-DLO 策略。该方法利用对比图像文本学习获取物体属性先验,并通过 SAM3 提取未来观测的掩码引导特征以编码任务相关区域及后续构型。在单臂与双臂平台上的九项真实世界任务中,PS-DLO 平均成功率达 68.9%,比最强基线高 20.0 个百分点;在蝴蝶结解开的泛化实验中,七种视觉扰动条件下有六种表现优于基线。
针对人形机器人在真实部署中因物理扰动或仿真不准导致的训练 - 部署差距问题,本文提出 HumanoidNDM 在线微调框架。该方法在数据采集阶段引入低频自适应参考扰动机制,在模型训练阶段利用可微前向运动学构建基于本体的神经动力学模型以消除对昂贵动作捕捉系统的依赖,并在策略微调阶段通过反向传播梯度直接优化策略。
推荐理由:提出首个无需动作捕捉的在线微调框架,通过本体感知神经动力学模型实现人形机器人对扰动的快速适应。
针对视觉语言动作模型在长程任务中单步失败导致整体未完成的痛点,本文提出 RoboDuo 闭环双系统框架。该框架利用代码作为编程智能体与两个 VLA 之间的接口:全任务 VLA 负责尝试执行,若检查发现未完成,则由原子 VLA 完成剩余步骤。
该论文提出了 X-World 框架,旨在解决将视频扩散模型生成的交互表示迁移到机器人控制的问题。方法上,通过残差跨视角注意力分支扩展预训练视频骨干网络以支持一到三个视角,利用层对齐的 Q-Former 聚合特征,并通过数据集特定模块映射原生状态与动作接口至共享动作专家。
推荐理由:该框架将视频先验通过固定长度 token 序列迁移至共享动作专家,在 LIBERO 基准上达到 98.5% 成功率,并展示了跨视角融合与去耦训练对真实双臂任务的效果。