3D-Force Estimation for Dual-arm Manipulation of Deformable Linear Objects via Factor Graphs 预印本发布
针对欠驱动的可变形线性物体(如线缆),该工作提出基于因子图的方法,在仅使用单一传感信息下同时重构形状并估算三维力的大小、方向及位置。实验通过引入测量噪声并在外部力作用下验证了方法的有效性,为双臂操作任务提供了可靠的接触估计与精确控制方案。
针对欠驱动的可变形线性物体(如线缆),该工作提出基于因子图的方法,在仅使用单一传感信息下同时重构形状并估算三维力的大小、方向及位置。实验通过引入测量噪声并在外部力作用下验证了方法的有效性,为双臂操作任务提供了可靠的接触估计与精确控制方案。
VISTA 提出一种元代理框架,将事后回放反思转化为具身 harness 的主动自我探索。该框架维护 harness 图谱以记录谱系,避免重复探索失败方向,并在 LIBERO-Pro、RoboCasa 和 RoboTwin 基准上验证了其在更少仿真回放下提升任务成功率的效果。代码与项目页面已公开。
该论文针对高性能控制策略缺乏形式化验证的问题,提出一种两阶段安全域认证框架。该方法利用收缩稳定性建立目标集,进而对闭环系统进行处理,实现了运行时构建上下文相关的安全吸引域(RoA)以及在高保真控制器候选项之间进行安全的切换以优化恢复能力。
针对视觉语言动作(VLA)策略的离散候选选择与连续运动控制问题,本文提出 JevVLA 轻量级能量基适应框架。该框架在冻结预训练策略的基础上,利用执行反馈或专家修正学习可微标量能量函数以建模动作提案的相对质量:其值用于比较离散候选项,梯度则用于校正或引导连续动作生成。
针对移动机器人在导航障碍物同时保持目标可见性的动态跟踪任务,本文提出 LECO 框架,通过将轨迹优化转移至离线直接控制策略学习,利用可微运动学模型让轨迹级目标直接指导控制学习。
推荐理由:LECO 框架将轨迹优化转化为离线直接控制策略学习,在仿真与真实机器人平台上实现了平滑且鲁棒的动态目标跟踪。
该研究提出一种结合分位扰动预测与管式模型预测控制的算法,在存在摩擦、扭矩脉动及模型失配等机械干扰下实现高精度线视场指向。实验显示,该方法在两轴嵌入式平台上七次重复试验中,二维指向均方根误差为$3.94 \pm 0.10$ mrad且评估窗口内无命令受限样本。论文已提交至《富兰克林学会学报》,附带硬件试验数据与重算脚本作为辅助文件。
MMGNet 通过分层图像到三维特征注入与旋转抓握性建模,解决点云噪声及 RGB 信息利用瓶颈。该模型在 GraspNet-1Billion 数据集上实现 60.34 的平均 AP,并在对抗性物体实验中较 AnyGrasp 提升 8.46 个百分点成功率。代码、模型与数据将在发表时开放。
该论文在高速驾驶和物体交接两个领域评估了不同的人类行为模型,发现现有的行为评估指标不能一致地预测下游强化学习策略的性能,且评估结果对轨迹表示的选择敏感。研究还表明,即使已知真实的测试行为分布,针对不同的分布进行训练也可能带来更好的下游性能。
针对搭载惯导相机的四旋翼拦截器需同时解决机动与相机指向耦合冲突的问题,提出 ISB-NMPC 方法,结合 S^2 上的姿态补偿扩展卡尔曼滤波进行目标方位预测。在 30 次配对仿真试验中拦截成功率达 86.7%,平均可见时间占比 99.11%;户外飞行实现约 150 米外获取 30 厘米目标,长航程速度约 17 m/s,追击机动目标时约 14 m/s。代码与硬件开源。
这篇论文以工厂场景为纽带,系统梳理了人形机器人从实验室平台向网络化集群演进的关键技术维度。文章通过六个维度(交互架构、信息交换、物理耦合等)区分了物理机器人与仿真/非具身代理的研究差异,重点分析了通信、协调、协作及社会智能四大功能,并识别了控制感知网络、紧凑消息格式及可问责的人类监督等开放问题。
论文提出了 VLA-HWBench 基准,评估了 18 个开源 VLA 模型在 NVIDIA Jetson AGX Thor 和 AMD Ryzen AI Max+ PRO 395 等边缘硬件上的推理延迟。研究发现动作生成策略比模型大小更关键,长动作块生成优于逐 token 解码;4 位权重与内核融合能显著加速特定模型但兼容性有限;优化后内存带宽和 CPU 预处理成为主要瓶颈。
该研究引入 OSMA-Bench 基准和语义敏感性指数(SSI),用于评估 VLM 及视觉语言动作策略在家庭环境下的安全导航能力。实验发现,即便有明确的安全提示,现有策略也无法将障碍物的语义风险等级一致地转化为连续的运动参数调整;针对 VLM 策略,增加显式的参数推断步骤可改善其适应性。该工作揭示了从语义理解到运动控制映射中的关键差距,并提出了相应的改进方向。
推荐理由:OSMA-Bench 基准揭示 VLA 策略虽能语义区分障碍物却难以将其转化为连续运动参数,为物理 AI 中的语义到运动映射提供新评估视角。
论文介绍 RobotAgentBench(RAB),这是一个用于评估机器人智能体在真实开放世界家庭环境中自主性的综合基准。研究团队通过人环闭环的真实到仿真管线,构建了包含 50 种多样布局、90 个原子任务及多种长短期任务的场景。
推荐理由:该基准通过人环闭环构建真实家庭场景,系统评估机器人智能体在任务发现、推理与恢复等维度的能力差距。
FastWAM 和 OpenWAM 在已知任务清洁条件下,引入未来视频预测监督使成功率分别提升 24.38 和 72.91 个百分点。然而模型在环境随机化等分布偏移下表现不佳,未见一致优势。研究还向 π₀.₅ 引入轻量 Transformer 预测器作为训练目标,使其成功率从 82.94% 升至 89.19%,证明无需大型预训练视频扩散模型即可实现有效辅助监督。
针对机器人接近气味源时浓度梯度平坦化及湍流导致信号中断的问题,本文提出一种受二战德国坦克问题启发的轻量级统计估计方法。该方法将传感器读数视为观测值,仅需维护运行最大值和样本计数器即可构建无偏估计器,用于估算气味羽流的峰值浓度并推断源头位置。研究推导了该估计器的精确置信边界,将其转化为机器人或无人机判断是否继续搜索或着陆的决策规则,并在假设失效情况下考察了其鲁棒性与样本效率。
Dual Gradient Consensus(DGC)提出一种混合域内/域外扰动的自适应学习方法,通过比较残差梯度与长短记忆并抑制不可靠更新来优化四旋翼轨迹跟踪。
该研究提出整合语音、视觉与触觉的多模态框架,以生成适配上下文的机器人语动。实验在包含五个社交场景的虚拟现实中,由 18 名参与者评估其表现,并与人工遥操作基线对比。结果显示自主系统在自然度与社会适宜性评分上虽高于中性点,但显著低于人工遥操作基线,揭示了当前自主机器人在多模态社会交互中面临的挑战。
作者引入了 PhysLadder,这是一个用于评估富接触操作中物理交互能力的分层 Sim-Real 基准。其包含的 16 个家庭任务跨越三个累积层级:接触选择与几何对齐(L1)、持续接触内的力调节(L2)以及协调接触重构与力调节(L3)。
推荐理由:该基准通过分层任务量化了 GPT-6 Astra 在接触密集操作中的能力边界,揭示了从几何对齐到力调节的退化规律。
针对无法连接工作站的移动操作机器人和类人机器人,本文提出 TRIAGE 方法以解决视觉语言动作模型在端侧部署时的实时性瓶颈。研究通过 token 级诊断发现,缓存有效性取决于 token 的漂移程度:低漂移时复用缓存优于剪枝,高漂移时则相反。
针对机器人演示稀缺限制复杂灵巧操作生成的问题,本文提出 ARPG(Action Representation Pretraining and Generation)方法。
本文提出了 ThinkLocoManip,这是一个专为大规模环境中复杂、长周期任务设计的足式行走 - 操作(legged loco-manipulation)智能体框架。
针对视觉语言动作(VLA)模型受限于稀缺的动作标注数据和跨机器人本体不兼容的控制空间问题,本文提出 RynnVLA-Latent 框架。其核心组件 RynnLAM 能从视觉转换中学习连续、三维接地的潜变量动作,无需原生机器人控制信号。
针对复杂环境中具身智能体寻找目标物体的任务,本文提出了 ScheNav 框架及 Furnished-RPLAN 数据集。该工作利用草图(如手绘或方向标注)作为低成本引导信息,通过 SchemaField 模块融合引导信息与观测数据以预测空间价值场,实现了从粗糙示意图到探索与停止决策的转化。
arXiv 论文提出 AdaPolicy 框架,旨在赋予机器人策略前瞻性能力以改善控制性能。该方法摒弃依赖未来观测显式监督的传统做法,转而直接从动作信号中激发预见性。
针对将视觉语言动作模型扩展到具身智能时面临的全身控制协调与数据收集成本高的挑战,该研究提出了 HuGe 系列模型。该模型预训练于超过 2000 小时的以自我为中心的人机混合数据,采用三种代表性架构预测潜在运动令牌及手部控制信号。
针对变形线性物体(DLO)定位难且形变依赖物理属性的挑战,提出 PS-DLO 策略。该方法利用对比图像文本学习获取物体属性先验,并通过 SAM3 提取未来观测的掩码引导特征以编码任务相关区域及后续构型。在单臂与双臂平台上的九项真实世界任务中,PS-DLO 平均成功率达 68.9%,比最强基线高 20.0 个百分点;在蝴蝶结解开的泛化实验中,七种视觉扰动条件下有六种表现优于基线。
针对人形机器人在真实部署中因物理扰动或仿真不准导致的训练 - 部署差距问题,本文提出 HumanoidNDM 在线微调框架。该方法在数据采集阶段引入低频自适应参考扰动机制,在模型训练阶段利用可微前向运动学构建基于本体的神经动力学模型以消除对昂贵动作捕捉系统的依赖,并在策略微调阶段通过反向传播梯度直接优化策略。
推荐理由:提出首个无需动作捕捉的在线微调框架,通过本体感知神经动力学模型实现人形机器人对扰动的快速适应。
针对视觉语言动作模型在长程任务中单步失败导致整体未完成的痛点,本文提出 RoboDuo 闭环双系统框架。该框架利用代码作为编程智能体与两个 VLA 之间的接口:全任务 VLA 负责尝试执行,若检查发现未完成,则由原子 VLA 完成剩余步骤。
该论文提出了 X-World 框架,旨在解决将视频扩散模型生成的交互表示迁移到机器人控制的问题。方法上,通过残差跨视角注意力分支扩展预训练视频骨干网络以支持一到三个视角,利用层对齐的 Q-Former 聚合特征,并通过数据集特定模块映射原生状态与动作接口至共享动作专家。
推荐理由:该框架将视频先验通过固定长度 token 序列迁移至共享动作专家,在 LIBERO 基准上达到 98.5% 成功率,并展示了跨视角融合与去耦训练对真实双臂任务的效果。
针对多机器人应用中监控(空间分散)与围捕(目标向凝聚)的任务冲突及切换不稳定问题,本文提出双流门控网络 DSGN 架构。该架构通过专用表征流分离任务并引入上下文感知门控机制与概率先验正则化,以支持大规模交互下的清晰行为过渡。评估显示其在恒定密度跨尺度设置下保持强效性与可扩展性,且动态门控机制在纯监控及任务切换场景中均有效。代码已开源。
该研究提出一种基于激光雷达的实时框架,从无标签演示中学习交互感知的路径修正以应对动态施工环境。在砌砖试验中,该方法将路径不规则性降低 39.2% 并提升最小 TTC;在 Dynablox 序列中,TTC 增加 38.3% 且生成更平滑路径。消融研究验证了 1.0 秒预测区间及上下文增强等策略的有效性,论文已提交至 Automation in Construction。
论文提出 Extended LASMP 方法,旨在提升四旋翼飞行器在三维环境中的基于采样的运动规划效率。该方法将语言辅助子集采样扩展至空中系统,利用提示词大模型从自然语言指令中提取实体并验证指令,将其转化为偏航角约束和高度感知的几何约束。仿真结果表明,该方法能在复杂环境中生成无碰撞且一致的轨迹,相比均匀 RRT 规划器显著减少了采样努力。
该开源仿真框架将 WSR 感知流水线集成至 Gazebo,生成具备真实物理特性的合成 WiFi-CSI 数据以支持运动诱导测向与定位。研究通过 TurtleBot3 机器人在仿真与真实世界的对比实验验证了该方法的有效性,降低了多机器人系统中基于 WiFi-CSI 感知的入门门槛。所有代码及实验细节已公开,为将其作为模块化感知模态融入多模态感知系统奠定基础。
ElevateHead 通过在学习到的决策点一次性选择并锁定动作模式,解决了策略在演示存在多种有效方式时的摇摆现象。该方法在受控任务中将成功率从基线 BeT 的 29.3% 提升至 45.2%,且在强制指定模式下对成功集子的匹配率达 95%。研究通过逐版诊断修复了不同起始位置和物体摆放导致的承诺失效,但仿真结果尚未在真实机器人上验证。
该研究提出基于 PDDLStream 的 TAMP 框架,将任务导向的信息交互与规划执行交织,通过乐观规划、执行验证及局部重规划应对不确定结果。实验在仿真与真实机器人上验证了判断物体可移动性、笔是否有墨水等长周期操作任务的有效性。
Jingwen Li 等人在 arXiv 发布论文《Learning Functional Specialisation for Bimanual Robotic Control》,在仿真肌肉骨骼系统中研究双机械臂控制的责任组织方式。
针对移动机器人在动态环境中导航的短时段行人轨迹预测任务,该研究提出 TrajMamba 模型以解决传统方法中训练数据理想化与推理端传感器噪声之间的分布差异。模型采用单一路径处理姿态提取、深度反投影及平滑过程,利用堆叠双向 Mamba 块编码髋部中心速度并配合 GRU 头解码未来速度。
推荐理由:该工作提出轻量级双向状态空间模型解决训练部署分布差异,在移动机器人上实现实时行人轨迹预测。
该研究针对多无人机协同探索室内受限空间时面临的 Sybil 攻击(恶意节点伪造身份干扰探索),提出五种无需额外安全基础设施的防御方案,仅依赖无人机自身的传感器与地图数据。实验在包含办公室、隧道及三层建筑等七类场景的 70 张地图上进行模拟测试,结果显示在超过 2350 次任务中,隔离机制能将受攻击团队的探索覆盖率恢复至未受攻击水平,仅在特定合谋或大规模团队场景下存在局限。
推荐理由:论文提出无需额外安全设施的防御机制,通过传感器与地图审计抵御无人机群中的 Sybil 攻击。
针对视觉 - 语言 - 动作(VLA)模型依赖文本输入导致自然语音部署受限的问题,本文提出 Speech-π0.5。该模型基于 π0.5 架构,利用跨模态投影将原始语音帧直接转换为音频 token,无需显式文本转录,从而显著降低响应延迟。实验在 LIBERO 基准上验证了其在保持竞争力的任务成功率的同时,对未见口音具有鲁棒性,而单一适配器则表现较差。
推荐理由:提出 Speech-π0.5,通过跨模态投影将语音帧直接映射为动作指令,相比传统 ASR 流程降低三倍响应延迟。
论文提出 RoboLongR 框架,旨在解决长视界操作中视觉进展掩盖任务先决条件的问题。该方法通过阶段打乱监督、循环记忆和两轮训练学习依赖历史的奖励,引导策略从行为克隆过渡到在线强化学习。模型在 RLBench 88 个任务预训练后,对未参与预训练的 18 个长视界任务平均成功率达 31.8%,超越最强基线 9.2 个百分点;在四个真实机器人任务上成功率为 57.5%,提升 32.5 个百分点。