Lazy-MOSAIC:通过学习到的技能效果世界模型加速以技能为中心的操纵规划
针对长视界操纵任务中基于高保真物理模拟器评估每个候选技能的计算成本问题,本文提出 Lazy-MOSAIC 框架。该方法利用廉价学习到的技能效果世界模型预测技能的可行性及产生的世界状态,仅对有希望的候选技能进行昂贵仿真验证,并在假设被证伪时仅修复受影响的搜索部分。
针对长视界操纵任务中基于高保真物理模拟器评估每个候选技能的计算成本问题,本文提出 Lazy-MOSAIC 框架。该方法利用廉价学习到的技能效果世界模型预测技能的可行性及产生的世界状态,仅对有希望的候选技能进行昂贵仿真验证,并在假设被证伪时仅修复受影响的搜索部分。
该研究针对高维联合轨迹计算挑战,引入结合预训练单智能体扩散先验与投影梯度下降的混合框架。仿真表明该方法能生成平滑无碰撞且符合仿射几何约束的计划,在动态可行性、避障及平滑度指标上优于最先进规划器,并易于被分布式控制器跟踪。
论文介绍 ThinkWAM,一种基于潜在空间的 World-action model(世界 - 动作模型),通过提议 - 反思 - 细化循环优化动作生成。该方法利用提议修正多时域未来潜变量残差,并将修正后的潜变量注入第二遍动作头以生成可执行动作。
CALDS(Cooperative Adaptation of Learned Dynamical Systems)框架利用学习到的动力学系统,使移动操作机器人能在协助穿衣、餐厅清洁及抽屉操作中安全协同执行。该方案通过识别兼容策略组合与确保无碰撞时序适应,在保持演示行为空间结构与收敛性的同时显著改善任务成功率。此为预印本版本,包含 15 页正文、4 张图及 2 个表格,尚未进行同行评审或正式出版。
论文提出了 Polygraph 系统,解决机器人和车辆多次穿越同一环境时的轨迹全局一致性问题。该方法在线处理会话,按关键帧和空间聚类逐步优化,不构建 3D 地图。
推荐理由:Polygraph 提出在线多会话轨迹优化方案,无需构建 3D 地图即可实现跨设备、跨场景的位姿图融合。
论文提出了 WinDEX 框架,整合了几何时序优化、视觉惯性 SLAM 及端到端鱼眼原生网络,构建了包含 1000 小时标注的 WinDEX-Hand 数据集。
推荐理由:提出 WinDEX 方法,结合几何优化与视觉惯性 SLAM 实现野外高精度手部重建,数据集支持强化学习与遥操作。
论文提出了 LightAct 框架,旨在将交互经验转化为个体决策的引导,解决轨迹结果模糊与无指导探索重复的问题。该方法将交互片段总结为经验条目并整合为特定游戏的技能,利用共享冻结策略对候选动作进行短步长回滚比较,基于环境报告的平均得分增益生成相对动作奖励作为强化学习监督。
arXiv 预印本论文 Multi-CONDOR 提出一种结合模仿学习与 Lyapunov 稳定性分析的框架,用于学习具有多个离散吸引子或连续目标轮廓的运动基元。实验显示该方法在仿真中将轨迹 RMSE 降低约 72%,并将初始状态落入容差外的比例降至 0%;实物实验利用 Franka Emika 机械臂成功演示了通过两个把手抓取容器的能力,验证了框架在运动复现与多结果收敛方面的灵活性。
FlowRow 提出一种基于流匹配的局部规划器,利用长视界相对目标与深度感知建模农业导航行为分布。该方法在 Isaac Sim 构建的 RowNavBench(含葡萄园、柠檬及苹果园共 900 集)上实现 87% 成功率,显著优于同演示重训的最强生成式行为克隆基线(44%)。研究团队将在论文接收后开放基准、数据与代码。
预训练的视觉表征虽富含时序信息,但有效整合到现有视觉语言动作(VLA)策略仍具挑战。本文提出 FAVR,一种轻量级框架,通过线性测试时训练(TTT)维持紧凑的时序视觉状态,并在基于流的动作生成过程中检索动作条件的视觉特征。
针对现有系统仅能实现有限唇部运动或脚本化表情的局限,本文提出 ROSE 框架,整合仿生硬件与跨具身运动表示学习。硬件上构建集成 34 个执行器的 19.5 cm 仿生头部结构;算法上利用 ROSE-VAE 从人、数字人和机器人观测中学习身份无关的共享面部运动隐空间,ROSE-Flow 直接将文本或音频映射为运动轨迹,ROSE-ACT 将其转换为受约束的执行器指令。
推荐理由:提出 ROSE 框架,通过解耦执行器布局与面部动作点实现紧凑头部全脸表达,并构建跨模态运动生成管线。
针对欠驱动车辆安全约束设计困难且保守的问题,本文提出一种将验证过的相对坐标屏障迁移至同一家族中所有障碍物的方法。核心贡献包括表达状态相对于每个障碍物的广义闭包条件、将缺失信息表示为残差的提升定理,以及用于识别对称性不足情况的秩检验。作者在双积分器、平面飞机和 12 自由度四旋翼上验证了该方法,证明其能在无需重新训练的情况下迁移到新地图中,并在部署与快速启动实验中有效。
EviBridge 框架将冻结的 V-JEPA 2 编码器特征映射至语言解码器,用于工具交接任务中的状态与工具联合预测。在 FuGIBench 基准测试中,最佳变体整体得分达 0.6448 和 0.5892,显著优于各自的任务自适应原生基线(0.2178 和 0.5327)。该成果涵盖目标交接、长时间等待及取消请求场景,验证了预测视觉证据对交互决策的价值。
该研究针对人形机器人模仿运动演示中的风格难题,提出一种基于速度条件的全身控制策略。方法通过强化学习训练策略,利用参考运动监督奖励和评论家网络,但不向演员网络提供关节轨迹或进行教师蒸馏,从而将演示风格编码进策略中。
论文提出 TRR(Thermal Robot Renderer),这是一个将空间解析的热状态附加到接触对象、并通过接触/传输/分离更新局部热交换的渲染器。材料展示了受控干预如何证明保留热量对后续接触结果的影响,并发布了包含 2,224 个静态 - 动态对的六任务基准数据集(共 4,448 条轨迹)。
推荐理由:TRR 引擎引入热力学状态模拟,生成带热历史的 RGBT 基准数据集与工程工作流,旨在提升机器人接触安全选择率并加速仿真到现实迁移。
针对人形全身控制中运动追踪策略学习需大规模计算资源且泛化难的问题,本文提出 QTOP 方法,通过引入基于状态和参考对的条件分布优势估计来提升样本效率。实验表明,该方法在仿真及真实世界场景中均优于离线与在线强化学习基线,性能提升最高达 10%。研究还建立了 QTOP 的扩展定律,发现对于中等规模的 GPU 小时量级,数据集规模对性能影响有限。
该论文综述了利用基础模型的机器人奖励模型(RRM),将其按输出语义分为五类,并指出当前评估器难以区分任务完成度与执行时序的缺口。为此,作者构建了包含 1,117 条闭环真实视频的新基准 RRM-Bench-1K 及开源工具集 RRM-Hub,支持对 27 种现有评估器的统一测试与新方法验证。
该论文提出了 AVD 系统,这是一个基于商用硬件构建的低成本多传感器遥操作轮椅平台,旨在解决严重运动与视觉障碍人士的独立移动问题。其核心贡献在于设计了以安全为导向的控制架构,确立了手动紧急停止和乘员摇杆优先于远程指令的静态权限层级,并实现了计算功能的分区与安全状态的心跳驱动切换。
针对异构触觉传感机制阻碍跨硬件迁移的问题,该研究将触觉表征锚定在由牛顿力学支配的六维力矩上,构建了包含 24 种传感器的超大规模数据集(超过 1 亿对观测与力矩测量)。
针对夹爪难以抓取的存储箱、椅子等大物体,作者发布了首个大规模单臂拾取数据集 WAG,包含 793 个物体共 1.7M 种关节配置。在此基础上开发了 ARMFUL 流水线,利用在 WAG 上训练的扩散模型从点云生成全臂抓取位姿,并由运动规划器确保无碰撞执行。
本文提出一种规则引导的 VLA 框架,将英国公路守则的部分条款形式化为可执行的一阶逻辑规则,结合专家演示监督微调和强化学习优化策略。在 CARLA 仿真器离线评估中,该方法相比仅基于监督学习的基线,显著提升了动作预测准确性和编码规则的合规率,最佳变体将整体规则通过率从 92.9% 提升至 97.6%,且在评估样本中未观察到违反路权优先级检查的情况。
该系统基于 ROS2 架构,结合 Grounding DINO 与 Nav2 栈,在 Gazebo 仿真环境中实现了无需特定训练的端到端语义导航。实验显示 TurtleBot3 机器人成功执行了全部测试的自然语言指令并探测到五个目标中的三个,但性能受限于检测不确定性与深度定位误差。研究证实轻量级 CPU 架构具备可行性,同时揭示了开放词汇感知与传统导航管线集成的当前局限。
论文提出了 AsymEEF 框架,旨在解决跨不同运动学特性的末端执行器收集演示数据成本高且难以复用的问题。该框架通过共享编码器将手腕姿态映射到形态无关的隐空间,利用运动学教师锚点和稀疏真实世界校准点提供几何监督与误差修正,实现了从少量源数据集向两指、三指及五指等多种组合的迁移,无需额外遥操作即可生成可执行的轨迹。
推荐理由:该框架实现了双机械臂在不同末端执行器间的演示迁移,无需额外遥操作即可在仿真与真实机器人上提升任务成功率。
研究引入学习到的动力学模型控制牵引挂车,在四个仿真环境中闭环跟踪实验显示,相比解析基线模型,该方法在所有测试设定点均实现了更接近目标的速度和更低的挂钩角度均方根值。在八种反向配置中,七种的完成率更高,有效解决了倒车不稳定及路面摩擦等难测量因素带来的控制难题。
论文提出了 NF-VLA 模型,结合条件自回归归一化流与基于分数的动作细化技术,利用单一学习到的密度支持策略训练、动作生成及修正。该模型在 LIBERO 基准的四个标准套件上达到 98.35% 成功率,在 LIBERO-Plus 上达到 72.6%,且无需机器人预训练或额外微调。
推荐理由:该工作提出基于自回归归一化流的 VLA 基线模型,在 LIBERO 基准上实现高成功率且无需额外微调。
OntoCBF 将领域本体与动力学特征编译为单智能体二次规划的安全滤波器,利用描述逻辑在线推导约束以覆盖新类。仿真显示,面对未见类别时传统滤波器违反安全率达 89-100%,而 OntoCBF 在含 32 机器人场景中仅违反 20-70%。结合多智能体 PPO 策略后,不可行二次规划率降低 18-41%,且所有违规均源于冲突而非能力高估。
EgoSwarm 是首个能从人类群集演示中学习去中心化多机器人协作的机器人学习框架。该框架利用无机器人的多人第一人称系统收集了超过 50 小时的合作经验,并通过 Swarm Interaction Packet (SIP) 和 Swarm Interaction Token (SIT) 从分布式观测中恢复跨智能体交互关系。
SGIP 是一种用于人体运动预测的新方法,旨在解决复杂场景中未来运动目标模糊的问题。该方法通过意图蒸馏技术,在训练阶段利用大语言模型结合几何特征对候选区域打分,使学生模型仅凭观测到的运动和三维场景信息即可学习场景 grounded 交互先验,从而在无需 gaze 或 intent 的情况下准确预测轨迹和全身姿态。实验表明,SGIP 在多个基准数据集上优于现有的场景感知基线,证明了该框架的有效性。
该论文提出 PlanDiv 模块,通过引入轻量级规划器生成 K 个潜在计划假设,使视觉语言动作模型的多个候选动作差异源于规划而非噪声。在固定主干网络与训练数据下,该方法将 CALVIN 基准上五步任务链成功率从 56.9% 提升至 69.9%,并在 LIBERO-Long 和真实 Franka 机械臂实验中验证了其在多解任务中的优势。材料为预印本论文,未提及开源代码或模型权重。
推荐理由:提出 PlanDiv 模块,利用潜在规划假设提升 VLA 模型在测试时的多候选执行成功率。
论文提出了 MoViC 框架,利用无穿戴设备的单目 RGB 视频流作为信号,通过单目人体运动重建、机器人重定向及 Transformer 行为基础模型实现实时全身模仿。策略融合本体感知历史与显式下一步参考,采用频域运动表示降低输入维度;部署时通过外推方法桥接 10Hz 视觉估计与 50Hz 控制器以支持异步处理。实验展示了在单目 RGB 输入下对双手动及单手操作任务的高动态跟踪与无设备遥操作能力。
推荐理由:该工作提出无需穿戴设备的单目视频实时全身控制框架,结合运动重建与行为基础模型实现动态任务。
本文提出一种开源的低成本测试床,用于测量机器人在无人工重置干预下的实际练习成本(时间、关节磨损及人工注意力)。研究构建了一套包含视觉成功检测与账本记录的硬件系统,记录了每次尝试的详细数据。
推荐理由:作者构建低成本测试床量化机器人练习的隐性成本,提出基于实测收益的任务调度方案并验证其有效性。
针对独居老人需求,该系统基于 Unitree Go1 平台构建,融合陪伴、危险感知与应急三种模式。通过规则升级策略结合视觉语音输入判断风险等级,经 105 次自动化及 25 次物理阶段试验验证决策逻辑,在超时未确认时自动触发应急介入。该设计已接受 Australasian Conference on Robotics and Automation (ACRA) 会议录用。
AgenticJevNav 架构在六类仿真任务中达到 73.33% 成功率,较次优基线提升 21.67 个百分点;真实世界 GENISOM L1 四足机器人部署在 30 次试验中成功率为 70.0%,包含有界搜索报告。该研究通过结合目标规划、证据记忆与事件触发验证,展示了在部分证据下维持目标并适应执行失败的能力。
论文提出了 Difference World Action Model (DiffWAM),这是一种混合专家框架,旨在解决未来状态预测中任务无关内容干扰的问题。
推荐理由:该工作提出 DiffWAM 框架,通过联合学习未来状态与连续视觉差异来增强表征,在 LIBERO 和 RoboTwin 2.0 基准上取得最先进性能。
该方法在实时计算最小时间轨迹的同时提供避障保证,将规划与穿越时间之和定义为关键任务指标。相比仅优化时间最优的现有方案,其显著提升了灾难区域物资投递或幸存者定位的整体任务效率。该研究已提交至 2027 IEEE ICRA 会议,预印本发布于 arXiv。
该预印本提出 JEPA4R,一种在冻结的 JEPA 世界模型上运行的具身智能架构,通过单目深度相机观测点云并在其潜在空间进行预测与规划(即 4D 点规划)。解码器可将想象内容可视化为平均误差小于 1.1 厘米的 4D 点云。
推荐理由:该预印本提出 JEPA4R,在数字孪生中训练即可零样本迁移至真实机械臂,并在多个基准上优于像素级 JEPA 模型。
AlphaTruck 是一个集成多模态感知、嵌入式 CPU-GPU 计算和车载自主栈的 1/5 比例大型车底盘平台,旨在解决全尺寸车辆昂贵且 RC 车辆负载受限的问题。该平台在仅依赖车载感知与计算的情况下,实现了在非结构化地形上 6-10 m/s 的高速自主导航,适用于测绘、搜救及农业等商业与防御任务。材料为预印本论文,详细阐述了该平台的架构设计与平衡移动性、感知、算力、负载及可维护性的工程挑战。
推荐理由:AlphaTruck 平台在 1/5 比例车架上实现了高速非结构化地形自主导航,为算法开发与部署提供了新的硬件基准。
论文研究在 Fast-WAM 6B 参数世界动作模型上,比较跨周期缓存(C$^3$ache)与减少去噪步数的策略。实验显示,保留两个未缓存步骤可在所有初始状态下保持不低于十步的成功率,且将重规划调用时间从 202ms 降至 92ms。研究指出缓存策略脆弱,覆盖路径比例过高会导致成功率下降,并建议测试复用时应基于部署时的采样器和噪声设置。作者开源了评估工具、日志和检查清单。
该研究提出自适应密度驱动控制(D$^2$C)框架,通过预测污染物传播和动态更新参考密度来引导多无人机轨迹。仿真结果表明,该方法在强风条件下显著优于最先进基线,成功维持了对漂移污染羽的追踪。
论文提出一种方法,利用多视图图像学习共享潜在表示并解码具有物理意义的边界(如距离和间隙),以解决信号时域逻辑(STL)监控依赖未直接观察到的物理边界的难题。