Reliability-Adaptive Multimodal Relative Pose Tracking for Underwater Leader-Follower Robots
该研究针对水下领航 - 跟随编队控制中感知条件受限和计算资源有限的问题,提出了一种可靠性自适应的多模态感知框架。该方法融合视觉、声学测距和水动力测量数据,通过自适应加权各模态贡献并建模时间依赖性,在嵌入式 NVIDIA Jetson AGX Orin 上实现了低延迟推理(17.62 ms)。
该研究针对水下领航 - 跟随编队控制中感知条件受限和计算资源有限的问题,提出了一种可靠性自适应的多模态感知框架。该方法融合视觉、声学测距和水动力测量数据,通过自适应加权各模态贡献并建模时间依赖性,在嵌入式 NVIDIA Jetson AGX Orin 上实现了低延迟推理(17.62 ms)。
针对通用机器人策略在任务步骤中因指令误读而失败的问题,研究提出一种无需梯度、训练数据或修改指令的闭式权重编辑方法。该方法将显式重述指令对语言模型 MLP 权重的逐层效应蒸馏进网络,使 RoboLab 平台上的零样本策略成功率从 27 提升至 106(81 个修复成功,2 个破坏),且未对其他任务造成损害。研究还验证了该方法在动作专家或头部位置效果有限,并提供了开源代码与基准测试工具。
该研究提出一种由三个执行器驱动四个自由度的混合肌腱连杆机器人手指,通过锥齿轮和双向肌腱传动实现 MCP 关节独立控制。实验表明基于 ArUco 的测量显示耦合运动与理论预测高度吻合,指尖平均峰值力达 4.56 N,且无需额外执行器即可适应圆柱、立方及不规则物体接触。
Yuhang Sun 在 arXiv 上发布了一项关于机器人世界模型中空间泛化的研究。该工作通过受控的机器人剥离基准,评估了在世界、物体和表面坐标系下定义的动作表示如何捕捉跨空间配置有效的物理关系。
推荐理由:该研究通过受控的机器人剥离基准,评估了不同坐标系下动作表示对物理关系捕捉的有效性,为设计具备跨空间配置泛化能力的机器人世界模型提供了理论依据。
针对连续控制中的探索问题,本文系统研究了从白噪声到红噪声的线性调度策略及其对 Fetch 机械臂和 Shadow Dexterous Hand 在稀疏奖励操作任务上的影响。研究发现,训练结束时的噪声颜色不影响最终性能,但向红噪声过渡可将所有任务的探索动作抖动减半。研究建议将向红噪声过渡的调度器作为离线机器人学习的默认配置,以平衡学习效率、最终表现与运动平滑度。
推荐理由:研究证实训练后期向红噪声过渡的策略,在保持学习效率的同时显著降低动作抖动,可作为离线强化学习的默认探索方案。
针对模仿学习中视觉输入随视角变化导致信号模糊的问题,本文提出 PAIR 框架,利用机器人本体感知(proprioception)将联合图像与射线表示进行对齐。该方法鼓励在相似机器人状态下、不同视角下的观测在表示空间中保持接近,从而为学习视角鲁棒的特征提供结构化先验。
推荐理由:提出利用机器人本体感知对齐图像射线表示的对比学习框架,在仿真与真实场景中显著提升了对视角变化的泛化能力。
论文发现基于采样的规划器在低比特世界模型中因确定性舍入误差而崩溃,提出通过迭代内重绘的共享抖动方案可在不训练的情况下消除大部分损害。实验显示该策略将 W8A4 整数模型的规划速度提升 1.9-3.3 倍,且无需额外校准或训练即可在多个基准任务上恢复性能。
推荐理由:原文揭示了低比特量化导致规划器崩溃的机制,并验证了无需训练的抖动策略可恢复性能。
该研究提出了一种用于平面双积分动力学机器人的分布式模型预测控制架构,通过时变冲突图减少协调需求。系统在 C++ 仿真中验证了 8、16 和 32 台机器人的无碰撞执行能力,计算可扩展性显著提升且任务性能与集中式基线相当。
论文提出利用预训练扩散模型联合表示状态、动作和观测,通过粒子滤波维护关于状态历史的竞争假设并据此引导动作选择。实验在部分可观测导航与视觉操作任务上验证了该方法相比无滤波的动作生成策略,能提升状态估计精度与任务性能,且无需修改预训练模型或额外测试时信息。
针对非线性软体机器人难以获取大量交互数据或可靠仿真器的难题,研究提出利用其动力学固有的时间尺度分离特性,构建低维不变流形(adiabatic spectral submanifolds)作为强化学习环境。
作者提出一种基于绝热谱子流形理论的纯数据驱动方法,从硬件平台采集的数据中学习五维非线性常微分方程以建模软体螺旋体躯干机器人的动力学。该方法结合模型预测控制方案,在包含静态与动态约束的二维至三维闭环轨迹跟踪任务中实现了实时精密控制。
推荐理由:基于硬件采集数据学习软体机器人动力学模型,在闭环轨迹跟踪任务中精度优于现有线性方法与无模型强化学习。
论文提出 Streaming Failure Forecasting (SFF) 方法,解决视觉语言动作(VLA)策略离线训练、在线漂移后的监控失效问题。该方法固定离线网络,仅利用每集结果对输出层进行轻量级重拟合(Jetson CPU 核心耗时 2.18ms)。在仿真与真实 SO-101 机械臂的实验中,SFF 在未公告的任务或策略切换场景下,故障排序能力均优于冻结监控器及重置方案。
论文发现基于无标签视频学习的离散潜在动作码分配极不稳定,受训练细节影响显著。研究提出利用猕猴腹侧运动前额叶皮层(PMv)的表征几何约束动作码分配,在未见形状类别上实现了 0.52 的表征相似度,优于随机编码器及无先验模型。作者明确了下游操作测试方案,将在后续版本补充 CALVIN 管道上的机器人操作结果。
该研究开发了一种穿戴式机器人尾巴作为动态反作用力装置,以改善物料搬运时的平衡与姿态。10 名参与者在货架装卸任务中对比了主动、被动及无尾巴三种条件。结果显示,相比无尾巴,主动机械尾使重心峰值位移减少超过 20 毫米,躯干运动减少 4.3 度,竖脊肌和腓肠肌活动分别降低超过 9% 和 20%;被动机械尾也有较小改善但效果较弱。
论文介绍 FlowEval,一套利用流匹配目标探测具身基础模型的无训练诊断指标。该工具通过成功的目标域演示量化预测分歧以评估预训练模型与特定部署的契合度。研究涵盖 Pi-0.5、MolmoAct2、GR00T 和 DreamZero 四个模型家族,并在真实世界与仿真环境中区分了已见与未见部署。
arXiv 发布了一篇关于多机器人搜索与救援(SaR)研究的预印本,提出了 PA-SaR 数学与架构框架,用于协调异构机器人的本地控制、基于学习的探索、监督级任务分配及自适应引导受害者。
论文提出了 ColNav 方法,通过几何体积编码目标与自车位置速度的不确定性(支持有界集和 Gaussian 描述),利用包围体层次组织时空管以覆盖整个时间视界而非离散采样点。该方法在预测模型失配下达到 100% 的成功率,优于最佳基线的 65%,并在密集交通中维持三倍的清除距离,同时在物理机器人上验证了实时运行能力。
针对前向深度相机视野受限导致的未知障碍物导航难题,本文提出了 ScanDreamer,这是一种结合在线二维扫描记忆图、基于地图的想象推理以及感知 aware 运动约束的世界模型架构。
Kinora 系统通过版本化工件连接文本到运动生成、动作库及本地代理工具,利用独立指定的 52 关节制作 rigs 和过程骨架预览分离几何与模型。评估显示 server 0.5.1 和 Gadget 0.15.2 在 156 次回归测试中全部通过数值关卡,但转弯拼接仍保留 14.3 cm 支撑脚漂移预警。该成果支持部分集成与保存契约,未证实语义质量提升、群体可行性或硬件安全性。
Qubit-to-Motion 提出了一种支持约束序列化的证据中心框架,通过四组 Pauli-Z 读出作为唯一输入并记录 SHA-256 指纹实现决策到接触的可追溯性。在 MuJoCo 仿真中,该框架在五种 30 物体场景变体下完成全部 150 次放置任务,推理耗时约 8.60ms,位置误差控制在微米级。代码托管于匿名仓库,预印本状态待正式注册。
该论文提出 Kinematic Action Models (KAMs) 范式,将全身运动作为直接预训练目标,利用预训练的运动生成器作为动作生成的主干。Kimodo-Policy 是该范式的初始实例,结合了冻结的 Kimodo 文本到运动骨干网络与轻量级的 ControlNet 视觉条件化。
K-PWM 是一种无需单独训练推理网络的世界模型,通过扩展卡尔曼滤波在部分观测下实现概率隐状态推断与 MPPI 控制。该方法在 Gymnasium MuJoCo 系统上相比基线降低了长视界预测误差并大幅减少训练时间,在高维 Menagerie 机器人上也实现了低计算量的实时追踪精度。论文已被 NeurIPS 2026 接收,代码与权重开放许可待注册。
论文提出了 InfCoiL 框架,旨在解决基于物理的人机交互(HOI)中意图映射到行为的问题。该框架通过共享形态接口耦合了形态感知的流匹配规划器与统一多形态控制器,在自回归的规划 - 执行循环中进行协同微调。
论文提出 SimplEvo 方法,探索多模态大语言模型在保留执行经验的文本记忆中直接控制的提升极限。该方法无需权重更新或后训练策略,通过单次演示生成无坐标任务记忆,并在训练阶段构建仅基于训练集集的有界工作记忆,每轮迭代后根据程序、完成度和恢复情况精炼该记忆。
论文提出 ForeAct,旨在解决现有方法在场景几何与演化动态处理上的割裂问题。该方法复用预训练视频世界模型作为单前向传播骨干,利用可学习 token 由下一帧相对深度监督来塑造共享的视频表示,从而将空间知识转化为未来感知的动作生成表示。
Ilia Larchenko 提交 CoRL 2026 RoboEval 挑战赛的解决方案,针对八项双臂任务提出结合离线强化学习与在线推理调优的方法。
DeepSoMo 是一种基于学习的框架,利用自监督潜在预测约束在部分可观测条件下估计软体机器人的可变形物体运动。该方法在高保真有限元仿真环境中评估,相比架构匹配的循环基线模型,在轨迹估计、姿态恢复、形状重建及接触推断上均表现一致提升。论文为 arXiv 预印本(arXiv:2611.11242),目前处于实验阶段。
论文提出 DexForesight 框架,通过在灵巧策略潜在空间中注入动力学感知的世界表征来学习隐式空间前瞻性。该方法利用离线场景深度、运动学手几何和演示轨迹训练动作条件化的空间世界模型,预测三维手部点运动和视觉特征变化(包括相机遮挡的手指)。
本教程介绍利用顶置摄像头和 ArUco 标记实现差分驱动机器人多机编队控制的步骤。系统通过比较测量位置与期望位移向量计算运动指令,并集成基础避障功能。作者强调将数学概念转化为物理机器人协调行为的方法,提供开源 GitHub 仓库支持硬件软件搭建、位姿估计及编队误差评估等实践环节。
针对收集演示成本高限制 VLA 模型跟随多样化游戏玩法指令的问题,作者提出 Script2Play 框架。该框架利用 LLM 驱动的智能体构建可执行的游戏环境与任务,并通过程序化专家基于仿真状态生成分配指令、渲染观测及键盘鼠标操作。
现有机器人操作基准多假设环境静态且仅由指令决定任务语义,忽略了人类作为主动代理共享工作空间的现实情况。本文提出 HARP-Bench 基准,将人类活动视为操作问题的一部分而非背景干扰,涵盖提示、贡献、打断与共存四种条件,并配套演示生成管线。
该论文研究将连续人体动作压缩为有限离散 Token 时的输入姿态编码选择问题。作者对比了高斯关节热力图、欧氏空间根相对位置、局部关节旋转及全动力学四种编码,训练 VQ-VAE 分词器并评估代码本利用率与有效词汇量。
该研究提出基于交替方向乘子法(ADMM)的求解器,替代传统内点法解决稀疏分层非线性规划问题。实验显示在低至中等精度区间,其计算时间较结构利用型内点法最高减少 23.5%。该方法已扩展至全身动态控制的人形机器人行走任务,验证了其在大规模运动与动力学控制中的高效性。
针对基于视觉的控制策略(含视觉语言动作模型)因动作推断计算成本高导致执行速度慢的问题,本文提出了一种无需修改底层策略学习过程的异步推理与控制框架。该方法将连续目标位置的生成建模为跟踪控制问题,利用预测位置方差实现自适应动作跳过,从而在保持平滑稳定运动的同时大幅提升任务执行速度。
针对复杂耦合动力学系统难以获取真实模型参数的挑战,该方法结合 Floquet 理论与扩展动态模态分解(EDMD),在提升空间学习物理一致的线性预测器并设计模型预测控制律以跟踪周期参考。实验在受周期性扰动的 cartpole 系统上验证,结果显示其性能优于纯数据驱动基线。
针对现有第一视角数据集缺乏高精度光学动作捕捉及下肢行为覆盖不足的问题,作者发布了 RoboMoCap 大规模多模态数据集。该数据包含超过 200 小时的记录,由 14 名参与者完成,集成了六个头戴式相机、腕部视觉与惯性传感以及 120Hz 的全身体光学动作捕捉。
论文提出通过 Vine Sampling 方法从同一观测状态多次查询演示者,以显式捕获动作分布的多模态性与多样性,从而解决标准滑动窗口行为克隆数据导致的单模态记忆问题。在合成任务与二维卡车卸载实验中,该方法显著提升了策略对演示者的匹配度及 Best-of-N 和专家迭代性能。
Belief-guided Residual Adaptive Control (BRACE) 提出一种分层强化学习框架,通过推断扰动信念来调整参考轨迹以应对空间变化的未知干扰。该方法在三个具有突发切换风场的四旋翼仿真环境及搭载风扇扰动的 Crazyflie 硬件上验证,相比模型预测控制与 RL 基线提升了 reach-avoid 性能。
MemSurg 是一个针对机器人辅助手术的视频理解框架,旨在解决帧级提示无法利用早期观察历史的难题。该框架通过结构化记忆图存储带时间戳的实体类别、位置、运动线索和交互摘要,并利用时序链接与实体关联链接保留上下文及跨阶段观测。
推荐理由:该框架通过结构化记忆图解决手术视频理解中的历史上下文缺失问题,在前列腺切除术等基准上显著优于现有方法。
针对预训练视觉语言动作(VLA)模型在域偏移下表现不佳的问题,论文提出 RAGu 方法,通过几何校准将源演示转换至目标设置,并采用粗到细策略从海量候选中筛选兼容轨迹。该方法直接引导 VLA 的流匹配推理过程,无需重训基座或扩展上下文窗口。实验显示,RAGu 在真实世界、仿真及跨具身的人形机器人操作中,将成功率从 20% 提升至 80%,且在仿真环境中优于最接近的基线方法。