变形物体形状伺服教程(第一部分):基础理论与数据驱动雅可比估计
该论文是两篇教程的第一部分,介绍利用机器人运动与测量形变关系进行自动操控的基础理论。核心在于无需精细机械模型即可通过观测到的形变局部估计变形雅可比矩阵,并推导闭环稳定性条件及可达性限制。材料包含平面仿真示例(双臂操作弹性杆)及代码链接,为数据驱动形状控制提供完整框架。
该论文是两篇教程的第一部分,介绍利用机器人运动与测量形变关系进行自动操控的基础理论。核心在于无需精细机械模型即可通过观测到的形变局部估计变形雅可比矩阵,并推导闭环稳定性条件及可达性限制。材料包含平面仿真示例(双臂操作弹性杆)及代码链接,为数据驱动形状控制提供完整框架。
论文提出了 DAWN(Diffusion-based Alignment and unfastening Workflow Network),这是一个用于执行现实世界拆卸任务的分层机器人框架,通过多模态感官融合解决精密螺丝刀接触、力控及环境鲁棒性挑战。
推荐理由:该工作提出分层框架 DAWN,在 Franka Emika 机器人上实现了与人工相当的螺丝对齐插入及稳定拆卸能力。
针对传统轮式四旋翼需倾斜机身产生侧向力的局限,该研究提出一种全顺时针倾斜旋翼构型,利用表面接触约束在保持水平姿态下生成推进力。仿真验证了其在自由空间悬停及地板水平移动时维持水平姿态的能力,且全同向旋转产生的切向力大于传统交替旋转配置。
论文介绍 DEED 框架,旨在让预训练的视觉语言动作策略适应 MetaFine 五项细粒度操作任务。该方法通过对同一初始场景生成不同指令的演示,并在不同相机位置和光照条件下渲染物理轨迹,同时保持原始状态与动作目标。
推荐理由:提出 DEED 框架通过演示扩展与执行设计提升细粒度操作性能,在 MetaFine 任务中取得 85.55% 总分。
arXiv 发布论文介绍连续动作世界模型(CoAWM)框架,旨在支持跨机器人本体的动作生成与执行频率适配。核心是共享潜在函数空间,通过两阶段学习:首先利用不同本体和采样频率的轨迹进行预训练以获取共享动力学先验;随后连接世界模型骨干网络,使观测、语言指令和当前状态能条件化地预测潜在动作函数。
推荐理由:该预印本提出 CoAWM 框架,通过共享潜在函数空间实现跨机器人本体与控制频率的动作生成迁移。
该论文针对现有方法将短期动态与长期任务目标割裂、且未充分考虑预测未来与当前动作需求相关性的问题,提出了 HiFOR 框架。该方法通过层级依赖掩码联合预测短期状态演化、语义里程碑及最终目标状态;利用结构感知隐式世界建模沿时间、视角和空间维度组织未来潜在表示以支持细粒度检索;并在去噪过程中基于演化的动作表示自适应检索相关信息以指导动作生成。实验在两个仿真基准和六个真实机器人操作任务上验证了有效性。
推荐理由:提出分层前瞻框架,通过层级依赖掩码统一预测短期状态与长期目标,并结合结构感知隐式世界建模实现动作引导的未来信息检索。
arXiv 预印本论文提出 JEDI 方法,旨在解决长多模态轨迹限制上下文容量的问题。该方法将演示压缩为潜在槽位,在冻结的视频 JEPA 空间中训练以预测查询阶段的下一关键帧,并利用任务与过程反事实保留执行细节。实验基于 LIBERO 基准和真实机器人验证,显示其在支持多示例上下文及保持动作遵循方面优于仅动作压缩方法。
TouchBridge 是一个软硬协同设计的框架,用于将人类演示高效转化为机器人领域的训练数据。其核心 Tac-Retarget 方法利用测量的接触信息对齐指尖接触区域并保留空间关系,无需物体网格、姿态估计或物理仿真即可实现跨形态映射。
推荐理由:提出无需物体网格或物理仿真的触觉重定向方法,将人类演示转化为机器人训练数据,在四项任务中平均成功率达 72.5%。
MUSBRIC 是一套模块化硬件平台及 MuJoCo 仿真器,通过兼容 LEGO 的端盖将纤维增强气动人工肌肉转化为即插即用模块。肘关节原型验证了负载依赖屈伸与机械止动稳定直姿功能,四足机器人演示了行走能力。相关硬件设计与仿真代码即将开源以支持复现与开发。
TaskFrame 提出分层规划器控制器架构,通过视觉语言任务规划器分解指令并利用缓存的目标嵌入驱动因果 Transformer 控制器执行键盘鼠标操作。在 Minecraft 实验中,该框架在指令分解上具备竞争力,且闭环评估下的战斗成功率优于基线模型。系统经三阶段训练(规划器、控制器预训练及联合对齐),代码与论文为 arXiv 预印本状态。
Gaussian Action Readout(GAR)将流策略末层替换为高斯读出,仅用 0.02% 合格状态训练即冻结其余网络。该方法单次动作网络遍历即可采样并给出闭式似然值,在保持近教师任务成功率的同时提升最高两倍的推理速度。研究分析表明流策略的连续动作分布可由高斯良好近似,相关代码与论文已公开于 arXiv。
该研究提出一种联合选择技能、物体与几何目标的决策空间,利用微调后的语言条件任务规划器在仿真中达到 93.3% 成功率,优于分层基线并缩短超 60% 完成时间。硬件实验显示层级方法在 45 次尝试中正确组合技能 44 次,端到端成功 34 次。预印本 arXiv:2610.40248 包含附录与代码链接,无需预训练即可通过结构化表示实现动作组合。
这篇论文提出了 AcrossDEX 1.0 系统,旨在解决机器人控制中需对齐人体姿态与指令并适配特定运动学的问题。该系统连接了基于 HOT3D Aria 的人类动作预训练、仿真专家学习、机器人演示采集及视觉闭环执行。
针对现有机器人数据集缺乏细粒度子任务标注且格式不统一的问题,该工作提出 RoboAtom-Data,为多源数据添加统一的、时间对齐的原子动作标注,涵盖 145 万条轨迹和 688 万个技能标记片段。
推荐理由:该工作提出 RoboAtom-Data,为多源机器人数据提供统一原子动作标注与基准,并证明其能提升技能识别精度及分层执行的任务成功率。
针对流基动作生成难以保证关节限位和碰撞避免的问题,本文研究仅通过黑盒可行性预言机访问可行集的设定,提出一种引导的可微分防护机制。该机制在正向传播中利用二元查询修正不安全更新,在反向传播中提取局部边界信息提供约束感知学习信号。
推荐理由:该文提出一种无需可微分约束模型的引导机制,利用二元可行性查询在训练与推理阶段同时保障物理约束满足。
论文提出 LOGIV 框架,利用显式任务图连接符号规划、观测验证与具身动作,在现有 VLA 和世界动作模型策略之上运行。实验显示,该框架在不注入干扰时将 RoboTwin~V2 和 BiCoord 基准的平均任务成功率分别提升 10.67 和 15.33 个百分点;在预设扰动下表现优于三种恢复基线;在三项真实机器人任务中成功尝试数从 12/30 增至 17/30。
推荐理由:提出 LOGIV 框架,通过显式任务图与因果局部修复机制,在不增加可训练组件的前提下提升长程机器人任务的鲁棒性与成功率。
该论文提出了 Humanoid Dodgeball 框架,旨在解决人形机器人在动态场景下快速躲避高速障碍物并保持稳定性的难题。方法通过威胁感知的奖励塑形实现全身敏捷规避动作,并利用多方向对抗性运动先验正则化学习行为以维持稳定且类人的运动模式。实验表明,该框架在多种障碍速度和发射距离的仿真及硬件测试中,均显著提升了动态避障性能,同时保持了鲁棒且物理合理的运动。
论文提出一种注视辅助监督控制框架,用于月球漫游车机械臂的样本处理任务。该框架允许操作员通过视线提名目标(岩石或放置点),经显式确认后由机器人执行有界自主抓取与放置动作。
针对多阶段轨迹规划中运动学可行入口点识别的计算瓶颈,本文引入方向可达性图(ORM),预计算 6 自由度串联操作臂在 188,873 个工作位姿下的运动学可行性。
推荐理由:提出基于方向的可达性图方法,将机器人穿刺点规划延迟从十余秒降至亚秒级。
本文针对机器人利用黑盒视觉语言模型进行视觉定位时的不确定性问题,提出一种形式化的贝叶斯定义与外部代理贝叶斯模型。该方法将 VLM 预测视为观测,通过分层检索在保留校准集局部邻域内量化每查询的不确定性,并分解为偶然性与认知性成分。研究结果表明,该方法能改善校准度与任务性能,并在真实 Fetch 机器人上实现自信行动与信息收集的权衡,提升鲁棒性。
针对自主移动机器人在复杂布局中因非凸避障和有限视域导致局部模型预测控制器(MPC)冻结的问题,研究提出将大型语言模型(LLM)监督器在线蒸馏为决策树的方法。该方法在每次训练集后利用反事实回放对恢复、不必要或有害的决策进行标记并淘汰无效规则。
针对受限环境无法依赖外部系统的难题,该方法提出一种仅需前后左右四个距离传感器且无需航向信息的在线粒子滤波定位方案。仿真实验表明,即便在迷宫局部区域高度相似的情况下,移动机器人仍能实现相对准确的定位,为复杂环境下的快速有效定位提供了新途径。
该综述考察了微重力环境下生物学、材料学等领域的轨道实验室与行星原位科学,区分了从空间数据学习、选择行动到执行及保持有效性的全过程。文章结合地球自驱动实验室证据,提出通过样本历史、科学决策、物理执行及特定主张有效性来衡量自主性的框架。最终议程旨在评估完整任务中传感、决策策略与物理动作的贡献,填补观测、可执行行动及连续有效证据的差距。
该研究提出分层三阶段框架,利用物体中心接触力矩空间实现人机手部触觉信息物理对齐。仿真与真实机器人实验显示,该方法在三种倒水条件下达到 96.7% 的重放成功率,且力矩传递保真度优于代表性重定向基线。此工作为从人类演示向机器人转移富含接触的灵巧操作提供了基于物理的路径。
该论文提出 SimTO-Robust 框架,这是一种基于仿真的拓扑优化方法,通过模拟多个物体形状和抓取位姿并聚合接触力来指导软夹爪的形态优化。研究团队生成了 6,646 种设计,并对其中 24 种进行了物理评估,同时对比了 10 种专用 SimTO 设计、两种刚性基线夹爪以及一种常规拓扑优化的通用软夹爪。
论文介绍 CoRAct 框架,旨在解决现有具身智能模型中推理与动作生成仅隐式关联的问题。该方法将运动指定和路径点作为可验证信号,利用混合 Transformer 架构联合建模推理、动作生成及未来预测。通过在动作噪声空间进行奖励引导的优化,使生成的动作与预期后果显式对齐。实验在 RoboCasa、VLABench 及真实操作任务中均显示出优于强基线的效果,并支持零样本适应新场景。
推荐理由:提出 CoRAct 框架,通过奖励引导优化将 VLA 模型的推理与动作显式对齐,提升任务成功率与泛化能力。
论文提出了 EvoLife 统一导航框架,赋予智能体自主选择移动方式、何时提问及保留何种经验的自由。其混合动作空间涵盖航点导航、局部离散调整、像素级导航及物体导向导航;主动交互机制允许在遇到歧义或困难时寻求澄清或协助;持久空间记忆则将观察与对话绑定至具体位置以复用经验。
针对多臂机器人平台因复杂约束导致安全控制难、大规模数据集采集难的痛点,论文提出ScheduleGen算法,通过集成规划与调度机制从少量源演示合成新演示以缓解数据瓶颈。该方法在28种仿真任务变体中实现79.6%的数据生成成功率及65.5%的策略训练成功率,且优于现有基线;同时实现了零样本仿真到现实的迁移,在八种真实世界变体上达到50-80%的成功率。
论文指出视觉语言模型将坐标离散化为文本进行自回归解码会忽略空间结构并累积误差。作者提出在冻结骨干网络后附加轻量级几何兼容预测头,直接回归连续的功能框和轨迹关键点。实验显示该方法在 ShareRobot-Bench 上将功能预测 mAP 提升 85%,轨迹预测误差降低超 60%,吞吐量是基准的 3.8 倍,接近 RoboBrain 水平。
推荐理由:该工作证明冻结骨干网络的 VLM 中间层已包含丰富空间信息,通过轻量几何头即可将轨迹预测误差降低超 60%。
UMI-Live 是一套全栈开源的双手通用操作接口(UMI)系统,旨在无需物理机器人遥操作即可采集数据。该系统集成了相机与激光雷达惯性传感、板载计算及电源,无需外部追踪设备或环境内校准。
推荐理由:开源了无需外部追踪的双手 UMI 硬件与软件栈,提供同步 SLAM 重建与 VLA 策略训练支持。
该研究通过信息密度分布平衡探索与目标定位,利用贝叶斯推断获得泊松多伯努利近似以指导空中感知。地面规划结合置信集规避威胁并优化路线概率,采用嵌套 SCvx*-C-ADMM 算法实现全分布式闭环协同。数值案例验证了多机队在未知危险目标域内的完整闭环协作能力与轨迹更新机制。
世界动作模型(WAMs)可利用生成的视觉未来条件化机器人动作,但这会增加推理延迟且对某些任务产生负面迁移。本文提出 Utility-WAM 方法,在冻结共享 WAM 检查点的基础上引入残差适配器来修正速度偏差,并采用轻量级预生成门控机制复用反事实结果以跳过部分视频生成。
推荐理由:提出 Utility-WAM 方法,通过残差适配器修正未来诱导的动作偏差并引入预生成门控机制,在保留长程预测优势的同时显著降低延迟与精度任务失败率。
论文介绍了 SONIC-K1,这是据称首个针对 Booster K1 人形机器人的开源全身体动作追踪器。该策略在单块共享 GPU 上从头训练,计算资源远低于原始 SONIC 框架。仿真结果显示其能追踪大部分未见过动作片段并在外部基准测试中表现良好;真实机器人上可追踪上半身及慢速运动,但步态和转向可靠性较低且对动作延迟敏感。代码、策略权重与评估工具已公开。
推荐理由:作者将 SONIC 框架适配至 Booster K1,在单 GPU 上实现全身动作追踪,公开了策略权重与评估工具。
针对 LLM 规划中子目标进度推断不准确导致错误传播的问题,本文提出 ProLoop 框架。该框架通过学习到的状态关系监测器,从期望与执行状态的关联中显式推导子目标的持续、偏离或完成状态,并据此指导执行适应。实验表明,该方法在 AgentBoard ALFWorld 和真实机器人平台上整体成功率提升 12.94%,困难任务提升 15.46%,同时减少环境交互次数 32.3%。
推荐理由:提出 ProLoop 框架,通过结构化状态关系显式评估子目标进度,在 AgentBoard ALFWorld 及真实机器人平台上提升成功率并减少环境交互。
该论文提出了一种方法,通过模拟抓取放置任务的监督数据将冻结的语言空间与双边六轴力/力矩历史信号对齐,从而构建出具有语义结构的物理状态表示。研究结果表明,该方法在仿真环境中未见过的物体上支持对机器人动作、物体重量及抓握交互的文本原型读出;在真实世界放置任务中,无需更新编码器即可实现接触与支持状态的识别,性能优于垂直力符号反转规则的基线。
针对通用机器人策略通常假设单一控制器的局限,本文研究如何在不同控制器及增益设置间进行数据迁移而不产生冲突解释。提出的框架通过编码指令动作与机器人运动的行为交互示例,利用 Transformer 上下文编码器实现单策略在上下文中的自适应。
推荐理由:提出通过上下文行为适应实现跨控制器与本体策略迁移,在接触类任务中显著提升成功率。
论文介绍 CuBot-STT,一种集成模块运输、接口锁定与释放的外部机器人系统。立方体模块提供结构支撑和 24V 电力分配;每个面通过齿轮传动将单一外部输入转化为四个螺旋锁定点的运动,保留内部空间。
针对四足机器人拖拽外部欠驱动物体(如车厢)时动力学复杂及狭窄空间避障难的问题,本文提出结合条件流匹配与模型预测路径积分控制的导航框架。该框架利用学习的前向动力学模型加速收敛并恢复可行解,集成于 RAIBO-Wagon 全栈系统并在户外长距离受限场景完成验证。实验显示系统在完全端侧计算下拖拽总重达 40kg(约机器人自重)的负载时,在 15 米长赛道上的成功率为 85%。
针对机器人强化学习中绝对任务进度难以标注的问题,本文提出 Event2Reward 方法,结合归一化时间锚点与轨迹内局部相对进度约束来构建稠密塑形奖励。作者在约 10 万条真实机器人执行记录(含成功、次优及失败案例)上构建了事件标注数据集,无需帧级绝对进度标签即可训练。
推荐理由:提出 Event2Reward,利用轨迹内相对进度关系解决绝对进度未知时的奖励塑造难题。
EmbodiExp 框架提出基于子目标结果的体验构建方法,将策略、适用条件与可验证结果在线组合以指导动作生成。实验在多个具身基准上采用冻结经验库协议验证了有效性,利用失败轨迹提取局部成功并生成避错引导。该成果发表于 arXiv,属于预印本状态,代码与数据开放许可情况原文未详述。