DynaFLIP:一种基于三模态动力学引导的机器人感知表征框架
论文介绍 DynaFLIP 框架,旨在解决传统机器人学习管道依赖静态视觉编码器、将运动理解推给下游策略的问题。该方法构建图像 - 语言-3D 流三元组作为训练监督,鼓励三种模态在共享超球空间中占据较小的单纯形体积以增强对齐,并结合余弦正则化与对比目标以避免几何歧义和平凡坍缩。
推荐理由:该工作提出将运动理解上移至感知层,通过多模态监督构建动力学感知表征,在跨分布场景下提升机器人泛化能力。
技术方向
机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。
1,139 条精选近 30 天 643 条共收录 4,549 条
论文介绍 DynaFLIP 框架,旨在解决传统机器人学习管道依赖静态视觉编码器、将运动理解推给下游策略的问题。该方法构建图像 - 语言-3D 流三元组作为训练监督,鼓励三种模态在共享超球空间中占据较小的单纯形体积以增强对齐,并结合余弦正则化与对比目标以避免几何歧义和平凡坍缩。
推荐理由:该工作提出将运动理解上移至感知层,通过多模态监督构建动力学感知表征,在跨分布场景下提升机器人泛化能力。
针对外骨骼辅助中用户与设备需协同适应的非平稳学习问题,本文提出分阶段多智能体训练(SMAT)框架。该方法在 MyoAssist 仿真环境中,先让肌肉骨骼模型学习无助力步态及适应附加质量,再训练外骨骼策略,最后实现双向反馈下的共同适应。
推荐理由:提出分阶段多智能体训练框架,在仿真与物理实验中均实现无需个体重训的持续正向助力。
论文提出 DRAP(Dynamics-Risk Adaptive Plasticity),这是一种无需回放机制的物理 AI 持续学习方法,旨在解决小步策略误差累积导致闭环任务失败的问题。
推荐理由:提出无需回放机制的 DRAP 方法,通过轨迹风险加权梯度累积来动态调节模型张量的可塑性,在 OpenVLA 子网络上实现了 LIBERO 基准任务中旧行为保留与新任务获取的平衡。
论文提出 Aero-VPA 轻量级视觉预测动作架构,用于边缘硬件上的三维导航。该架构利用紧凑的 RGB-D Vision Transformer 和五头集成预测器在不进行像素重建的情况下预测下一潜状态,并通过条件流匹配求解器在两个欧拉步骤内生成速度和偏航率片段。
推荐理由:该工作提出 Aero-VPA 架构,在 PX4 仿真环境中实现四旋翼自主飞行闭环评估,公开代码、策略与基准数据集。
针对当前具身智能体评估偏向危险指令而忽视语义充分但语境最小化指令的问题,该研究首次提出‘环境语境幻觉’现象并建立 VagueBench 基准。该基准基于 AI2-THOR 仿真环境,包含 1,303 对指令,通过人类 - 智能体协同生成框架构建以测试语境依赖性。
推荐理由:该工作提出环境语境幻觉现象并建立 VagueBench 基准,揭示具身智能体对辅助语言信号的过度依赖及潜在安全风险。
论文提出 HLO-AMP 框架,通过分层策略解决人形机器人移动与操作任务中低层控制器缺乏物体感知的难题。方法将低层控制器训练为物体感知运动先验,利用重定向动作捕捉数据在真实物体存在时学习自然协调与接触力分布;高层策略则基于经验包络进行参考免费训练以防止越界。实验在宇树 G1 平台上实现了双手抓放任务,验证了该方法对物体质量、尺寸及初始目标位姿的泛化能力,并展示了从搬运中故意掉落后的恢复效果。
推荐理由:该工作提出将低层控制器训练为物体感知的运动先验,在真实物体存在下学习自然协调与接触力分布。
论文提出 FloMo 模型,这是一个经过微调的 5B 参数视频生成模型,旨在预测 3D 场景流(scene flow)和动作 token。研究论证了稠密 3D 运动是视频预训练向机器人动作迁移的最佳媒介,相比直接预测视频或联合预测,仅预测运动能提升样本效率并改善对未见物体、运动原语及任务的泛化能力。
推荐理由:提出用稠密3D运动场作为视频预训练向机器人动作迁移的中间媒介,通过联合预测验证了该路径优于直接视频预测。
论文提出一种基于 3D 几何抽象的接口,将机器人场景的空间推理从原始图像转移到文本和符号上。该方法利用校准后的 RGB-D 数据对物体部件进行类型化和证据感知的符号引用,并在每次动作后返回包含度量残差的紧凑文本检查点。
推荐理由:提出通过几何抽象将空间推理从图像转为符号,减少多模态查询并提升多步操作成功率。
该论文提出 HiLo-WAM 架构,旨在解决现有世界动作模型(WAMs)在捕捉长程任务上下文方面的不足。方法通过稀疏长程视觉流和密集局部动态流,在统一的双 DiT 架构中分别建模历史任务背景与短时机器人 - 物体交互,并利用结构化跨流注意力引导动作生成。
推荐理由:该工作提出 HiLo-WAM,通过解耦长程任务演化与局部动态并联合建模交互,在 RoboTwin 2.0 等基准上实现高成功率与推理加速。
该论文针对预训练大模型在具身智能导航中缺乏物理落地与显式安全保证的问题,提出一种模块化系统:集成高层 VLA 规划器与低层物理感知层,利用 SDF 表示和离散指数障碍函数约束 MPPI 规划器,为腿部机器人提供可证明的碰撞避免保证。系统在双足和四足机器人上进行了广泛的真实世界实验,验证了其高效、安全且通用的视觉语言驱动导航能力。
推荐理由:本文提出通过障碍函数约束与 SDF 感知为双足及四足机器人的 VLA 导航提供可证明的碰撞避免保证,并在真实机器人上验证了安全性。
该研究针对复杂视觉问答中模型难以定位关键区域或获取充分证据的问题,提出 Observation Policy Optimization (OPO) 算法以优化工具增强的图像思考中的观察动作。
推荐理由:针对多模态模型在图像思考中的观察动作优化难题,提出 OPO 算法通过不确定性引导分支与证据归因机制提升视觉推理性能。
视频世界模型虽能评估候选动作的想象结果,但高预测奖励常偏向执行质量差的轨迹。本文提出 Trusting Imagined Futures (TIF),一种离线监督选择方法,利用多维奖励模型和不确定性审计器识别过估计模式。
推荐理由:该工作提出利用执行反馈审计想象奖励以筛选 VLA 后训练数据,在 LIBERO 基准上提升成功率并在真实机器人任务中提高完成度。
论文提出一种动作条件潜变量前瞻(action-conditioned latent foresight)方法,构建潜在世界 - 动作模型以在执行前评估指令序列。
推荐理由:提出动作条件潜变量前瞻方法,在仿真与真实机器人任务中均优于基线,验证了潜在世界 - 动作模型的有效性。
针对大视觉语言模型推理时计算开销大的问题,本文提出 BtsPruner 框架,该方法无需训练即可通过识别视觉 Token 从局部细节到全局代表的角色演变过程进行剪枝。实验表明,在 LLaVA-1.5-7B 等模型上,仅保留 32 个视觉 Token(占总数 5.6%)即可保持 91.6% 的原始性能,并在高分辨率设置下实现最高 5.95 倍的 CUDA 延迟加速。
推荐理由:提出无需训练的基于角色感知的视觉 Token 剪枝框架,在大幅减少输入 Token 数量下保持高性能并显著降低推理延迟。
针对人形机器人在杂乱环境中需快速反应意外接触的挑战,该研究提出了 ARC(Ascending Reflex Control)框架,将毫秒级触觉反射与全身策略学习相结合。
推荐理由:该工作将毫秒级触觉反射与全身策略学习结合,在 Unitree G1 上验证了降低冲击峰值和保持平衡的能力。
论文提出 DiMuRe 框架,利用阶段证据和方法先决条件选择程序复用或预定义恢复技能(包括有界 VLA 抓取),并在原程序退出后通过多模态大语言模型生成修正代码。
推荐理由:提出诊断引导的多级恢复框架,在干扰场景下将任务成功率从 58.68% 提升至 77.65%,并开源了 LIBERO-Disturb 基准。
论文提出一种 CUDA 实现的 WENO5+TVD-RK3+Lax-Friedrichs 水平集哈密顿 -雅可比 -伊萨科求解器,可在机器人控制回路内运行。
推荐理由:作者提出了一种可在机器人控制回路内实时运行的 GPU 求解器,为黑盒策略提供形式化安全保证。
论文提出了 FEIJOA 语言模型智能体,用于解决移动机械臂在执行‘把玩具收进箱子’等开放指令时的场景理解难题。该方法在测试时查询 grounding 工具以解析指令,并通过具身感知 harness 检查技能先决条件、采样可达基座位姿并验证执行效果。
推荐理由:该工作提出在测试时进行指令 grounding 的架构,显著提升了移动操作任务的成功率。
作者发布 RoboScope Kit 以解决仿真基准评估慢、接口不统一的问题。该工具通过 Python 类封装模型与基准适配器,实现并行调度与渲染优化;在 LIBERO-Long 和 RoboTwin Easy 等任务上,相比官方 StarVLA 评估器速度提升 4.45 至 6.16 倍,四 GPU 配置下比单卡基线快 25 倍以上。代码与项目页面已开源。
推荐理由:该工具通过统一接口与调度优化,将机器人策略评估速度提升数十倍,相关团队可据此加速现有训练流程。
该论文是两篇关于数据驱动、基于雅可比矩阵的形状控制教程的第二部分。文章利用形变雅可比矩阵的奇异值分解,识别机器人运动对物体形状的影响范围及局部不可达区域;分析了特征选择对控制器调节策略及物体变形程度的影响;阐述了控制环失效的三种模式(可控性丧失、可观测性丧失和机械失稳);最后扩展了时变目标、次级任务及三维物体的形状控制方法。代码与交互演示已公开,为灵巧操作算法研究提供理论参考。
推荐理由:本文作为两篇教程的第二部分,深入解析了基于雅可比矩阵的形变控制高级概念、失效模式及扩展应用。