DynaFLIP:一种基于三模态动力学引导的机器人感知表征框架
论文介绍 DynaFLIP 框架,旨在解决传统机器人学习管道依赖静态视觉编码器、将运动理解推给下游策略的问题。该方法构建图像 - 语言-3D 流三元组作为训练监督,鼓励三种模态在共享超球空间中占据较小的单纯形体积以增强对齐,并结合余弦正则化与对比目标以避免几何歧义和平凡坍缩。
推荐理由:该工作提出将运动理解上移至感知层,通过多模态监督构建动力学感知表征,在跨分布场景下提升机器人泛化能力。
论文介绍 DynaFLIP 框架,旨在解决传统机器人学习管道依赖静态视觉编码器、将运动理解推给下游策略的问题。该方法构建图像 - 语言-3D 流三元组作为训练监督,鼓励三种模态在共享超球空间中占据较小的单纯形体积以增强对齐,并结合余弦正则化与对比目标以避免几何歧义和平凡坍缩。
推荐理由:该工作提出将运动理解上移至感知层,通过多模态监督构建动力学感知表征,在跨分布场景下提升机器人泛化能力。
本文提出了一个在线轨迹和形态规划框架,使变形四旋翼能够仅使用2D激光雷达感知障碍物,从而穿越窄于其展开宽度的通道。核心创新在于从激光雷达数据中计算出的代价函数修正项,该修正项在狭窄通道的中线处抵消了障碍物的排斥成本,使其成为低代价走廊,而在其他区域保留完整的排斥成本。
针对异构机器人团队中不同动力学与控制限制导致的安全义务难以均等满足的问题,提出一种能力感知异质控制屏障函数(CA-HCBF)去中心化框架。该方法通过规范变换与反步法推导了适用于全向与非全向移动机器人的统一操作空间二阶控制仿射表述,解决了相对阶不匹配问题并保持了成对安全集的向前不变性。
针对水下网络与多智能体协同技术进展,本文提出一种用于多 AUV 自组网的场景自适应具身智能架构,将感知、决策与物理执行整合为统一认知回路。该架构定义基于信标的通信控制模型,引入具备双路径评论家机制的场景自适应 MARL(SA-MARL)算法,通过动态融合解耦专用跟踪任务与全局安全约束。
针对外骨骼辅助中用户与设备需协同适应的非平稳学习问题,本文提出分阶段多智能体训练(SMAT)框架。该方法在 MyoAssist 仿真环境中,先让肌肉骨骼模型学习无助力步态及适应附加质量,再训练外骨骼策略,最后实现双向反馈下的共同适应。
推荐理由:提出分阶段多智能体训练框架,在仿真与物理实验中均实现无需个体重训的持续正向助力。
ResponsibleRobotBench 是一个包含 23 种配置的操作任务基准,旨在评估大型多模态模型在风险感知、缓解行动选择及执行前提满足方面的能力。研究发现终端安全性与任务完成度可能分离,且防御提示对不同模型的影响方向各异;仅识别危险类别不足以保证可执行的缓解措施。该工作通过模仿学习与物理机器人序列实验,强调了协调缓解动作与目标行动的必要性,并提供了任务定义、检查条件及提示词附录。
论文介绍了 DexCanvas,这是一个混合真实 - 合成数据集,包含 7000 小时的手物交互记录及每帧接触点与力信息,数据源自 70 小时光学动捕并通过 RL 策略在仿真中复现。实验显示该数据集使 Diffusion Policy 成功率从 67.5% 提升至 82.2%,并在未见物体上保持 72.5% 的成功率。111,857 条力标注轨迹已在 Hugging Face 公开。
针对复杂动态水下环境机动性受限问题,该研究提出一种配备矢量推进器的方向可调推进器水下车辆(OAT-UUV),实现全六自由度运动。系统采用基于视觉的跟踪控制方案,集成实时状态反馈与新型前馈自适应模型预测控制器(FF-AMPC)。实测表明,该设计显著提升了水下机动性,且 FF-AMPC 控制器相比传统控制器使悬停性能提升 49.1%。
论文提出 DRAP(Dynamics-Risk Adaptive Plasticity),这是一种无需回放机制的物理 AI 持续学习方法,旨在解决小步策略误差累积导致闭环任务失败的问题。
推荐理由:提出无需回放机制的 DRAP 方法,通过轨迹风险加权梯度累积来动态调节模型张量的可塑性,在 OpenVLA 子网络上实现了 LIBERO 基准任务中旧行为保留与新任务获取的平衡。
该研究对比了两种机器人教学行为,发现当检测到旁观者时,通过转向身体、隐藏屏幕并以静音方式展示反馈的“上下文自适应”策略,显著提升了用户对隐私意识和社交能力的评分。实验基于 40 名参与者的双盲测试,使用预设的发音与书写批评信息验证效果,但未证实能减少尴尬体验。结果指导了具身智能系统在共享空间中保护敏感信息的交互设计。
该研究在 Wizard-of-Oz 设置下,利用耳内音频与头部倾斜构建可穿戴中介通道,使屏幕社交机器人在 40 名参与者组成的 20 对游戏中成功完成 39/40 次信息交换。实验显示佩戴者压力无显著差异且可用性良好,但非佩戴者存在感知不一致,揭示了未来设计需关注隐私与公平性。
针对当前具身智能体评估偏向危险指令而忽视语义充分但语境最小化指令的问题,该研究首次提出‘环境语境幻觉’现象并建立 VagueBench 基准。该基准基于 AI2-THOR 仿真环境,包含 1,303 对指令,通过人类 - 智能体协同生成框架构建以测试语境依赖性。
推荐理由:该工作提出环境语境幻觉现象并建立 VagueBench 基准,揭示具身智能体对辅助语言信号的过度依赖及潜在安全风险。
论文提出 RoboTryOn 框架,将人类到机器人的动作迁移类比为虚拟试穿:保留人类视频中的运动与场景,仅替换主体为指定机器人。该方法利用自回归关键帧翻译和基于手骨架的运动条件生成,结合逆动力学模型推断动作标签以辅助策略学习。实验表明,在无需真实机器人演示新任务的情况下,合成数据训练的策略在多足机器人灵巧操作等挑战任务上的平均成功率从 2% 提升至 60%,且采集成本约为纯遥操作数据的三分之一。
针对大规模视觉语言基础模型带来的计算延迟问题,本文提出异步机器人策略(ARP)框架,将高容量视觉语言模型的语义记忆更新与轻量级视觉动作专家的动作生成解耦为不同频率的异步过程。该方法在 Franka 操作任务上实现了比基线高 18% 的成功率和更短的执行时间,且在动态仿真环境中性能提升 3-5 倍;同时允许以远低于标称频率运行 VLM 而无需牺牲性能,显著提升了部署效率。
论文介绍 DexHOT 方法,将灵巧操作形式化为手物构型转移任务,通过合成数据学习可复用的关系条件转移原语并闭环跟踪子目标。在包含 120 个物体的基准测试中,单策略对已知物体达到 80.5% 的转移成功率、未知物体为 69.4%;在真实灵巧手上完成 200 次真机转移成功率为 61.5%,并在六个演示引导任务中达成 90% 的任务成功率。
论文提出 HLO-AMP 框架,通过分层策略解决人形机器人移动与操作任务中低层控制器缺乏物体感知的难题。方法将低层控制器训练为物体感知运动先验,利用重定向动作捕捉数据在真实物体存在时学习自然协调与接触力分布;高层策略则基于经验包络进行参考免费训练以防止越界。实验在宇树 G1 平台上实现了双手抓放任务,验证了该方法对物体质量、尺寸及初始目标位姿的泛化能力,并展示了从搬运中故意掉落后的恢复效果。
推荐理由:该工作提出将低层控制器训练为物体感知的运动先验,在真实物体存在下学习自然协调与接触力分布。
该研究引入 CRONOS 仿真基准,用于评估非回合制场景下对预训练视觉语言动作(VLA)模型的微调效果。实验表明,直接微调会导致因物体配置和末端执行器姿态偏移而失效;通过针对性重置分配可缓解此问题并提升长程操作泛化能力。
针对通信受限环境下的移动机器人遥操作难题,该研究提出一种共享自主框架,通过嵌套硬软视野约束解决连通性与跟随者停滞的冲突。方法在几何上利用基于可见性的控制屏障函数(CBFs)强制连通性,并在二次规划中局部计算控制输入以平衡移动能力与连接保证。实验在受限杂乱环境中对运动学积分器和软件环 Crazyflie 四旋翼系统进行评估,结果显示该框架能保持链路更靠近连通集并减少跟随者位移。
论文提出 FloMo 模型,这是一个经过微调的 5B 参数视频生成模型,旨在预测 3D 场景流(scene flow)和动作 token。研究论证了稠密 3D 运动是视频预训练向机器人动作迁移的最佳媒介,相比直接预测视频或联合预测,仅预测运动能提升样本效率并改善对未见物体、运动原语及任务的泛化能力。
推荐理由:提出用稠密3D运动场作为视频预训练向机器人动作迁移的中间媒介,通过联合预测验证了该路径优于直接视频预测。
论文提出一种基于 3D 几何抽象的接口,将机器人场景的空间推理从原始图像转移到文本和符号上。该方法利用校准后的 RGB-D 数据对物体部件进行类型化和证据感知的符号引用,并在每次动作后返回包含度量残差的紧凑文本检查点。
推荐理由:提出通过几何抽象将空间推理从图像转为符号,减少多模态查询并提升多步操作成功率。
该研究提出改进的全局连通性维护算法,结合单智能体、钉扎及质心三种自适应监督策略,为多机器人系统提供触觉反馈以辅助人类操作。用户研究显示,该方法在多种场景下有效维持了智能体间约束并提升了人机协作性能。论文基于雷恩大学 IRISA 实验室的博士论文,于 2025 年 4 月答辩并通过 arXiv 发布。
该论文提出 HiLo-WAM 架构,旨在解决现有世界动作模型(WAMs)在捕捉长程任务上下文方面的不足。方法通过稀疏长程视觉流和密集局部动态流,在统一的双 DiT 架构中分别建模历史任务背景与短时机器人 - 物体交互,并利用结构化跨流注意力引导动作生成。
推荐理由:该工作提出 HiLo-WAM,通过解耦长程任务演化与局部动态并联合建模交互,在 RoboTwin 2.0 等基准上实现高成功率与推理加速。
该论文提出 ARPG 框架,利用大语言模型作为设计者而非执行决策者来构建机器人强化学习管道,包括马尔可夫决策过程(MDP)建模和仿真器实现。实验表明,该方法在 Isaac Sim 中相比单一 LLM 基线和现成代理系统,显著提升了建模正确性、环境可执行性和策略生成成功率。
该论文针对预训练大模型在具身智能导航中缺乏物理落地与显式安全保证的问题,提出一种模块化系统:集成高层 VLA 规划器与低层物理感知层,利用 SDF 表示和离散指数障碍函数约束 MPPI 规划器,为腿部机器人提供可证明的碰撞避免保证。系统在双足和四足机器人上进行了广泛的真实世界实验,验证了其高效、安全且通用的视觉语言驱动导航能力。
推荐理由:本文提出通过障碍函数约束与 SDF 感知为双足及四足机器人的 VLA 导航提供可证明的碰撞避免保证,并在真实机器人上验证了安全性。
视频世界模型虽能评估候选动作的想象结果,但高预测奖励常偏向执行质量差的轨迹。本文提出 Trusting Imagined Futures (TIF),一种离线监督选择方法,利用多维奖励模型和不确定性审计器识别过估计模式。
推荐理由:该工作提出利用执行反馈审计想象奖励以筛选 VLA 后训练数据,在 LIBERO 基准上提升成功率并在真实机器人任务中提高完成度。
该工作推导了多旋翼飞行器在机身几何与气动特性不变条件下,仅因负载变化导致质量改变时的能量最优稳态水平飞行行为缩放关系。实验验证表明:能量最优速度与质量的平方根成正比、最优俯仰角随质量恒定、单位距离能耗与质量成正比。这些定律支持通过简单的巡航速度规划来优化能效并延长续航范围。
论文提出 DreamFree,一种利用预训练视频扩散模型进行机器人控制的 World Action Model(WAM)。该方法通过表征蒸馏技术,使视觉编码器仅基于当前观测即可预测冻结的扩散模型内部表示,从而无需生成未来视频即可提取动作相关信息。
针对通信受限下的自主水下车辆协调问题,该研究提出一种结合大语言模型(LLM)解释自然语言指令、混合整数线性规划(MILP)优化分配及分布式行为树(BT)执行的层级框架。
针对直接部署视觉基础模型(VFM)存在计算成本高、时序不一致及分布偏移等问题,本文提出 All-For-One 两阶段蒸馏框架。该方法在训练阶段利用 VFM 作为特权信息融合 RGB 观测以学习语义增强表示,随后将知识蒸馏至仅依赖 RGB 的轻量级学生策略网络。
该论文提出 SR-DP(Spectrally Routed Diffusion Policy)以解决多任务机器人操作中的性能瓶颈。针对卷积编码器视觉条件判别力不足及不兼容动作模式导致的梯度干扰问题,作者设计了冻结 VGGT 编码器与空间压缩适配器生成紧凑语义几何令牌,并通过谱路由和 Householder 输入旋转分解线性层为正交秩一专家基。
针对人形机器人在杂乱环境中需快速反应意外接触的挑战,该研究提出了 ARC(Ascending Reflex Control)框架,将毫秒级触觉反射与全身策略学习相结合。
推荐理由:该工作将毫秒级触觉反射与全身策略学习结合,在 Unitree G1 上验证了降低冲击峰值和保持平衡的能力。
RAFT 是一种针对视觉语言动作(VLA)策略的两阶段后训练方法,先在任务相关推理标注上训练低秩适配器并冻结,再在动作演示上微调策略。该方法在物理 DROID 机器人上实现了 75.0% 的分布外成功率,显著优于普通微调的 27.9%;在多阶段双手 YAM 任务中平均成功率为 70.0%,强基线为 36.0%。
论文提出 DiMuRe 框架,利用阶段证据和方法先决条件选择程序复用或预定义恢复技能(包括有界 VLA 抓取),并在原程序退出后通过多模态大语言模型生成修正代码。
推荐理由:提出诊断引导的多级恢复框架,在干扰场景下将任务成功率从 58.68% 提升至 77.65%,并开源了 LIBERO-Disturb 基准。
该论文提出一种结合单刚体模型、姿态动力学及完整接触 wrench 的在线优化框架,通过增广拉格朗日与松弛障碍惩罚将接触力与步点位置联合优化。该方法在 MuJoCo 仿真中以 100 Hz 重规划(平均求解时间 8.9 ms),并在宇树 G1 机器人上验证了稳态行走及恢复 245 N 前向和 175 N 侧向冲击的能力。材料为预印本,未提及同行评审状态或具体部署许可。
该方法提出一种主动机动基座的引导控制策略,在接近操作期间使翻滚物体相对于基座静止,简化运动规划并降低碰撞风险。预抓取阶段通过同步控制将目标质心与系统瞬时旋转中心对齐以虚拟刚化系统;后抓取阶段基于哈密顿动力学和最优控制稳定组合系统,同时满足基座力矩限制及多重抓取约束。案例研究证实该方法能实现后续抓取与去翻滚阶段的自主执行。
针对杂乱环境中需临时移动物体的非单调重排难题,VARP 模型直接从专家演示的视觉状态中学习,无需重新规划或在线组合搜索。该模型在挑战基准测试中达到 98.3% 成功率,单次任务仅耗时 0.4 秒,且在执行干扰下保持 97.5% 成功率、严重连续干扰下为 94.5%,并有效泛化至未见物体数量。
论文提出了 FEIJOA 语言模型智能体,用于解决移动机械臂在执行‘把玩具收进箱子’等开放指令时的场景理解难题。该方法在测试时查询 grounding 工具以解析指令,并通过具身感知 harness 检查技能先决条件、采样可达基座位姿并验证执行效果。
推荐理由:该工作提出在测试时进行指令 grounding 的架构,显著提升了移动操作任务的成功率。
该论文提出一种实用因果推理框架,旨在解决在人类密集环境中收集因果数据困难的问题。研究通过保留高层不变因果结构,仅利用少量新观测更新参数,实现了高效的仿真到现实(sim-to-real)迁移。实验表明,该系统能高效运行于移动机器人端侧,并在复杂的人类共享场景中显著优于非因果基线,成功实现安全导航。
论文提出一种基于区块链去中心化自治组织(DAO)的治理框架,用于管理动态加入或离开的开放型机器人集群。研究通过智能合约编码自主规则,实现了对集群成员资格的自动调节及拜占庭行为(故障或恶意机器人)的防御与移除。仿真结果和实物验证显示,该机制能在保持集群正常运行的同时,将拜占庭机器人的数量控制在可接受范围内。材料为预印本,未提及同行评审状态。
论文介绍了一种名为 h-NESDF 的新指标,它是正常欧几里得符号距离函数的推广版本。该函数通过引入平滑参数 h 实现了在任意 h>0 时的无限可微性,同时当 h 趋近于 0 时退化为 NESDF。研究展示了其在运动规划中的广泛仿真结果,证明了该方法在处理非凸集合及需要导数信息的机器人应用(如运动规划和控制)中的可行性与效率。
推荐理由:提出一种可无限微分的集合间有向距离函数,解决传统欧氏距离在机器人运动规划与控制中求导困难的问题。