从 12 到 200 次演示:ACT、Diffusion Policy、SmolVLA 和π0.5 在低成本机械臂上的扩展性研究
该论文对比了 ACT、Diffusion Policy、SmolVLA 和π0.5 四种模仿学习策略,通过在低成本 SO-101 机械臂上执行带干扰物的抓取放置任务(演示量从 12 次增至 200 次),评估了其扩展性。
推荐理由:该研究对比了四种模仿学习策略在低成本机械臂上的表现,揭示了数据量与微调方法对成功率的具体影响及失败模式差异。
技术方向
视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。
840 条精选近 30 天 569 条共收录 3,491 条
该论文对比了 ACT、Diffusion Policy、SmolVLA 和π0.5 四种模仿学习策略,通过在低成本 SO-101 机械臂上执行带干扰物的抓取放置任务(演示量从 12 次增至 200 次),评估了其扩展性。
推荐理由:该研究对比了四种模仿学习策略在低成本机械臂上的表现,揭示了数据量与微调方法对成功率的具体影响及失败模式差异。
arXiv 论文 GAWM 提出了一种紧凑的多任务世界动作模型(WAM),旨在解决现有基于百亿参数视觉语言或视频生成骨干网络的高训练成本与推理延迟问题。该模型在冻结的 DINOv3 编码器潜在空间内预测未来观测,将每个相机视图的特征压缩为少量 token,并通过轻量级预测器根据任务而非动作来预报这些 token。
推荐理由:该工作提出了一种仅用不到1亿参数且无需预训练的紧凑型世界动作模型,在RoboTwin 2.0和LIBERO基准上表现优异。
论文提出 TAPESTRY 方法,通过 Tokenizing Actions as Video Patches in a Shared Transformer Policy,将预训练视频扩散模型复用于机器人控制策略,无需在推理时进行资源密集的视频生成。
推荐理由:该工作将预训练视频扩散模型复用于机器人策略,无需推理时生成视频即可输出动作序列。
论文介绍了在 MetaFine Open Competition 中排名第一的视觉语言动作策略 MAI。研究从官方演示出发,针对抓取、推搡和插入等局部失败,通过修订运动轨迹并添加专家续写进行优化,同时保留原始演示用于训练。所有检查点均按指令比较,确保单一指令的收益不会掩盖其他指令的损失。最终提交以 96.66 分获得综合第一。
推荐理由:作者针对 MetaFine 竞赛中的抓取与插入失败,通过局部评估指导演示修正并加入专家续写策略,最终提交 MAI 以 96.66 分获第一。
该论文提出 TOPS(Task-Oriented Priors and Schedules)方法,针对语言条件化的多任务机器人操纵问题,通过构建多模态任务源并调整去噪过程中的插值调度来适应不同运动需求。
推荐理由:TOPS 方法通过调整流源先验与插值调度,在无需修改网络架构下提升多任务机器人操作的成功率与推理效率。
该论文提出一种基于学习的实机 - 仿真 - 实机框架,旨在将多样化的生物形态(如鳗鱼游泳、尺蠖拱形运动)转化为可行的软体模块化机器人构型。针对现有方法依赖昂贵物理建模和组合搜索的问题,该方法结合学习到的逆向预测与目标候选探索,利用快速前向代理模型评估设计。
推荐理由:提出基于代理的逆向设计框架,将生物曲线转化为机器人构型,在未见过的穿线模式下实现 93% 的形状重构成功率。
针对骨骼肌形态差异导致策略复用困难的问题,本文提出了 MyoAcross 框架,结合个体模型构建、形态条件策略学习与虚拟模型增强,实现了无需微调的肌肉驱动参考动作跟踪。
推荐理由:该框架通过形态条件策略学习,在无需微调的情况下实现了跨个体肌肉驱动控制,显著降低了跟踪误差并提升了完成度。
针对导航 VLA 策略重复调用昂贵语义推理的问题,作者提出 ASPEN 事件触发调度器,利用轻量多模态预测器结合时序观测、语言指令、执行历史和缓存置信度来估计冻结基线策略是否会重发旧指令。
推荐理由:该工作提出基于指令持久性预测的事件触发调度器,在冻结基线策略下实现指令复用,显著降低推理成本并保持导航性能。
针对 VLM 难以直接转录盲文的难题,本文构建了包含 259 张真实世界 Grade-1 和 Grade-2 盲文图像的基准 BrailleBench。研究发现通用模型表现不佳而工具辅助系统效果更佳;通过合成数据训练的 2B 参数模型在 Grade-1 上达到 87% 准确率,Grade-2 为 61%,优于现有系统但存在合成与真实场景间的显著差距。
推荐理由:该文构建盲文评测基准并证明合成数据可提升模型能力,但指出合成验证高分无法保证真实照片识别效果。
该论文提出 E0.5,这是一个以 3D 几何为原生基础的机器人世界 - 动作(WAM)模型,将 3D 几何作为世界建模与动作预测的核心表示。E0.5 在 RoboTwin 2.0 基准上无需具身数据预训练即可达到 89.90%(干净设置)和 50.09%(随机化设置)的成功率,并显式联合预测未来 3D 状态与动作。
推荐理由:该工作提出以 3D 几何为原生基础的 E0.5 模型,在 RoboTwin 2.0 上实现高成功率,并通过具身预训练显著提升真实机器人操作表现。
小米于10月27日公布新一代仿生手核心信息,包括21个自由度、26个电机混合驱动及1500点全掌触觉。该规格并非单纯参数堆砌,而是基于对汽车工厂1827个标准作业程序(SOP)的动作捕捉与仿真分析得出:数据显示人手关节在实际作业中利用率高且存在天然耦合,21个自由度在抓握成功率上优于低自由度方案但边际收益递减。
推荐理由:小米公布新一代仿生手,其21个自由度规格源自对自家工厂1827个SOP的动作数据与仿真分析。
iPrefBench 是一个用于评估个性化移动使用代理推断和询问能力的基准,运行在包含交互式模拟用户的可执行 iOS 环境中。该基准基于拥有 3,051 次历史活动事件的连贯人设,涵盖 26 个应用中的 130 项未明确定义的用户任务。
推荐理由:该基准在模拟 iOS 环境中评估个性化代理的推断与询问能力,揭示了执行得分高但任务成功率低且难以获取用户必要信息的差距。
针对半监督学习中利用视觉语言模型(VLM)能力时面临的监督与蒸馏损失梯度冲突问题,本文提出双头优化(DHO)方法,为不同信号引入独立预测头以缓解冲突。实验在 15 个数据集上验证了该方法能提升特征学习效果,使小模型学生网络超越教师模型表现,并在 ImageNet 半监督学习与分布外泛化任务中达到新状态最优。代码与检查点已公开。
推荐理由:提出双头优化方法解决监督与蒸馏损失间的梯度冲突,在多个数据集上超越单头基线并实现小模型优于教师模型的效果。
arXiv 论文提出 Expert-Play Contouring Control (EPCC),解决模仿学习继承演示时序导致无法加速的问题。方法利用专家数据训练潜在轨迹生成器以获取任务意图,同时用快速游玩数据训练世界模型以覆盖动力学变化;部署时优化动作沿专家轮廓最大化进度并惩罚偏离。
推荐理由:提出结合专家演示与快速游玩数据的控制方法,在三个视觉运动任务中将吞吐量提升两倍。
VLN on the Fly 是一种在四旋翼无人机上完全本地运行的模块化视觉语言导航栈,将指令落地、三维规划与控制作为可检查的独立阶段。该栈利用量化 VLM 进行粗粒度图像单元定位,通过深度估计提升为三维目标,使用快速 B-样条规划器生成可行轨迹,并由预训练的强化学习策略跟踪至电机指令。
推荐理由:该预印本提出了一种在四旋翼无人机上完全本地运行的模块化视觉语言导航栈,实现了指令落地、三维规划与闭环控制的分阶段执行。
论文提出了 ForceDelta-VLA 框架,旨在解决现有 VLA 策略在接触丰富操作中难以分解任务级运动与接触调整的问题。该方法利用冻结教师模型的力条件与无学习模式预测构建显式的力修正目标,并引入延迟修正以处理参考动作失配。
推荐理由:提出 ForceDelta-VLA 框架,通过蒸馏力条件动作修正提升接触丰富任务成功率至 82.2%,并降低峰值接触力。
针对现有方法每款机器人单独训练导致运动经验隔离的问题,该研究提出 X-WBC 框架,将相对共享的人体运动语义与本体特定的物理执行分离。通过人体中心指令 token 对齐全量人体运动、机器人参考运动及稀疏 VR 观测,利用因果 Transformer 从混合多机器人 rollout 中学习可复用时间结构,并通过轻量级本体特定模块映射到各机器人的本体感知与动作空间。
推荐理由:该工作提出跨躯体基础框架,通过解耦共享语义与本体执行实现多机器人联合训练,为具身智能通用部署提供新路径。
AgiBot Research Team 发布了 GE-Act 2.0,这是一个从头开始预训练的“世界 - 行动”模型(WAM),旨在指导机器人操作。该模型结合了控制导向自编码器、单步视觉规划器和逆动力学模型,并通过知识对齐的选择性优化进行联合训练。
推荐理由:报告了从 300 小时到 3 万小时协同训练数据对机器人操作成功率的影响,并验证了跨本体迁移与零样本泛化能力。
论文提出 Hi-Token 显式编码坐标轴与位值,用 12 个 token 表示边界框;配合 Hi-GAR 几何奖励优化策略梯度。实验显示该方法在 RefCOCO 等基准上优于原子 token 基线及强专家长模型,且仅用于训练阶段。材料为 arXiv 预印本,未提及同行评审或正式部署状态。
推荐理由:该预印本提出 Hi-Token 坐标编码与 Hi-GAR 奖励机制,在三个 VLM 主干上提升生成式视觉定位效果。
针对人机共适应难题,研究提出分阶段多智能体训练方法,在仿真中联合训练肌肉骨骼人体与双髋外骨骼策略。该策略无需用户特定重训即可转移至物理设备,在八名健康成人实验中,主动辅助使净代谢率较被动模式降低 19.7%,且跨速度与地形保持有效协助能力。
推荐理由:提出分阶段多智能体训练框架,在仿真中联合优化人体与外骨骼策略,实机验证显示主动辅助降低代谢率 19.7%。