2AM:作为长视界操作可导向动作模型的引导的 Agent 端记忆 grounding
论文提出 2AM 框架,将多模态智能体设为唯一记忆持有者,负责编译交互历史为子任务语言及可选的抓取/放置提示;单通道 RGB 动作模型仅执行运动。通过在演示中增加结构化提示标签并在条件 dropout、空间噪声和时间抖动下训练,使 VLA 能够容忍不完美引导。
推荐理由:该工作将任务记忆置于 Agent 侧以引导动作模型,在无深度与规划器条件下实现显著性能提升。
技术方向
视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。
840 条精选近 30 天 569 条共收录 3,491 条
论文提出 2AM 框架,将多模态智能体设为唯一记忆持有者,负责编译交互历史为子任务语言及可选的抓取/放置提示;单通道 RGB 动作模型仅执行运动。通过在演示中增加结构化提示标签并在条件 dropout、空间噪声和时间抖动下训练,使 VLA 能够容忍不完美引导。
推荐理由:该工作将任务记忆置于 Agent 侧以引导动作模型,在无深度与规划器条件下实现显著性能提升。
针对任务与运动规划(TAMP)系统中手工创建符号算子的瓶颈,该方法提出从演示数据中学习算子。系统自动发现训练数据中因果关联的动作对并将其压缩为单一规划步骤的复合动作,同时剪除未被任何学习到的算子引用的谓词以缩小搜索节点状态空间。
推荐理由:该方法通过自动发现因果动作对生成宏观算子并剪枝无关谓词,解决了长序列任务中搜索不可行与状态评估低效的问题。
该论文提出了机器人因子化世界模型(RoFacto),通过将动作实现与场景响应预测解耦:首先利用控制器和运动学将指令序列转化为无需未来状态的名义轨迹,随后通过 URDF 进行机器人渲染以显式处理几何、运动学和外观。该方法利用末端执行器深度和静态 RGB 上下文构建共享视觉接口,实验表明其优于向量条件基线,支持未见过的机器人本体迁移,并能从重定向的人类演示中生成操作视频。
推荐理由:提出将机器人动力学与渲染显式分离的世界模型架构,支持跨本体迁移及从人类演示生成操作视频。
论文提出了 OpenHLM 这一开源方案,旨在构建将语言和图像直接映射到人形机器人所有自由度的全身原生视觉语言动作模型。研究通过分阶段实验发现,基于关节的全身遥操作接口优于部分暴露自由度的替代方案;在静态和轮式双臂平台上预训练的 VLA 模型能意外地良好迁移至人形机器人的全动作空间;与 HuMI(UMI 的人形类比)协同训练可拓展策略以处理新物体和指令。
推荐理由:提出全身原生视觉语言动作模型构建路线图,在长周期任务中用更少演示时间优于现有基线。
Any-ttach 是一种面向工具的机器人操作系统,利用机械模块化和自主末端执行器更换作为提升灵巧性的途径。该系统结合了低成本标准化被动自锁接口、统一的物体中心操作框架以及分层规划执行系统。
推荐理由:该预印本提出通过低成本机械接口实现末端执行器自动更换,以工具模块化扩展操作能力。
论文提出了 CoEnv(Code-driven Exploration)框架与 CoEx 方法,旨在解决通用编码代理缺乏安全练习场的问题。该方法通过 CoEnv 将多视角 RGBD 数据重建为物理仿真的数字孪生环境,使智能体能在可执行的数字孪生中编写、调试并优化完整的多臂协作程序。
推荐理由:提出 CoEnv 框架,利用代码驱动代理在数字孪生中探索多臂协作程序,验证后转移至硬件,显著提升了无人类演示任务的成功率。
针对手术机器人自主性不足的问题,作者提出了 ArthroCut 框架,将膝关节置换机器人从辅助执行升级为情境感知动作生成。该框架基于 Qwen-VL 骨干网络,在包含 21 例完整病例(共 23,205 对 RGB-D 数据)的自建多模态数据集上进行微调,融合了术前 CT/MR、术中 NDI 追踪、RGB-D 手术视频及机器人状态。
推荐理由:提出 ArthroCut 框架,通过融合术前影像与术中视觉 token 实现骨科机器人自主决策。
该研究针对动态空间中机器人需持续感知环境的挑战,提出一种名为 PS-PRM 的 GPU 并行化概率路图规划器。该方法利用神经代理模型近似感知分数(如目标检测置信度),将其融入运动规划搜索过程,以解决运动与感知需求冲突及实时评估成本高的问题。实验表明,该规划器在静态和动态环境下的仿真及真实机器人实验中,均优于基于强化学习和轨迹优化的基线方法。
推荐理由:提出 PS-PRM 规划器,利用神经代理模型近似感知分数并引入 GPU 并行,解决高自由度机器人在动态环境中运动与感知的联合优化难题。
论文提出了 Uni-LaSpec 框架,通过复用验证器注意力机制和接受度感知训练优化草稿质量,并利用边际成本准则动态分配验证结构以适应不同 GPU 负载。实验显示该方法在六种视觉语言模型上平均保留超过 98.6% 的接受率,吞吐量提升最高达 5.11 倍,并在多种负载场景下优于固定验证策略。
推荐理由:该工作提出负载自适应推测解码框架,在六种大模型与十七项基准测试中验证了其在不同 GPU 负载下的效率提升。
该论文针对现代机器人学习中仅依赖验证损失和平均任务成功率指标不足的问题,研究了闭环 pass@k 指标以评估策略在多次采样下的成功可达性。研究发现大 k 的 pass@k 能揭示传统指标无法捕捉的后训练差异,并揭示了预训练过程中覆盖率与可靠性的权衡关系。作者据此提出了无需闭环评估的离线检查点选择准则以及生成式数据增强程序,旨在扩展监督范围并保持高可靠性。
推荐理由:提出基于 pass@k 的评估指标与离线选择准则,揭示预训练中覆盖率与可靠性的权衡关系。
论文介绍了 PanoTac,这是一种低成本、柔顺的触觉指尖传感器,旨在提供密集的三轴触觉感知能力。每个指尖提供 12x32x3 的触觉表示,包含法向和两个剪切响应分量,采样率为 60 Hz,成本低于每指尖 50 美元。
推荐理由:PanoTac 传感器在管具准备、舀取谷物等任务中,相比纯视觉基线平均提升 46.7% 性能。
论文提出 SNAP 方法,利用单一语义标注鸟瞰图同时推理语义地形与动态障碍物,避免依赖显式的人体状态估计。该方法在拥挤城市环境中优于现有的人群避让和语义感知基线,并成功实现零样本迁移至足式机器人,展示了在高动态真实场景中的社会合规导航能力。
推荐理由:提出基于语义鸟瞰图的强化学习导航策略,无需显式人体状态估计即可在拥挤场景实现社会合规导航,并验证了跨足式机器人的零样本迁移能力。
论文提出 ForceLDM 模型,旨在解决视觉策略在接触丰富操作任务中难以推断接触状态与交互力的问题。该方法通过知识蒸馏,利用拥有未来力和光流信号的教师网络提取动态特征,并将其迁移至仅依赖当前观测的学生网络,使部署时无需未来感官输入即可推理后续接触与物理动力学。此外,引入课程渐进噪声注入策略以提升鲁棒性。实验在五个真实世界任务上验证了其在性能、泛化性及抗扰动方面的优势。
推荐理由:提出 ForceLDM,通过知识蒸馏将含未来力信号的教师网络特征迁移至仅用当前观测的学生网络,解决接触丰富任务中的动力学建模难题。
VerifLM 是一个将图像编辑生成的目标配置转换为经物理验证的六自由度物体位姿的框架。该方法利用编辑后的图像恢复主动与被动物体间的初始相对位姿,提示视觉语言模型生成分轴采样约束和任务特定验证程序,并在物理模拟器中评估候选位姿。
推荐理由:该框架将图像编辑目标转化为经物理验证的位姿,在无需预定义网格的情况下实现高成功率。
论文提出一种基于仿真的协同设计框架,联合优化材料分布、气动执行器位置与朝向及控制策略,生成可直接通过熔融沉积建模单体 3D 打印的软体机器人设计。该方法采用可微分二维平面应力质点法模拟器,结合实验验证的材料模型和充气执行器的经验代理模型,实现了从任务级目标到物理可实现软体机器人的路径。研究展示了基于梯度的优化生成的软体机械臂能复现仿真预测的行为,且无需后组装即可直接转移至单次单体打印制造。
推荐理由:该工作提出基于仿真的协同设计框架,联合优化材料分布与气动执行器布局,实现单体 3D 打印软体机械臂并复现仿真行为。
论文提出了 FineCraft 框架,通过任务路由混合策略独立适配 DINOv2-DiT 或预训练 pi_0.5 策略,利用局部视觉特征识别指令对象部分,结合演示与专家续写教学动作,并在执行中根据新观测进行重规划。该框架在 MetaFine Challenge 中综合得分 0.878,排名第四且五项任务均超越官方参考基准。代码已开源。
推荐理由:该框架在 MetaFine Challenge 中排名第四,展示了预训练模型在细粒度操作任务上的适配效果。
KlaskTron 是一个基于动态桌面游戏 KLASK 的低成本(<2500 美元)桌面级机器人测试床,旨在解决物理多智能体强化学习基准稀缺的问题。该平台配备双 CoreXY 龙门架和高扭矩无刷电机,支持高速精确操作。项目完整开源了硬件 CAD/BOM、NVIDIA Isaac Lab 数字孪生仿真环境以及经过验证的零样本策略迁移基线(使用学习到的神经执行器模型),所有资产均公开以确保证据可复现。
推荐理由:开源低成本桌面级对抗多智能体强化学习平台,含硬件设计、数字孪生及零样本策略迁移基线。
该论文提出 Behavioral Affinity Transduction (BAT) 方法,旨在解决零样本视觉语言模型(VLM)独立评分时忽略图像间关联的问题。
推荐理由:BAT 方法利用零样本 VLM 的类响应特征构建稀疏图,为冻结模型提供邻居证据以提升分类准确率。
作者构建了 KlaskTron-IL 基准,包含 80k 物理机器人采集的人类演示、320k 对称增强数据及由零样本验证策略生成的合成轨迹。该基准揭示了标准模仿学习方法在富接触对抗动力学下的三种典型失效模式:行为克隆的数据扩展瓶颈、GAIL 判别器梯度弱以及行为克隆先验与奖励密度的非对称交互。由于策略接口与硬件执行器模型一致,在此范围内训练的强基线策略可直接迁移至物理机器人运行。
推荐理由:作者构建了含接触对抗的模仿学习基准,提供零样本仿真到现实迁移策略与诊断基线,揭示标准方法在复杂动力学下的失效模式。
针对接触式机器人操作受末端执行器可达性和物体机械性质限制的问题,本文提出了一种基于气流的非接触式操作强化学习框架。作者开发了适用于 Isaac Lab 的通用气流扩展模块,利用实验识别的气流模型计算对物体的力和力矩,支持大规模并行训练。
推荐理由:作者提出基于气流的非接触式操作强化学习框架,在 Isaac Lab 中实现并行训练,并在真实世界零样本部署中验证了混合推吹策略与矩形重定向策略的有效性。