AIRoA-0:仅凭手持演示实现长视界精准跨本体操作
AIRoA-0 是一个从 16,151 小时手持演示中学习的双臂操作系统,训练全程未采集任何机器人数据。该系统利用开源 YUBI 手持夹爪录制数据,仅需手腕摄像头即可在未见过的场景执行分类零件、更换扫地机配件、解拉链和折叠毛巾等任务。
推荐理由:作者基于纯手持演示数据训练出跨本体双臂操作模型,在未见过的机器人上实现 78% 成功率,并开源数据集与权重。
技术方向
机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。
1,139 条精选近 30 天 643 条共收录 4,549 条
AIRoA-0 是一个从 16,151 小时手持演示中学习的双臂操作系统,训练全程未采集任何机器人数据。该系统利用开源 YUBI 手持夹爪录制数据,仅需手腕摄像头即可在未见过的场景执行分类零件、更换扫地机配件、解拉链和折叠毛巾等任务。
推荐理由:作者基于纯手持演示数据训练出跨本体双臂操作模型,在未见过的机器人上实现 78% 成功率,并开源数据集与权重。
论文介绍 Micius-Flash 是一个拥有 270 亿参数的工程领域多模态模型,具备原生多模态输入、深度推理和 256K token 上下文窗口。研究团队构建了知识树驱动的数据飞轮,训练了半导体知识与推理、硬件编码等专家模型,并通过多教师同策略蒸馏整合能力。
推荐理由:该预印本介绍了面向工程领域的轻量级多模态模型 Micius-Flash,展示了其在硬件代码与半导体任务上的性能提升及工具执行反馈能力。
论文提出 2AM 框架,将多模态智能体设为唯一记忆持有者,负责编译交互历史为子任务语言及可选的抓取/放置提示;单通道 RGB 动作模型仅执行运动。通过在演示中增加结构化提示标签并在条件 dropout、空间噪声和时间抖动下训练,使 VLA 能够容忍不完美引导。
推荐理由:该工作将任务记忆置于 Agent 侧以引导动作模型,在无深度与规划器条件下实现显著性能提升。
论文提出了 OpenHLM 这一开源方案,旨在构建将语言和图像直接映射到人形机器人所有自由度的全身原生视觉语言动作模型。研究通过分阶段实验发现,基于关节的全身遥操作接口优于部分暴露自由度的替代方案;在静态和轮式双臂平台上预训练的 VLA 模型能意外地良好迁移至人形机器人的全动作空间;与 HuMI(UMI 的人形类比)协同训练可拓展策略以处理新物体和指令。
推荐理由:提出全身原生视觉语言动作模型构建路线图,在长周期任务中用更少演示时间优于现有基线。
Any-ttach 是一种面向工具的机器人操作系统,利用机械模块化和自主末端执行器更换作为提升灵巧性的途径。该系统结合了低成本标准化被动自锁接口、统一的物体中心操作框架以及分层规划执行系统。
推荐理由:该预印本提出通过低成本机械接口实现末端执行器自动更换,以工具模块化扩展操作能力。
论文提出了 CoEnv(Code-driven Exploration)框架与 CoEx 方法,旨在解决通用编码代理缺乏安全练习场的问题。该方法通过 CoEnv 将多视角 RGBD 数据重建为物理仿真的数字孪生环境,使智能体能在可执行的数字孪生中编写、调试并优化完整的多臂协作程序。
推荐理由:提出 CoEnv 框架,利用代码驱动代理在数字孪生中探索多臂协作程序,验证后转移至硬件,显著提升了无人类演示任务的成功率。
针对手术机器人自主性不足的问题,作者提出了 ArthroCut 框架,将膝关节置换机器人从辅助执行升级为情境感知动作生成。该框架基于 Qwen-VL 骨干网络,在包含 21 例完整病例(共 23,205 对 RGB-D 数据)的自建多模态数据集上进行微调,融合了术前 CT/MR、术中 NDI 追踪、RGB-D 手术视频及机器人状态。
推荐理由:提出 ArthroCut 框架,通过融合术前影像与术中视觉 token 实现骨科机器人自主决策。
该研究针对动态空间中机器人需持续感知环境的挑战,提出一种名为 PS-PRM 的 GPU 并行化概率路图规划器。该方法利用神经代理模型近似感知分数(如目标检测置信度),将其融入运动规划搜索过程,以解决运动与感知需求冲突及实时评估成本高的问题。实验表明,该规划器在静态和动态环境下的仿真及真实机器人实验中,均优于基于强化学习和轨迹优化的基线方法。
推荐理由:提出 PS-PRM 规划器,利用神经代理模型近似感知分数并引入 GPU 并行,解决高自由度机器人在动态环境中运动与感知的联合优化难题。
本文发布 Parametric CAD Bench v3,这是一个包含 100 个任务的基准,涵盖从文本生成 CAD、文本生成并编辑以及从工程图纸重建机械零件。
推荐理由:该基准通过几何相似度与规范一致性评估代理生成 CAD 脚本的能力,并开放了任务、配置及结果工件。
论文介绍 TriPhysBench 基准和 TriPhys 框架,旨在评估和提升具身智能体的物理感知、知识检索及定量推理能力。基准包含来自 200 个视频的 410 个问题,涵盖测量驱动与知识驱动的子任务;现有六款视觉语言模型中最佳者准确率仅 50.38%。
推荐理由:该工作提出 TriPhysBench 基准与 TriPhys 框架,揭示现有模型在物理感知、知识检索与推理协同任务上的不足并提供改进路径。
论文提出了 Uni-LaSpec 框架,通过复用验证器注意力机制和接受度感知训练优化草稿质量,并利用边际成本准则动态分配验证结构以适应不同 GPU 负载。实验显示该方法在六种视觉语言模型上平均保留超过 98.6% 的接受率,吞吐量提升最高达 5.11 倍,并在多种负载场景下优于固定验证策略。
推荐理由:该工作提出负载自适应推测解码框架,在六种大模型与十七项基准测试中验证了其在不同 GPU 负载下的效率提升。
论文介绍了 PanoTac,这是一种低成本、柔顺的触觉指尖传感器,旨在提供密集的三轴触觉感知能力。每个指尖提供 12x32x3 的触觉表示,包含法向和两个剪切响应分量,采样率为 60 Hz,成本低于每指尖 50 美元。
推荐理由:PanoTac 传感器在管具准备、舀取谷物等任务中,相比纯视觉基线平均提升 46.7% 性能。
论文提出 SNAP 方法,利用单一语义标注鸟瞰图同时推理语义地形与动态障碍物,避免依赖显式的人体状态估计。该方法在拥挤城市环境中优于现有的人群避让和语义感知基线,并成功实现零样本迁移至足式机器人,展示了在高动态真实场景中的社会合规导航能力。
推荐理由:提出基于语义鸟瞰图的强化学习导航策略,无需显式人体状态估计即可在拥挤场景实现社会合规导航,并验证了跨足式机器人的零样本迁移能力。
论文提出 ForceLDM 模型,旨在解决视觉策略在接触丰富操作任务中难以推断接触状态与交互力的问题。该方法通过知识蒸馏,利用拥有未来力和光流信号的教师网络提取动态特征,并将其迁移至仅依赖当前观测的学生网络,使部署时无需未来感官输入即可推理后续接触与物理动力学。此外,引入课程渐进噪声注入策略以提升鲁棒性。实验在五个真实世界任务上验证了其在性能、泛化性及抗扰动方面的优势。
推荐理由:提出 ForceLDM,通过知识蒸馏将含未来力信号的教师网络特征迁移至仅用当前观测的学生网络,解决接触丰富任务中的动力学建模难题。
VerifLM 是一个将图像编辑生成的目标配置转换为经物理验证的六自由度物体位姿的框架。该方法利用编辑后的图像恢复主动与被动物体间的初始相对位姿,提示视觉语言模型生成分轴采样约束和任务特定验证程序,并在物理模拟器中评估候选位姿。
推荐理由:该框架将图像编辑目标转化为经物理验证的位姿,在无需预定义网格的情况下实现高成功率。
论文提出一种基于仿真的协同设计框架,联合优化材料分布、气动执行器位置与朝向及控制策略,生成可直接通过熔融沉积建模单体 3D 打印的软体机器人设计。该方法采用可微分二维平面应力质点法模拟器,结合实验验证的材料模型和充气执行器的经验代理模型,实现了从任务级目标到物理可实现软体机器人的路径。研究展示了基于梯度的优化生成的软体机械臂能复现仿真预测的行为,且无需后组装即可直接转移至单次单体打印制造。
推荐理由:该工作提出基于仿真的协同设计框架,联合优化材料分布与气动执行器布局,实现单体 3D 打印软体机械臂并复现仿真行为。
论文提出了 FineCraft 框架,通过任务路由混合策略独立适配 DINOv2-DiT 或预训练 pi_0.5 策略,利用局部视觉特征识别指令对象部分,结合演示与专家续写教学动作,并在执行中根据新观测进行重规划。该框架在 MetaFine Challenge 中综合得分 0.878,排名第四且五项任务均超越官方参考基准。代码已开源。
推荐理由:该框架在 MetaFine Challenge 中排名第四,展示了预训练模型在细粒度操作任务上的适配效果。
KlaskTron 是一个基于动态桌面游戏 KLASK 的低成本(<2500 美元)桌面级机器人测试床,旨在解决物理多智能体强化学习基准稀缺的问题。该平台配备双 CoreXY 龙门架和高扭矩无刷电机,支持高速精确操作。项目完整开源了硬件 CAD/BOM、NVIDIA Isaac Lab 数字孪生仿真环境以及经过验证的零样本策略迁移基线(使用学习到的神经执行器模型),所有资产均公开以确保证据可复现。
推荐理由:开源低成本桌面级对抗多智能体强化学习平台,含硬件设计、数字孪生及零样本策略迁移基线。
该论文提出 Behavioral Affinity Transduction (BAT) 方法,旨在解决零样本视觉语言模型(VLM)独立评分时忽略图像间关联的问题。
推荐理由:BAT 方法利用零样本 VLM 的类响应特征构建稀疏图,为冻结模型提供邻居证据以提升分类准确率。
针对接触式机器人操作受末端执行器可达性和物体机械性质限制的问题,本文提出了一种基于气流的非接触式操作强化学习框架。作者开发了适用于 Isaac Lab 的通用气流扩展模块,利用实验识别的气流模型计算对物体的力和力矩,支持大规模并行训练。
推荐理由:作者提出基于气流的非接触式操作强化学习框架,在 Isaac Lab 中实现并行训练,并在真实世界零样本部署中验证了混合推吹策略与矩形重定向策略的有效性。