AFFORD2ACT:稀疏关键点在机器人操作中的极限探索
AFFORD2ACT 研究仅用稀疏视觉表征进行机器人操作的可行性。该方法利用现成的语言条件化 affordance 模型定位任务相关区域,选取最多 15 个物体关键点和 4 个末端执行器关键点(共 19 个点),并辅以轻量门控机制决定注意力分配。
推荐理由:该工作证明仅用 19 个稀疏关键点即可在六项真实机器人任务中超越 RGB/Dense 基线,平均成功率达 82%,为紧凑状态表示提供了新范式。
技术方向
机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。
1,139 条精选近 30 天 643 条共收录 4,549 条
AFFORD2ACT 研究仅用稀疏视觉表征进行机器人操作的可行性。该方法利用现成的语言条件化 affordance 模型定位任务相关区域,选取最多 15 个物体关键点和 4 个末端执行器关键点(共 19 个点),并辅以轻量门控机制决定注意力分配。
推荐理由:该工作证明仅用 19 个稀疏关键点即可在六项真实机器人任务中超越 RGB/Dense 基线,平均成功率达 82%,为紧凑状态表示提供了新范式。
论文介绍 AgiBot World Colosseo 平台,包含超百万条轨迹覆盖 217 个任务及五种部署场景,通过标准化采集管线保证数据质量与多样性。
推荐理由:Agibot World 发布百万级轨迹数据集与 GO-1 通用策略,预训练模型在域内及分布外场景均提升 30% 性能。
针对世界模型在物理条件超出训练分布时精度下降的问题,本文研究了输入选择与计算机制两个因果建模组件。在合成基准中,冻结的依赖掩码将 OOD 均方根误差从 1.769 降至 0.697;在 CausalWorld 机器人连杆质量外推任务中,引入显式仿射系数的指端局部世界模型,使已知 PD 控制器下的关节 R2 中位数从 0.609 提升至 0.727。
推荐理由:该工作通过显式参数化动力学偏置项,使因果世界模型在物理参数发生偏移时仍能保持预测精度。
该论文提出 CW-WAM,这是一种联合预测视频、运动和接触力矩的世界动作模型。它采用混合运动 - 力控制灵感,包含统一交互模块和成对因果注意力机制,利用长固定长度力矩记忆保留过去交互信息。
推荐理由:该工作提出 CW-WAM 模型,结合接触力矩预测与慢快控制架构,将方柱插入成功率从 25% 提升至 70%,为力敏感操作提供了新的参考。
针对部分可观测环境下的序列决策难题,本文提出 ASTEROID 框架,利用学生 - 教师监督学习架构实现高效的测试时探索。该方法让学生先收集同策略上下文,再由特权专家提供条件化动作标签,使学生学会在不确定时搜索、揭示隐藏状态后利用。
推荐理由:提出 ASTEROID 框架,通过不对称同策略蒸馏让学生在部分可观测环境下学会测试时探索,仿真转现实成功率提升 40%。
针对 VLA 模型在复杂长视界技能学习中面临的延迟信用分配与子任务掌握不平衡问题,本文提出 AtomicRL 框架。该方法引入语义感知策略优化(SAPO)以约束跨任务边界的信用污染,并通过瓶颈自适应目标探索(BATE)动态协调采样与局部探索。
推荐理由:提出 AtomicRL 框架解决长视界操作中的信用分配与瓶颈问题,在仿真及真机部署上均优于 PPO。
论文提出了 RISE 方法,旨在让人形机器人在跌倒后根据场景和任务需求灵活选择恢复姿势与路径。该方法通过学习恢复词汇表连接意图与动作,并利用视觉扩散规划器预测未来状态以引导运动生成。实验在仿真中展示了多样化的恢复策略、地形适应及无需重训练的测试时导向能力,并在宇树 G1 机器人上进行了实物演示。材料为预印本版本,仅包含摘要信息。
推荐理由:该工作提出 RISE 方法,利用视觉扩散规划器在推理阶段引导人形机器人跌倒恢复策略,支持任务目标导向的多样化动作生成。
论文提出了 SP-HLM 框架,旨在解决人形机器人全身操控中高层策略与底层控制的接口问题。该框架采用稀疏姿态驱动机制,结合任务关键的五个体位与学习得到的潜在运动先验来表征空间意图和全身协调。
推荐理由:该工作提出稀疏姿态驱动的人形机器人全身控制框架,通过解耦任务意图与运动协调,在仿真及真机实验中提升了人形机器人的运动跟踪与操作成功率。
论文提出了 DONIC,这是首个联合训练于不同操作类别和人类运动源的双手通用追踪器,并发布了包含 1,575 序列的 BiHOI 数据集。该方法结合近端策略优化与行为克隆,利用对象中心奖励和 Clip-Centered Advantages 等技术,使单一策略能在异构参考下学习协同操作。
推荐理由:论文提出 DONIC 模型与 BiHOI 数据集,解决双手协同操作难题,在未见轨迹上成功率显著超越现有基线。
针对扩散式视频生成模型在长序列中自运动(ego-motion)漂移导致几何不一致的问题,该研究提出 CausalAlign 框架。该方法利用线性探针诊断自运动表征的保留模式,并通过将特定层的表征与 3D 基础模型在 delta-token 空间对齐来增强自运动状态。
推荐理由:该工作通过因果对齐框架修正扩散视频生成模型的自运动漂移,显著提升了几何一致性与具身任务成功率。
针对优化重定向管道和未来帧条件引入的计算延迟问题,本文提出 HuMiT 系统,其统一跟踪策略仅需当前帧的根高度、速度及四个稀疏关键点 SE(3) 姿态作为紧凑参考目标。实验显示该系统在头戴设备流与策略输出间实现约 20ms 通信推理延迟,跨不同运动类型的光流延迟中位数为 65ms。研究在宇树 G1 人形机器人上验证了系统,展示了接住抛球等秒级反应能力及协调的行走操作能力。
推荐理由:提出仅需稀疏参考目标的低延迟全身遥操作策略,在 Unitree G1 上实现约 20ms 通信推理延迟与 65ms 光流延迟。
该论文提出了 UniRAP 统一模型,旨在解决将高层语义映射到部分级物理交互的难题。模型通过统一接口令牌机制整合视觉输入、文本指令和可选提示词,并引入统一动作解码器(UAD)联合执行目标检测、部分级功能分割及四自由度交互姿态估计。
推荐理由:该工作提出统一模型 UniRAP,在部分级物理交互推理与可执行感知任务上达到最先进水平。
论文提出一种名为 Post-hoc Epistemic Uncertainty 的方法,通过为单策略模型附加无需梯度更新的核方差头来估计认识论不确定性。该方法在 SmolVLA 上验证了其在任务相关性、主动学习演示获取及向更强监督者转介方面的有效性,且推理速度比双策略集成快约 50 倍。
推荐理由:提出无需训练即可附加的单策略后验不确定性头,在 LIBERO-10 上媲美双策略集成效果并大幅降低计算成本。
该论文探讨如何将数字代理中的递归自我改进(RSI)机制迁移至物理世界,重点分析在部分观测、昂贵试错及不可逆后果下实现系统自优化的条件。作者梳理了现有研究在操作任务中支持的行为改进与流程优化成果,指出当前物理领域尚未完全隔离出由递归带来的增益。文章据此提出评估原则并指明未来研究方向,旨在建立机器人在反复试验中安全提升自身改进能力的理论框架。
推荐理由:文章提出将递归自我改进机制引入物理世界的评估原则与研究路径,为机器人能力与生成过程的协同进化提供理论框架。
本文提出了首个能够设计支持多种步态的稳定乐高步行器的计算解决方案。该方法首先通过专门设计的齿轮连杆机构控制每条腿的足部运动轨迹,利用一对 3D 打印的非圆形齿轮与乐高机械结构配合;其次由独立电机驱动每条腿,并通过简单且适应性强的控制算法同步多条腿的运动时机。
推荐理由:提出首个计算设计框架,通过非圆形齿轮与独立电机协同实现乐高步行机器人的多步态稳定行走。
论文提出一种将欧氏距离场(EDF)直接整合进观测空间的强化学习框架,利用其丰富的空间信息简化奖励函数设计,实现了无需人工势场引导的有效避障。该方法在 7 自由度冗余机械臂上验证了从仿真到实体的零样本迁移能力,尽管仅用随机化静态物体训练,策略仍能泛化至未见过的真实环境并稳健地规避动态障碍物。材料为预印本状态,已接受于 IROS 2026。
推荐理由:该工作将欧氏距离场融入 RL 观测空间,在仿真中训练的策略实现了零样本迁移到真实机械臂,且能应对动态障碍物。
论文提出了 TIDE 系统,这是一种无需学习评论家、奖励模型或动作评分器的在线后训练框架。该方法通过源条件监督学习,利用部署过程中收集的人机交互数据和策略生成的轨迹来更新策略。
推荐理由:该工作提出无需奖励模型或价值函数的在线后训练框架,利用部署中的人机交互数据快速更新策略。
本文研究视觉语言模型(VLM)产生错误的原因,将其分解为视觉表征失败和视觉利用失败两类。作者提出了基于排名的 VELens 探针,用于追踪目标对象及其属性在模型各层的视觉证据,并估计视觉利用失败率。实验显示,该方法能准确诊断错误来源,发现视觉利用不足是 VLM 的主要瓶颈,建议未来改进方向在于开发更好的机制来定位、路由和使用已编码的视觉信息。
推荐理由:提出 VELens 探针量化 VLM 错误来源,发现视觉利用不足是主要瓶颈。
论文 NavBind 提出一种方法,用于诊断视觉语言动作(VLA)导航模型是否真正遵循指令而非仅依赖视觉线索或历史轨迹。研究构建了包含 3,252 个路线分叉场景的数据集,通过对比不同分支下的动作序列、概率分布及注意力变化,发现高导航成功率并不等同于对指令的忠实执行。材料为预印本,未报告真实机器人部署结果。
推荐理由:该工作通过构建路线分叉数据集,揭示导航 VLA 模型高成功率可能未忠实遵循指令的现象。
论文提出 SMR,一种基于语义条件的流式神经运动重定向方法。该方法将人类动作转换为机器人感知的任务空间目标,利用在仿真中受接触、动力学和执行器约束的物理专家直接跟踪这些目标,并训练单因果 Transformer 对执行后的状态轨迹进行建模。实验表明,相比直接优化和物理修正基线,该方法在保持语义保真度和物理有效性的同时,实现了更优的闭环控制性能。
推荐理由:提出 SMR 方法,利用语义条件物理专家在仿真中生成符合动力学约束的运动轨迹,并通过因果 Transformer 实现流式重定向。