跳到正文

技术方向

具身智能 最新动态

机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。

1,139 条精选近 30 天 643 条共收录 4,549 条

更新

精选归档 · 第 50 页

10月6日周二第 981–1000 条
  1. Hugging Face Daily Papers78

    PAIR:在视觉语言动作模型中连接感知与动作

    论文提出 PAIR 框架,旨在解决连续动作视觉语言动作模型中感知表示到动作生成的过渡问题。该框架利用掩码动作自编码器将专家动作编码为动作潜在令牌,并通过桥接模块从当前视觉语言特征中提取任务相关信息以形成桥接令牌。

    推荐理由:该框架通过引入桥接令牌,在感知与动作表示间建立共享中间层,显著提升了 OpenVLA-OFT 和 VLA-Adapter 在多基准及真实任务中的成功率。

  2. Hugging Face Daily Papers78

    自我反思蒸馏:将事后经验转化为事前预见

    针对强化学习中组间相对目标奖励信号消失的问题,本文提出了前瞻性学习方法 Self-Retrospection Distillation(SRD)。该方法利用已完成轨迹中的后验知识监督交互前的前瞻预测,将其作为训练目标而非推理时的显式生成。

    推荐理由:该工作提出利用事后经验蒸馏前瞻预测,在奖励信号稀缺的长程任务中显著提升强化学习性能。

10月5日周一
  1. arXiv · 机器人与计算机视觉78

    Platonic Task Arithmetic:一种跨架构的任务向量算术方法

    该论文提出‘普朗图任务算术’框架,通过引入与架构无关的‘通用任务描述符’矩阵,实现不同预训练模型间任务更新的传输与组合。实验在六种模型家族、八个任务及音频文本模型上验证,显示跨模型转移能保留目标模型自身描述符所得增益的 74% 至 80%,支持通过最小二乘法求解线性算子或低秩适配器进行实现。

    推荐理由:提出跨架构任务向量传输方法,在六种模型家族上验证了通用任务描述符的有效性。

  2. arXiv · 机器人与计算机视觉85

    QueryArt:基于单图与查询点的连杆参数估计方法

    论文提出 QueryArt 模型,能够从单张 RGB 图像、二维查询点和相机内参中估计连杆几何参数。该方法将分割与估计解耦,通过查询点深度测量恢复度量尺度,在合成与真实数据混合训练后,于移动机械臂的 57 次操作任务(涵盖 16 个部件和五类视角)中达到 70.2% 的成功率,并优于近期基线。代码与视频已公开。

    推荐理由:该模型仅凭单张 RGB 图像与查询点即可估计连杆几何参数,在移动机械臂的 57 次操作中实现 70.2% 成功率。

  3. arXiv · 机器人与计算机视觉82

    Screw Attention:Transformer 内的刚体力学代数方法

    论文提出 Screw Attention,这是一种将两物体间的相对位姿与关节螺旋量作为空间变换而非图边嵌入的 Transformer 层。该方法在 LIBERO-Spatial 基准上,仅用 16k 参数从物体位姿训练的策略达到 97.3% 成功率,优于同规模及参数量大 27 倍的扁平网络。

    推荐理由:该工作提出 Screw Attention,在 Transformer 层内显式建模刚体运动学关系,使策略对坐标系变化具有等变性。

  4. arXiv · 机器人与计算机视觉82

    触觉好奇心驱动机器人交互:TacEx 框架及触觉驱动数据集

    论文提出 TacEx 框架,将触觉反馈纳入基于认识不确定性的探索机制中,使机器人在无任务奖励或专家演示的情况下发现复杂的接触动力学并掌握操作技能。研究构建了通过该框架收集的密集交互数据集,支持下游抓取策略的离线学习;同时利用触觉驱动探索对预训练的视觉语言动作模型进行后训练,显著提升了下游性能且保持高样本效率。材料为 arXiv 预印本,处于审稿中。

    推荐理由:该工作提出 TacEx 框架,利用触觉反馈引导探索以解决强化学习样本效率低的问题,并支持下游策略与 VLA 模型的微调。

  5. arXiv · 机器人与计算机视觉82

    Find Something You Can't Do:面向自改进 VLA 模型的代理式现实世界强化学习

    FIND 是一个代理式现实世界强化学习框架,旨在解决视觉 - 语言 - 动作(VLA)模型作为冻结策略部署后无法从自身失败中学习的难题。该框架将自主练习重构为场景条件化、性能感知的任务选择问题:利用视觉 - 语言智能体从预定义库中识别可行任务,优先选择近期成功率较低的任务进行练习,并通过成对的执行前后观察结果进行评估。

    推荐理由:该工作提出 FIND 框架,利用冻结 VLA 模型在真实环境中通过自主任务选择与自我评估实现策略持续改进。

  6. arXiv · 机器人与计算机视觉80

    AR-WAM:一种面向机器人操作的视觉条件化世界动作模型

    论文提出了 AR-WAM,这是一种视觉条件化、无需语言编码器的 0.5B 参数世界动作模型,通过视觉定位框和操作 token 替代自然语言指令来控制机器人操作。该模型在 RoboTwin 2.0、RMBench 及真实 Astribot S1 双臂平台上表现优异,标准操作任务平均成功率达 85.7%,长程记忆依赖与真机任务分别提升 5.9% 和 36.7%,同时保持最低推理延迟(14.1 ms)。

    推荐理由:该工作提出视觉条件化的 AR-WAM 模型,在仿真与真机长程任务中均优于基线,且推理延迟最低。

  7. arXiv · 机器人与计算机视觉82

    A Change of Frame Makes the Capture Point Proprioceptive: Distillation-Free Humanoid Single-Leg Balance

    该研究针对现有通用策略无法保持清洁单腿站立的难题,提出了一种基于支撑脚相对坐标系的动态质心观测方法,使捕捉点状态可仅由关节编码器和惯性测量单元重构。作者开发了无需蒸馏的策略 DDC,在 Unitree G1 上实现了 90 个测试动作中 89 个的清洁单腿平衡能力。材料开源了策略、数据及 MuJoCo 基准评测工具,旨在将单腿平衡从演示任务转化为可量化的通用能力。

    推荐理由:提出无需蒸馏的平衡策略,在仿真基准上实现单腿站立,并开源数据与评测工具。

  8. arXiv · 机器人与计算机视觉82

    DriftWorld:基于漂移生成的快速世界建模

    论文介绍 DriftWorld,一种基于漂移生成模型的行动条件世界模型,旨在解决扩散模型因多步迭代去噪而成本高昂的问题。该模型在训练中学习条件漂移,推理时仅需单次前向传播即可为给定动作序列生成未来观测。

    推荐理由:DriftWorld 通过漂移生成模型实现单次前向传播生成未来观测,在多个机器人基准上速度提升 12 倍以上且保持视觉质量。

  9. arXiv · 机器人与计算机视觉78

    CROSS:一种抗变化的拓扑记忆用于长期重定位与语义导航

    论文提出 CROSS 方法,旨在解决机器人面对外观和场景变化时如何重用过去观测的问题。该方法在视觉地物识别与地图更新之间引入预承诺定位层,将 RGB-D 检索提升为候选全局 SE(3) 位姿模式,利用有界高斯混合滤波器结合里程计传播竞争轨迹分支,仅保留物理一致的持续分支进行闭环。

    推荐理由:CROSS 通过引入预承诺定位层,将模糊处理从离散 ID 移至连续位姿空间验证,在光照、季节及动态场景变化下提升稀疏记忆复用率。

  10. arXiv · 机器人与计算机视觉78

    ProWAM:一种基于渐进式视觉规划的世界动作模型

    该论文提出了 ProWAM(Progressive World Action Model),旨在解决现有世界动作模型在长视界预测中效率低及缺乏目标导向的问题。该方法联合预测动作与有序的稀疏视觉子目标,利用大规模无动作视频训练视觉骨干网络以卸载复杂规划任务,仅需轻量级去噪即可生成高效动作。

    推荐理由:提出 ProWAM 架构,通过稀疏子目标序列引导动作生成,在仿真与真实机器人零样本实验中均取得优于基线的结果。

  11. arXiv · 机器人与计算机视觉82

    GlanceWAM:稀疏测试时想象的世界 - 动作模型

    论文介绍 GlanceWAM,一种基于共享视频 DiT 骨干的异步世界 - 动作模型架构。该方法将视觉想象解耦为后台慢速时钟运行的异步提议器,在潜在空间解码动作块,从而打破同步生成带来的延迟瓶颈。

    推荐理由:该工作提出 GlanceWAM,通过异步解耦视觉想象与动作控制,在 RoboCasa 和 LIBERO 基准上实现实时推理与高成功率。

  12. arXiv · 机器人与计算机视觉84

    EyeRobot 2.0:无需腕部相机的主动注视精准操作框架

    本文介绍 EyeRobot 2.0 框架,通过旋转两个“眼睛”视点进行主动注视,将计算资源集中于任务相关特征,从而仅用单台双目相机实现精细的双手操作。研究在真实世界和仿真环境中收集了遥操作数据,并在超过 1000 次物理试验中验证:相比被动立体视觉方案,该框架在真实场景成功率提升 40%,当抓取物体遮挡腕部相机时表现更优,接近甚至超越依赖腕部相机的策略。

    推荐理由:提出利用主动注视策略,仅凭双目相机实现高精度双手操作,显著优于被动立体视觉方案。

  13. arXiv · 机器人与计算机视觉82

    AVL-JEPA:防止联合嵌入预测架构世界模型中的因果动力学信息坍塌

    论文指出 JEPA 虽能预测高层语义动态,但易丢弃动作的物理后果导致信息坍塌。作者提出 AVL 方法,利用执行动作作为动力学锚点并引入视觉不变性路径,强制模型保留并利用因果动力学信息。实验在四个机器人控制任务上验证了该方法在视觉扰动下显著提升成功率且保持清洁环境性能。

    推荐理由:针对 JEPA 在保留物理因果信息上的失效,提出动作锚定与视觉不变性路径的改进方案。

  14. arXiv · 机器人与计算机视觉78

    RATE:面向高接触频率机器人操作的風險感知触觉编码

    针对接触丰富型机器人操作中相似触觉观测可能对应不同任务风险的模糊性问题,本文提出 Risk-Aware Tactile Encoding (RATE) 方法。该方法利用历史条件预测捕捉交互上下文,并通过警报监督将上下文与任务条件风险关联,借助轻量级残差适配器补充传统触觉特征。在仿真与真实世界实验中,该方法显著提升了任务成功率,消融实验证实了警报引导学习与预测时序建模的互补收益。

    推荐理由:提出风险感知触觉编码方法,通过历史预测与警报监督结合任务条件风险,提升接触型操作成功率。

  15. arXiv · 机器人与计算机视觉82

    XGenAct:基于跨任务生成的几何增强世界动作模型

    arXiv 论文发布 XGenAct 模型,该工作旨在解决现有世界动作模型在机器人操作中对空间理解不足的问题。作者提出将 RGB、深度、法线和功能分割统一表示为 RGB 视频,利用单一视频扩散 Transformer 进行跨模态时序预测,无需特定模态的独立头。

    推荐理由:该预印本提出通过确定性编码器将深度、法线和功能分割统一为 RGB 视频,利用单一扩散 Transformer 进行跨模态时序预测。

  16. arXiv · 机器人与计算机视觉82

    I2CD:基于单张 RGB 图像的图像到凸体分解方法

    I2CD 冻结预训练的 Hunyuan3D-2 扩散模型并训练轻量级交叉注意力头,直接从单张 RGB 图像预测用于物理仿真的凸碰撞几何。该方法无需后处理即可加载到 MuJoCo、PyBullet、Genesis 和 Isaac Sim 等引擎中,在 OmniObject3D 数据集上体积 IoU 最高且速度提升 6-37 倍。

    推荐理由:I2CD 直接预测凸分解,无需后处理即可加载到物理引擎,在 MuJoCo 等跨模拟器测试中表现优于传统重建 - 分解流水线。

  17. arXiv · 机器人与计算机视觉82

    KungfuAthleteBot:从视频学习高动态人形运动及统一鲁棒恢复

    论文提出 KungfuAthleteBot(KAB)框架,旨在解决将视频中丰富的高动态人类动作迁移到人形机器人时的物理不一致、缺乏执行信息及无法处理失败与恢复三大难题。

    推荐理由:该框架提出物理引导的轨迹修正与伪低动能采样机制,解决视频数据物理不一致问题,使机器人能从视频学习高动态动作并实现约 0.7 秒的统一策略跌倒恢复。