跳到正文
10月16日周五
  1. Hugging Face Daily Papers65

    面向统一视觉语言模型的解耦式在线策略专家蒸馏方法

    针对强化学习在多目标优化中易产生梯度冲突及奖励黑客问题,本文提出技能解耦的在线策略专家蒸馏(SCOPED)方法。该方法独立训练能力专用专家并通过奖励引导提取显性技能,指导学生模型内部化程序知识而不依赖显式技能推理。实验显示 SCOPED 在八项多模态基准上均优于骨干网络及混合能力强化学习,且能提升对任务相关视觉证据的关注度并保留专业专长。所有代码与数据已公开。

  2. Hugging Face Daily Papers82

    HexaShell:一种用于探索 VLM 智能体作为机器人编程智能体极限的轻量级框架

    HexaShell 系统展示了基于视觉语言模型(VLM)的智能体通过编写和修复代码来控制双臂机器人的能力,而非直接学习策略。该系统仅将智能体的指令转化为机器人运动,利用三个 RGB 相机进行三角测量以定位物体,并在 RoboDojo 基准的 42 个任务上取得了 39.7% 的成功率和 48.0 的进度分数,刷新了该基准记录。

    推荐理由:HexaShell 系统展示了 VLM 智能体通过编写工具代码控制双臂机器人的能力,在 RoboDojo 基准上达到新 SOTA,并开源了演化出的工具集。

  3. arXiv · 机器人与计算机视觉35

    DEFlow:基于深度平衡流的强化学习策略

    DEFlow 是一种将显式欧拉采样替换为隐式欧拉积分的深度平衡流策略,通过联合求解中间动作实现软演员 - 评论家框架下的离线训练。该方法在四个多目标对接变体任务中平均相对成功率提升约 10%,并在五项操作任务中取得最高时间平均回报,同时在五项 MuJoCo 任务上保持竞争力。

  4. arXiv · 机器人与计算机视觉82

    EmbodiedEvo:一种用于物理智能的自进化编码智能体

    论文介绍 EmbodiedEvo 框架,这是一种通过程序化机器人接口观察场景、执行控制并适应物理状态的自进化编码智能体。该方法将交互与推理预算转化为可复用的代码技能(Skills)和诊断教训(Lessons),在不更新模型权重的情况下冻结经验以支持未见场景中的独立智能体。

    推荐理由:该工作提出无需微调的自进化编码智能体,将物理反馈蒸馏为可复用技能与诊断教训,在仿真环境中实现经验跨场景迁移。

  5. arXiv · 机器人与计算机视觉82

    Interaction Latents as Actions for Contact-Rich Manipulation

    论文提出 ILA(Interaction Latents as Actions)方法,通过可解码的交互潜变量联合捕捉运动、接触和力的演化过程,将其作为策略动作单元。

    推荐理由:该工作提出用交互潜变量统一编码运动、接触与力演化,支持预训练 VLA 的后训练及从头训练流匹配策略。

  6. arXiv · 机器人与计算机视觉78

    RealityBench:基于仿真环境的 VLM 人类体力工作文档化能力评测基准

    RealityBench 是一个在 Blender 中构建的包含十一类物理工作环境(如屋顶太阳能安装、车辆维修)的评测基准,旨在评估视觉语言模型记录人类体力工作的能力。

    推荐理由:该研究在 Blender 中构建了十一类物理工作场景,对 26 个 VLM 模型进行文档化能力评测,揭示了其在读取测量值和判断空间关系上的短板。

  7. arXiv · 机器人与计算机视觉70

    CA-OPD:一种面向结构化视觉预测的置信度感知在线策略蒸馏方法

    针对自回归视觉语言模型在训练与推理不匹配下易产生累积误差的问题,本文提出 CA-OPD 框架,利用教师模型的置信度选择性地修正学生模型不可靠的转换。该方法通过严格的到宽松的调度逐步将 rollout 控制权转移给学生,并将知识传递与干预决策对齐:被修正的位置接收教师的交叉熵监督,保留的位置则受益于教师的全部分布预测。

  8. arXiv · 机器人与计算机视觉78

    TrAct:通过视觉轨迹连接机器人控制与视觉预测

    论文提出 TrAct 框架,利用视觉轨迹作为机器人控制与视觉预测之间的通用接口。该框架包含联合预测动作与轨迹的 VLAT 模型、基于轨迹的世界模型 TWM 以及用于评分的奖励模型 VLAC。

    推荐理由:提出 TrAct 框架,利用视觉轨迹作为控制与预测的中间接口,在仿真和真实操作任务上显著提升了成功率。

  9. arXiv · 机器人与计算机视觉73

    PoLAR:通过分解潜在动作的幅度与模式提升机器人策略学习性能

    论文提出 PoLAR(Polar Latent Actions with Radial structure),该方法将潜在动作空间映射到双曲空间,利用径向结构分别编码状态转移的幅度(extent)和模式(mode)。研究在跨任务及大规模预训练设置下验证了该方法的有效性,结果显示其在仿真环境和真实机器人实验中均能提升下游策略性能,并优于现有的潜在动作基线及强预训练的视觉语言动作模型。

  10. arXiv · 机器人与计算机视觉72

    DIRECT:具身规划中何时何地分配测试时计算资源?

    论文指出盲目扩大 VLM 的测试时计算(如增加思维链深度、模型尺寸或记忆历史)会导致延迟和成本激增,而收益不均甚至递减。为此提出 DIRECT 路由框架,利用多模态场景上下文在闭环代理的每一步动态分配计算预算并选择子任务规划器。实验显示不同缩放轴产生质的能力差异;在 Franka 机械臂(DROID 设置)上验证了零样本操作和长视界链式任务,该方法在保持高成功率的同时将平均延迟降低最多 65%。

  11. arXiv · 机器人与计算机视觉85

    LEGS:通过具身高斯泼溅世界微调免遥操作 VLA 策略以实现人形机器人移动操作

    LEGS 是一种混合仿真器,将网格前景(机器人、物体)叠加到由手持拍摄重建的逼真 3D 高斯泼溅背景上。该系统利用程序化运动原语生成器在无人工遥操作的情况下合成带标签演示,并通过两阶段色彩校准对齐渲染与部署相机。

    推荐理由:提出 LEGS 混合仿真器,利用程序化生成与高斯泼溅背景替代遥操作数据,在 Unitree G1 上实现无需人工演示的策略训练。

  12. arXiv · 机器人与计算机视觉75

    Failing Forward:面向视觉语言动作模型的自适应失败感知学习

    针对现有视觉语言动作(VLA)模型仅依赖成功行为克隆导致脆弱性高的问题,本文提出自适应失败感知学习(AFIL)框架。该方法利用预训练 VLA 在线生成失败轨迹,联合训练双行动生成器以共享视觉语言骨干网络,在采样阶段根据分布距离动态引导策略远离易失败区域。实验表明,该框架在短长视界任务中均能提升成功率与鲁棒性,且参数开销有限。论文已被 NeurIPS 2026 接收。

  13. arXiv · 机器人与计算机视觉35

    ToMA:拓扑感知表示对齐框架提升半监督视觉语言学习性能

    ToMA 框架利用持久同伦将成对关系分解为$H_0$死亡与$H_1$生成,在不构建 2-单纯形的情况下实现跨模态全局结构对齐。实验显示该方法在遥感领域表现显著提升,时尚任务中分类准确率提高且困难查询的检索效果增强。分析表明 ToMA 相比其他拓扑目标提供更一致的增益,轻量级$H_1$边提供了有效的高阶结构信号。

  14. arXiv · 机器人与计算机视觉82

    SnapFlow:通过渐进式自蒸馏实现流匹配 VLA 的一步动作生成

    论文介绍 SnapFlow 方法,旨在解决流匹配视觉语言动作模型(如π0.5)因多步积分导致的高延迟问题。该方法混合局部流匹配监督与捷径样本,利用模型自身的两步欧拉终点作为目标,并添加零初始化投影层,无需独立教师网络或评论器即可实现一步生成。

    推荐理由:该工作提出无需额外教师网络或评论器的自蒸馏方法,将流匹配 VLA 的推理步数从十步降至一步。

  15. arXiv · 机器人与计算机视觉72

    MobiGuide:一种用于移动操作的词汇引导在线恢复方法

    针对移动操作中确定性策略平均化有效模式及扩散策略采样成本高、易产生累积漂移的问题,该工作提出 MobiGuide 模型。该方法利用专家演示构建结构化轨迹词汇表作为先验,结合当前观测与指令对参考轨迹进行局部细化以生成动作提案,并引入轻量残差修正模块消除分步执行带来的漂移。材料为 arXiv 预印本,未提及同行评审状态或真实部署结果。

  16. arXiv · 机器人与计算机视觉75

    OxyGen:面向多任务并行的 VLA 统一 KV Cache 管理方案

    针对具身智能体在端侧并行执行操作、对话与记忆构建等多任务时面临的冗余计算与资源争用问题,本文提出 OxyGen 统一 KV Cache 管理设计。该方案将 KV Cache 视为跨任务与控制周期的共享资源,通过跨任务 KV 缓存共享消除重复预填充,并利用跨帧连续批处理优化解码预算。

  17. arXiv · 机器人与计算机视觉82

    剪枝会破坏 VLA 模型但可被恢复:GLUESTICK 方法研究

    论文发现对视觉语言动作(VLA)模型进行剪枝会导致严重的性能下降和安全违规增加。基于光谱分析揭示的权重结构特性,作者提出 GLUESTICK 方法,通过在稠密与剪枝模型间插值计算一次性校正项,在推理阶段恢复被剪枝层的性能。该方法无需额外训练且对剪枝算法无关,能在保留稀疏性优势的同时,将成功率恢复至接近原始水平并提升推理速度。

    推荐理由:针对剪枝导致 VLA 模型性能骤降与安全违规的问题,提出无需额外训练的 GLUESTICK 后处理恢复方法。

  18. arXiv · 机器人与计算机视觉78

    AdaRSI:面向具身智能体的按需递归自我改进框架

    预训练视觉语言动作模型(VLAs)常在不熟悉的长周期任务中途失效,现有递归自我改进方法要么无法补充缺失的运动能力,要么在持续失败时盲目重训执行器。本文提出 AdaRSI 框架,由编码智能体先提升技能与工具集,再对保存状态下的失败子步骤进行重试以归因错误来源,仅微调仍不可靠的子步骤并复用过往经验。

    推荐理由:提出 AdaRSI 框架,通过按需微调子步骤解决预训练 VLA 在长任务中的失效问题,在无人类演示下将 RoboCasa365 未见复合任务成功率从 4.6% 提升至 13.8%,且仅消耗 28% GPU 时间。

  19. arXiv · 机器人与计算机视觉68

    VLRLA:通过上下文强化学习的视觉语言动作模型部署期自适应

    VLRLA 是一个通用框架,为现有的视觉语言动作(VLA)模型赋予上下文强化学习能力,使其在部署期间利用历史观测、动作、奖励和终止信号进行策略微调。该方法保持模型参数固定,逐步优化动作生成并提升任务成功率,同时兼容多种学习历史构建策略与训练流程。实验表明,VLRLA 能在仿真环境中系统性地探索学习特性,并在真实世界部署中适应未见过的场景。

  20. arXiv · 机器人与计算机视觉73

    HiRe-MoMa:面向真实世界移动操作的层次化残差策略学习

    针对真实世界移动操作(MoMa)微调难的问题,论文提出 HiRe-MoMa 框架,通过冻结基策略并采用层次化残差架构进行高效微调。该方法利用稀疏人类干预重塑价值函数,在 TIAGo++ 平台上仅需约 30 分钟在线交互即可显著提升任务性能,为复杂机器人系统在动态环境中的部署提供了新范式。

  21. arXiv · 机器人与计算机视觉55

    EarlyCommit:机器人指令未结束时的词级承诺工具

    作者发布 EarlyCommit 开源工具,支持机器人在语音指令进行中实时计算物体置信度并提前执行。系统包含流式语音前端、带精确词级真值的场景生成器及训练校准脚本。在未见词汇测试中,其正确率是关键词匹配的 1.6 至 2 倍;当阈值设为 0.9 时准确率不低于 92%,每词处理耗时 31 至 35 毫秒。

  22. arXiv · 机器人与计算机视觉83

    Graph-Reweighted Behavior Cloning with Human Interventions for Precise Robotic Manipulation

    该论文提出 Graph-Reweighted Behavior Cloning (GR-BC) 框架,用于解决长程精确操作中混合质量数据的利用问题。方法构建任务条件化的目标可达性图,通过反向图搜索计算剩余步数并据此对动作片段进行后果加权,从而复用失败轨迹中的可恢复段并将人类干预作为恢复路径。

    推荐理由:提出图重加权行为克隆框架,利用人类干预数据提升长程操作成功率。

  23. arXiv · 机器人与计算机视觉78

    离散动作何时能构建优秀的连续控制器?

    该研究挑战了机器人基础模型必须使用连续向量表示动作的共识,通过从头训练的单任务和多任务 VLA 在仿真与真实硬件上的广泛对比发现,即便是最基础的均匀分箱量化等离散动作预测方法,其任务成功率也能匹配或超越连续动作策略。

    推荐理由:论文通过仿真与真实硬件实验,论证离散动作预测在任务成功率上可匹敌甚至超越连续动作策略,并指出其核心挑战在于分布分解误差而非精度。

  24. arXiv · 机器人与计算机视觉72

    STP-GUI:面向 Web GUI 智能体的空间感知令牌剪枝方法

    针对视觉语言模型处理高分辨率截图和多轮历史时产生的高计算开销问题,本文提出 STP-GUI 框架。该方法在激进降低令牌数量的同时,通过策略学习优化轻量级选择器,保留细粒度的指令条件评分并进行空间连贯的窗口级选择,避免破坏小 GUI 元素的局部结构。

  25. arXiv · 机器人与计算机视觉62

    任意机器人身体的后训练数据:重定向物体而非手部

    该研究提出利用手机录制的人类演示作为不同结构机器人的后训练数据,核心在于重定向物体轨迹而非手部动作。系统在仿真中验证了 42 次采集在 8 个机器人上的结果,其中 31.2% 通过、52.2% 失败且部分因运动学不可行被拒绝。目前该方法仅用于筛选适合后训练的数据集,尚未训练出具体策略,真实机器人的执行效果需下游仿真到现实的迁移验证。

  26. arXiv · 机器人与计算机视觉72

    VIGOR-MPC:基于视觉的目标调节 MPC 方法

    论文提出 VIGOR-MPC 框架,旨在解决仅依赖车载视觉进行环境控制时的感知噪声与算力受限问题。该方法采用学生 - 教师架构,在仿真环境中利用全状态知识的长视界 MPC 作为教师模型,通过多轨迹公式确保智能体保持在视野内;学生模型则基于多级别循环映射,从感知模块产生的噪声和遮挡信息中推断代价参数以复现教师行为。

  27. arXiv · 机器人与计算机视觉78

    TacClaw-Infinity:用于灵巧操作的大规模视觉 - 触觉 - 语言 - 动作数据集

    作者发布了 TacClaw-Infinity,这是一个针对接触丰富操作任务的大规模结构化 VTLA 数据集。数据通过分布式采集获得,涵盖家庭、实验室及工业场景,包含超过 10,000 小时视频、100 万集数和 10 亿帧画面,涉及千余种任务类型。研究团队开发了可扩展的轨迹重建与多模态质量控制流程,并验证了该数据集在三种异构机器人上的跨本体迁移能力,证明其无需特定机器人演示即可支持模型训练。

    推荐理由:该工作发布了一个大规模触觉 - 视觉 - 语言 - 动作数据集,支持跨本体迁移且无需特定机器人演示。

  28. arXiv · 机器人与计算机视觉78

    Efficient Test-Time Adaptation For Robot Policies

    针对强化学习机器人在部署时因环境变化导致性能下降且难以重训练的问题,本文提出 TEMPO 方法。该方法利用冻结的预训练评论家(critic)作为代理,通过熵正则化缓解过度自信外推,并结合基于分数的记忆机制优先处理难样本以聚焦关键计算。

    推荐理由:提出 TEMPO 方法,通过熵正则化与记忆引导优化策略,在仿真及真实机器人上实现测试时自适应。

  29. arXiv · 机器人与计算机视觉59

    基于几何候选模式的多元模态演示导航学习方法

    针对离线导航演示中多模态动作导致行为克隆不安全的问题,本文提出一种分层神经网络策略:高层策略根据目标和历史选择从局部几何计算的候选模式中选定模式,低层策略将其转化为具体动作。仿真测试显示该方法在已知和未知案例中的成功率分别超过 95%,显著优于四种离线学习基线(最高 43%)及无学习的启发式方法(79%)。该策略还成功迁移至 LimX Tron 1 双足机器人。

  30. arXiv · 机器人与计算机视觉68

    ObjDream:基于物体级理解与未来状态预测引导视觉语言动作模型

    针对现有视觉语言动作模型依赖图像级表征且缺乏细粒度物体理解的问题,该研究提出了 ObjDream 框架。该方法利用时空物体编码器将观测组织为时间槽,并通过身份引导的路由机制调制注意力;同时引入动作条件的对象动力学模块预测紧凑的未来状态以监督演化过程。

  31. arXiv · 机器人与计算机视觉78

    FoveaVLA:用注视动作替代 VLA 中的腕部相机

    论文 FoveaVLA 提出一种视觉语言动作模型,通过预测交互区域的注视动作来替代腕部相机,从而在保持全局视野的同时恢复操作所需的细节。该模型基于 pi_0.5 构建,支持单目或双目外部立体相机输入,并在 DROID 上后训练。

    推荐理由:该工作提出用预测的注视区域裁剪替代腕部相机,在单目和双目配置下均提升了真实世界任务成功率。

  32. arXiv · 机器人与计算机视觉82

    MUCO:一种面向组合式长程任务的操纵单元结构化框架

    论文介绍 MUCO 框架,通过定义具有局部目标、触发条件和判定标准的操纵单元(MU),实现无需联合训练即可在多个任务间复用策略的能力。系统基于冻结的能力注册表匹配模型,利用视觉验证结果控制状态转移与回退机制,并在 RLBench、RoboTwin 2.0 及五个真实世界任务中评估了其在成功率、错误抑制和跨任务复用方面的表现。材料为 arXiv 预印本版本,未提及同行评审或具体部署许可。

    推荐理由:该工作提出将长程任务拆解为可复用单元并动态编排的策略,在仿真与真实世界任务中验证了跨任务复用能力。

  33. arXiv · 机器人与计算机视觉78

    视觉语言动作模型中世界建模的关键因素研究

    论文提出将世界模型集成到视觉语言动作模型(VLAs)以增强策略对未来动态的预测能力。研究通过统一框架系统评估了四种范式:隐式未来对齐、显式未来查询、MoT 未来专家和外部分布预测器,并在域内/外、长视界及真实场景下进行了测试。

    推荐理由:该研究通过统一框架系统评估了四种世界模型集成范式,发现解耦的 MoT Future Expert 在跨域鲁棒性上表现优异,且 2D 语义表示具有通用增益。

  34. arXiv · 机器人与计算机视觉68

    Coordi-pi:一种用于双手灵巧操作的协调感知双重动作表示

    针对现有双臂 VLA 策略将左右臂动作隐式拼接的问题,本文提出 Coordi-$\pi$,将左右臂动作作为独立 token 交织排列,并通过可学习的手部身份嵌入与解耦的位置编码显式表达手部身份与时序同步。在 DexJoCo 五个任务及四个真实世界任务中,该方法平均成功率较基线提升显著。

  35. arXiv · 机器人与计算机视觉78

    ACRO:一种用于视觉语言动作策略的演员 - 评论家滚动编排层

    本文介绍 ACRO,这是一个为固定视觉语言动作(VLA)策略设计的演员 - 评论家滚动编排层,旨在决定何时继续尝试以及何时进行干预以提升成功率。该方法利用从策略滚动中学习的评论家评估成功前景以选择干预时机和重入目标,并通过轨迹回缩将机器人快速返回至该目标,使 VLA 能从新观测重新开始执行。

    推荐理由:提出 ACRO 层在固定 VLA 策略上通过轨迹回缩与干预决策提升成功率,实验覆盖仿真与真实机器人。