跳到正文

技术方向

具身智能 最新动态

机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。

1,152 条精选近 30 天 609 条共收录 4,684 条

更新

精选归档 · 第 46 页

10月7日周三第 901–920 条
  1. arXiv · 机器人与计算机视觉78

    OntoPlan:一种基于本体论的场景表示与代理框架用于可扩展机器人任务规划

    针对大语言模型在长程任务中空间上下文捕捉不足及 Token 成本高的问题,该研究提出 OntoPlan 框架。通过构建对齐对象、空间、关系和状态的共享符号词汇表进行本体论 grounded 场景表示,结合选择性信息检索与目标形式化能力,实现指令解释与可执行计划生成。

    推荐理由:该工作提出基于本体论的场景表示与代理框架,在长程任务中显著降低 Token 消耗并提升成功率。

  2. arXiv · 机器人与计算机视觉78

    超越任务奖励:一种用于评估具身依赖能力的控制器限制协议

    针对现有共设计方法仅凭单一任务奖励数值难以区分机器人本体对控制器依赖程度的问题,本文提出通过限制控制器复杂度来测量本体的固有表现力。研究在三个 EvoGym 运动任务上验证了该指标的可信度与解释性,发现几何描述符无法预测其方差,且该能力仅在声明的特定控制器家族下可被解读。

    推荐理由:提出用控制器限制协议评估机器人本体能力,发现任务奖励无法区分依赖控制器的不同形态。

  3. arXiv · 机器人与计算机视觉85

    GaugeBench:揭示机器人描述变更对策略表示鲁棒性的影响

    论文提出 GaugeBench 基准,验证了固定机制下仅改变物理等价的描述(如关节轴方向)会导致 MetaMorph 等策略性能从 4030.6 骤降至 51.6。研究发现轴反转是主要破坏因素,而跨形态评估需同时测试机制与表示鲁棒性;通过跨等价约定训练可将轴反转下的保留回报率从 3.6% 提升至 80.6%。

    推荐理由:该研究通过 GaugeBench 揭示了机器人描述变更对策略鲁棒性的毁灭性影响,并提出了跨形态评估与训练方案。

  4. arXiv · 机器人与计算机视觉78

    Seeing the Invisible:面向温度与辐射感知的物理引导视觉提示 VLA 导航方法

    针对安全关键设施中 RGB 相机无法检测的辐射或高温风险,作者提出无需重新训练即可复用的 Physics-Guided Visual Prompting(PG-VP)模块。

    推荐理由:提出无需重训的视觉提示模块,利用虚拟障碍物引导 VLA 模型规避辐射与高温风险。

  5. arXiv · 机器人与计算机视觉82

    ReDex:通过手指级顺应性交互修复仿真到现实的灵巧操作策略

    针对仿真训练的灵巧操作策略在真实世界因接触时序和力调节误差而失效的问题,本文提出 ReDex 框架。该框架允许人类操作员在真实部署中,对选定手指进行物理修正以纠正接触失败,同时保留基座策略控制其余手指。

    推荐理由:提出 ReDex 框架,通过人机协作修正接触失败并引入触觉反馈,将物体翻转成功率从 14% 提升至 86%,为仿真策略迁移提供新路径。

  6. arXiv · 机器人与计算机视觉78

    MobileVISTA:面向移动操作任务的生成式数据增强框架

    MobileVISTA 是一个数据生成框架,旨在解决端到端操作策略在机器人部署时因微小姿态偏差导致性能骤降的问题。该框架将采集于标准姿态下的演示数据转化为多样化、姿态扰动后的训练数据,通过联合增强以眼为中心(egocentric)的视觉观测并重新定向动作以补偿基座姿态变化。

    推荐理由:该框架将演示数据转化为多姿态扰动数据,无需额外采集或生成模型即可提升策略对非分布内姿态的鲁棒性。

  7. arXiv · 机器人与计算机视觉78

    风险敏感的人群导航:自适应椭球形共形预测

    针对分布偏移下的人群导航安全难题,本文提出一种基于自适应椭球形共形预测的风险感知框架。该方法将结构化预测不确定性转化为条件在险价值信号以调节拉格朗日安全惩罚,在分布外设置下相比最先进基线提升了 5.68-7.44 个百分点的成功率并降低了 5.44-6.64 个百分点的碰撞率。

    推荐理由:该方法利用各向异性椭圆体处理分布偏移下的不确定性,在仿真与物理机器人上均验证了提升成功率并降低碰撞率的有效性。

  8. arXiv · 机器人与计算机视觉78

    SharedKV-BT:面向行为树智能体的节点本地类型化决策

    针对自回归模型在行为树决策中存在的延迟问题,该研究提出 SharedKV-BT 方法,利用共享 KV 缓存并行评分候选动作并分离执行系统。实验显示,该方法在机器人操作、移动导航和计算机使用任务上,推理速度比提示匹配自回归解码快 2.36-4.15 倍;在操作任务中,节点本地 Shared-KV 将联合决策准确率从 75% 提升至 94%,闭环成功率从 0% 提升至 60%。

    推荐理由:该工作提出 SharedKV-BT,通过节点本地类型化决策与并行评分,在机器人操作等任务上显著提升了行为树智能体的推理速度与闭环成功率。

  9. arXiv · 机器人与计算机视觉82

    PlaySuite:面向交互式视觉智能的大规模评测基准

    PlaySuite 是一个基于超过 5000 款开源视频游戏的交互式视觉智能评测基准,涵盖 Pygame、Unity 等多种引擎。研究构建了统一的闭环交互框架与 Video-LLM-as-a-judge 协议以支持异构游戏评估。对十四种近期开放模型的测试显示,尽管推理能力强,但模型在空间定位、动作执行和自我修正方面存在持续失败,揭示了感知与行动之间的差距。

    推荐理由:PlaySuite 发布大规模游戏评测基准,揭示当前模型在动态环境中的感知 - 行动差距。

  10. arXiv · 机器人与计算机视觉78

    Demo: 视觉语言模型引导的电磁数字孪生在线校准

    该论文演示了一种由视觉语言模型(VLM)引导的电磁数字孪生在线校准框架,使用宇树 G1 机器人和 NVIDIA Sionna。系统通过两次 VLM 调用:首先利用 ITU-R P.2040 标准将可见材料映射为电导率先验以辅助 Sionna 基于累积接收信号强度(RSS)进行梯度下降;其次利用剩余 RSS 校准误差和图像覆盖度在线规划下一测量点。

    推荐理由:该工作演示了利用视觉语言模型引导电磁数字孪生在线校准的框架,在真实室内场景中实现了低误差的材料电导率估计与路径规划。

  11. arXiv · 机器人与计算机视觉78

    LEAP:让特权几何监督有效服务于视觉运动学习

    该论文提出 LEAP(Latent Encoding with Aligned Privileged Geometry)框架,旨在解决利用额外几何信息指导 RGB 视觉运动策略学习时存在的本体感觉捷径、主导视角依赖及重建目标无关等局限。

    推荐理由:LEAP 框架通过引入辅助解码器与腕部视角丢弃策略,解决了特权几何监督的三大局限,在 RoboTwin 等基准上显著优于 Diffusion Policy 和 ACT。

  12. arXiv · 机器人与计算机视觉78

    多层级物体导航的模块化策略学习:用于诊断研究的分解框架

    针对多层级场景中长视界决策导致的稀疏奖励问题,本文提出一种基于模块化框架的诊断性研究。设计分层分解策略将全局策略解耦为楼层内探索策略和楼层间切换策略,并通过蒸馏视觉语言模型的探索逻辑来初始化轻量级楼层内策略。理论分析表明在理想假设下该分解策略与单一全局策略等价。实验结果显示感知性能和爬梯稳定性是多层级导航的主要瓶颈。

    推荐理由:该文提出分层分解框架,通过蒸馏视觉语言模型初始化策略,诊断多层级导航中的感知与爬梯稳定性瓶颈。

  13. arXiv · 机器人与计算机视觉78

    SWAP:面向视觉语言动作模型的逐步策略路由方法

    针对单一 VLA 模型在不同任务状态和环境下的性能局限,本文提出了 SWAP 框架,将策略路由建模为离线强化学习问题以动态选择最优策略。该方法在真实世界的 DROID 操作任务和 LIBERO 仿真实验中均优于固定策略及基线路由方法,真实任务成功率绝对提升最高达 33%,同时减少了成功轨迹中的机器人动作步长。

    推荐理由:该工作提出动态组合多个 VLA 策略的框架,在真实操作任务中成功率提升最高达 33%。

  14. Hugging Face Daily Papers82

    VeriFine:面向具身推理的自我改进可扩展验证框架

    VeriFine 是一个代理驾驭框架,旨在解决具身推理中因固定评估器限制而导致的自我改进瓶颈。该框架通过策略与评估器的协同进化实现可扩展验证:利用评分标准诊断失败并构建自适应课程;在进展停滞时,选择性地查询人类指导以校准评估器,使其收敛于物理推理目标。实验表明,该方法能在强化学习和监督微调中持续提升策略与评估能力。

    推荐理由:提出 VeriFine 框架,通过策略与评估器的协同进化解决具身推理中的自我改进瓶颈。

  15. The Robot Report78

    Overview AI 推出搭载自主智能体的 OV Spark 系列工业检测相机

    Overview AI 今日正式发布 OV Spark 和 OV Spark Pro 两款工业检测相机,内置“Sparky”自主智能体层,支持用自然英语提问并自动推荐检测工具与策略。

    推荐理由:Overview AI 发布搭载自主智能体层的 OV Spark 系列工业相机,将模型选择、推理与 PLC 通信集成于边缘设备,解决工厂部署配置难题。

10月6日周二
  1. Hugging Face Daily Papers83

    基座模型可通过从训练数据获取线索进行推理

    该研究探讨了训练数据如何在基座模型的响应起始 token 与后续推理行为之间建立关联。实验表明,固定特定的起始 token 线索(如'. Okay'或'Alright,')可使基座模型在数学和代码任务上的表现接近强化学习(RL)微调版本。

    推荐理由:原文揭示了训练数据中的特定起始 token 可作为推理触发器,通过因果干预验证了其对数学、代码及模型安全行为的控制作用。

  2. arXiv · 机器人与计算机视觉78

    时间步加权:有效基于 ELBO 的流匹配强化学习的隐藏关键

    该论文研究了时间步加权对基于 ELBO 的流匹配强化学习性能的影响,发现有效的加权方案依赖于奖励景观和学习阶段。通过受控图像生成与机器人实验,揭示了跨噪声水平的奖励驱动更新模式及训练过程中的梯度协调动态。研究提出并验证了简单的静态加权、预算化配置选择及动态调度等策略,证明其能超越常规目标选择效果,为流匹配强化学习提供了重要的设计依据与新视角。

    推荐理由:本文揭示了时间步加权在基于 ELBO 的流匹配强化学习中的关键作用,提出其效果取决于奖励景观与学习阶段,并验证了动态调度策略优于常规配置。

  3. arXiv · 机器人与计算机视觉78

    Look-Before-Move:基于叙事的动态 3D 故事世界视觉注意力研究

    论文提出了 Look-Before-Move 框架,将相机规划解耦为观察规范与运动执行,通过语义观察契约、蒙特卡洛视点搜索和语义轨迹接地技术,在动态三维故事世界中实现叙事驱动的视觉注意力。

    推荐理由:该工作提出叙事驱动的视觉注意力框架,在动态三维故事世界中实现先观察后移动的相机规划。

  4. arXiv · 机器人与计算机视觉78

    Flash-WAM:面向世界动作模型的模态感知蒸馏方法

    Flash-WAM 是一种模态感知的步骤蒸馏框架,旨在解决世界动作模型(WAMs)在联合视频与机器人动作生成中因噪声分布不对称导致的传统蒸馏失效问题。该方法为动作流采用线性梯度缩放参数化以匹配低噪声 regime,同时为视频流保留方差以保持高噪声 regime 的稳定性。

    推荐理由:针对多模态蒸馏在联合视频 - 动作生成中的失效问题,提出模态感知的单步蒸馏框架 Flash-WAM。