跳到正文
10月9日周五
  1. arXiv · 机器人与计算机视觉72

    IntactWorld:一种基于完整特征的联合世界建模架构

    该论文提出了 IntactWorld 架构,旨在解决现有视频生成模型缺乏真实世界逻辑理解及特征压缩导致结构信息丢失的问题。该方法通过在中间层预测干净特征以消除优化瓶颈,并引入全到紧凑训练范式,用精炼的 CLS token 替代原始完整特征,使空间显存消耗降低 11.4%,推理延迟减少 43.8%。

  2. arXiv · 机器人与计算机视觉59

    VGGT-VLA-World:用于自动驾驶的意图条件化 3D 世界演化

    论文提出了 VGGTWorld-VLA,作为 VGGT-World 的意图条件化扩展,旨在解决现有方法在自动驾驶中未来演化对驾驶意图和动作依赖不足的问题。研究引入了动作 - 语义条件机制,将互补的驾驶语义与自车运动表征注入未来 token 流,使同一观测场景在不同自车动作下产生不同的未来几何预测。

  3. arXiv · 机器人与计算机视觉72

    FOCUS:从特权状态到 RGB-D 的受控模态切换与表征对齐

    针对基于视觉的机器人操作强化学习样本效率低的问题,本文提出 FOCUS 框架,在单阶段 PPO 训练中利用特权状态信息加速学习,并通过 KL 散度调节演员策略收集数据的模态(RGB-D 或特权状态潜变量)。实验显示,该方法在五个操作任务上将平均测试成功率从 0.71 提升至 0.93,预算归一化训练成功 AUC 从 0.47 提升至 0.65。

  4. arXiv · 机器人与计算机视觉72

    面向路径创意导航:基于具身交互的机器人导航方法

    针对杂乱和受限环境中的自主导航问题,本文提出路径创意导航(PCN)范式,要求机器人在移动的同时与环境进行具身交互以开辟路径。研究构建了一个无地图框架,整合视觉与激光雷达里程计信息,利用可通行性感知决策方法判断障碍物是否可操作并安全绕过。

  5. arXiv · 机器人与计算机视觉83

    Cross-Embodiment Robot Foundation World Models with Latent Actions 论文发布

    该研究针对机器人本体多样性导致的世界模型难以跨形态泛化的问题,提出了基于潜在动作条件的机器人世界模型(LAC-WM)。该方法在统一的潜在动作空间内运行,相比显式动作条件模型(EAC-WM),能显著提升下游灵巧操作任务及 LIBERO 基准的性能。

    推荐理由:提出基于潜在动作空间的机器人世界模型,在跨形态泛化与下游任务性能上优于显式动作条件模型。

  6. arXiv · 机器人与计算机视觉87

    NavGPT-3:利用上下文构建分层导航运行时

    论文介绍 NavGPT-3,这是一个连接高层语言模型推理与底层物理控制策略的运行时系统。其核心包含基于长视界强化学习的语言模型(NavGPT VLA)和 OS 类调度器,支持线程化运行、工具调用及中断切换以应对突发环境变化。

    推荐理由:该工作提出 NavGPT-3 运行时架构,通过分层调度连接语言推理与低延迟动作策略,首次实现自主体在导航任务中达到人类水平表现。

  7. arXiv · 机器人与计算机视觉62

    TAPNAV:通过触觉主动感知实现人形机器人导航

    论文 TAPNAV 提出一种不依赖视觉的触觉主动感知框架,用于解决人形机器人在视觉受限环境下的导航难题。该方法结合本体感觉里程计、IMU 与触觉接触观测维持位姿信念,将不确定性感知的全局路径规划与信息增益驱动的局部探测相结合,并通过全身控制器协调运动与末端执行器接触以执行导航和探测动作。

  8. arXiv · 机器人与计算机视觉82

    Masked Generative Motion Planning with Geometry-Guided Token Search

    论文介绍 Masked Generative Motion Planning (MGMP),该方法利用几何引导的令牌搜索将轨迹生成从局部连续优化扩展至离散结构修复,在 Kuka 和 Ring Maze 任务上分别实现 82% 和 96% 的成功率。

    推荐理由:提出 MGMP 方法,将生成式规划扩展至结构修复,在 Kuka 和 Ring Maze 任务上显著超越最强基线。

  9. Hugging Face Daily Papers58

    SpatialOPSD:从已验证的代码代理痕迹中自我蒸馏空间智能

    论文介绍 SpatialOPSD,一种基于策略的自我蒸馏框架,旨在让多模态大语言模型(MLLM)将外部工具生成的已验证执行痕迹内化为内部的空间思维链(CoT),从而摆脱对推理时外部依赖的开销。该方法利用重复掩码与不似然正则化来缓解特权信息泄露问题。实验表明,在空间及分布外数据集上,SpatialOPSD 的平均准确率优于监督微调(SFT)和 GRPO,展现出更强的性能与泛化能力。

  10. Hugging Face Daily Papers79

    DreamTrue:具备反事实后训练的忠实动作机器人世界模型

    论文提出了 DreamTrue,这是一个支持跨具身、多视角的机器人世界模型,旨在实现高保真的视频预测与物理合理性。针对现有数据集校准不精确及失败交互覆盖不足的问题,该方法将动作轨迹渲染为图像空间条件并进行离线几何校准,同时引入反事实后训练以扩展交互范围。

    推荐理由:该工作提出通过几何校准与反事实后训练提升多视角机器人世界模型的行动保真度,在 AgiBot 挑战赛中表现领先。

  11. Hugging Face Daily Papers53

    ViSkill:一种强化视觉语言模型代理的进化视觉原生技能框架

    论文提出 ViSkill 框架,将成功交互编码为可直接被视觉语言模型访问的复合视觉技能卡片,构建技能积累与策略优化的闭环反馈机制。在 Sokoban、FrozenLake 和 PrimitiveSkill 任务上,该方法整体成功率达 0.89(冷启动初始化下为 0.91),优于所有评估过的专有及开源基线且收敛更快。代码已公开于 GitHub。

  12. Hugging Face Daily Papers53

    InfiLoop:通过循环原生注意力残差扩展测试时迭代规模

    论文指出循环 Transformer 随迭代次数增加会出现推理精度下降现象,提出 InfiLoop 架构利用内容加权与学习到的时间衰减机制保留有用中间状态并抑制不可靠提议。在 Sudoku-Extreme 任务上达到 97.9% 精确准确率,并在 ARC-AGI-2 任务上取得 13.6% pass@2 分数。代码已开源。

  13. NVIDIA Blog · Physical AI42

    Frontier AI 智能体如何借助 Omniverse 将创意转化为仿真应用

    NVIDIA 开发者利用 GPT-6 Astra 等前沿模型结合 Omniverse 库,通过自然语言指令构建可编辑的 3D 资产、测试机器人拆解及数字孪生场景。实验涵盖使用 Houdini 与 Isaac Sim 生成动画、在 Onshape 中配置 CAD 模型以及分析燃气轮机工况,实现了从概念到仿真应用的快速转化。

  14. Hugging Face Daily Papers76

    RSI-Anything:基于世界模型的递归自我改进通用框架

    论文介绍了 RSI-Anything,这是一个构建于 JEPA-Anything 之上的通用框架,利用预测世界模型指导行动与学习数据选择。在代码修复任务中,固定编码器的情况下,通过预测选择和世界模型适配将成功率从静态验证器的 26.3% 提升至 31.2%;GUI 评估显示任务完成率更高且平均动作减少 39.4%;实验室规划分数在五轮策略迭代后翻倍。

    推荐理由:该框架利用预测世界模型指导行动与数据选择,在代码修复、GUI 操作及实验室规划等跨领域任务中显著提升了成功率并减少了平均动作数。

  15. Hugging Face Daily Papers63

    EmbodiedCLBench:首个具身仿真持续学习评估基准

    EmbodiedCLBench 是首个用于评估自演化智能体在具身环境中持续学习能力的基准,核心原则为组合泛化,要求智能体先掌握基础任务再重组技能解决未见的高级任务。实验显示高级任务零样本下难以完成,但基础任务经验能带来稳定提升;然而该收益不随样本量增加而扩展,现有智能体无法从额外经验中提取有效信息。代码与数据集已开源。

  16. Hugging Face Daily Papers74

    MIMESIS:一种用于交互式智能体训练的用户模拟器学习框架

    针对交互式语言智能体训练中收集真人反馈成本高、现有助手模型过于顺从的问题,该研究提出了 MIMESIS 专用用户模拟器。该 9B 参数模型基于人类对话数据并引入显式推理监督与 13 种真实行为模式训练,在 SOUL-Index 等指标上超越最强前沿模型。

  17. Hugging Face Daily Papers58

    System Switch:快慢双进程智能体何时停止思考?

    该论文研究了在实时设置下,当快决策模型(fast learned actor)何时应将控制权交给慢速推理视觉语言模型的机制。研究使用闭环 Doom 环境和新的开放“系统一”类型决策模型,发现零样本决策模型在错误中收集物品的频率高于随机水平,且不同模型的准确性、校准度和敏感度存在显著差异。

10月8日周四
  1. IEEE Spectrum · Robotics62

    ETH Zurich 让离体机械手实现指尖行走与环境交互

    ETH Zurich Soft Robotics Lab 将市售机械手改造为独立移动机器人,利用强化学习训练其在仿真环境中行走、自扶正及操作物体。团队通过引入针对非对称手指的虚拟弹簧机制与多技能模型切换,使该装置在真实测试中跨越多种表面并成功推物。研究展示了部件功能解耦的新范式,但未涉及真实部署或量产许可。

  2. 盖世汽车 · 汽车资讯48

    灵生科技完成亿元级 A 轮融资,推出具身通用底座 RUDA 架构与 Harness 适配体系

    清华系企业灵生科技近日完成由华方资本等联合投资的亿元级 A 轮融资。公司依托创始人杨洪兵及清华大学自动化系高飞飞教授团队,构建基于 PhiAgent 数据引擎与 RoboAgent 执行智能体的 RUDA 自进化架构。该技术已在光模块插拔、电池装配等高精密工业场景实现稳定落地,覆盖 3C 质检、物料转运等多类任务。

  3. arXiv · 机器人与计算机视觉72

    Faster-WAM:世界动作模型需要深层动作模块吗?

    论文提出 Faster-WAM,主张将计算容量集中于视频世界模型,仅使用单层轻量级动作专家进行预测。该方法通过 Transformer Dock 技术融合各层表征,在 LIBERO 和 RoboTwin~2.0 基准上实现了与 Fast-WAM 相当的控制性能,同时推理速度提升约 3.7 倍,且在分布偏移下表现出更强的泛化能力。

  4. arXiv · 机器人与计算机视觉72

    Adapting Generalist Vehicle Models for High-Speed MPC Across Terrains

    论文提出 OptCar(Optimized Car)配方,旨在桥接从通用到专用的前向运动学动力学预测基础模型,以保留跨地形泛化能力并优化特定车辆性能。该方法采用 Transformer FKD 架构,利用 FiLM 条件化多步预测,并通过环境特定的系统辨识结合有限真实数据进行专业化微调。

  5. arXiv · 机器人与计算机视觉82

    VIA:一种用于机器人控制的视觉界面智能体框架

    该论文提出了 VIA(Visual Interface Agent)框架,将机器人控制重构为智能体任务,利用现成的通用智能体通过虚拟工作空间中的鼠标式工具直接驱动机械臂。研究在仿真和真实世界移动操作机器人上实现了零样本的多样化桌面操作与导航任务,且性能随基础模型规模提升而增强,表明现有前沿智能体具备直接迁移至机器人控制的能力。

    推荐理由:提出 VIA 框架,证明通用智能体无需训练即可通过虚拟界面直接控制机器人完成操作与导航任务。

  6. arXiv · 机器人与计算机视觉70

    MuSe:一种面向接触丰富任务的机器人多感官持续学习方法

    针对机器人操作中触觉、力或音频信号难以大规模预训练的难题,本文提出 MuSe 方法,通过多阶段融合与经验回放技术将少量多模态数据适配至预训练视觉策略。研究在真实世界任务中验证了该方法在接触丰富场景下的有效性,同时证明其在保留原有预训练任务性能方面表现稳健,甚至部分任务有所提升。

  7. arXiv · 机器人与计算机视觉65

    统一对象中心世界模型与扩散策略:面向多阶段机器人任务的层次化框架

    针对现有视觉世界模型在机器人领域仅能处理单阶段任务(如抓取)且难以应对复杂序列规划的局限,本文提出 WorldDP 框架。该框架采用分层架构,利用高层世界模型作为转移函数优化运行时可行子目标,再由低层扩散策略执行;同时引入对象中心表示以解耦环境实体并支持针对各实体的顺序规划。在多个机器人基准测试中,WorldDP 持续优于现有基线,验证了结合物理基础规划与高效执行的优越性。

  8. arXiv · 机器人与计算机视觉55

    用于解释扩散模型的残差化时序稀疏自编码器

    本文介绍了一种名为 ReSAE 的新方法,旨在解决现有稀疏自编码器(SAEs)仅分析单个时间步或条件于时间的局限。ReSAE 通过拟合相邻时间步之间的线性预测器,将每个特征表示为初始激活及其残差,从而鼓励潜在变量捕捉超出线性可预测性的结构。