跳到正文
10月8日周四
  1. arXiv · 机器人与计算机视觉82

    Resolving Conflicts Where and When They Arise: Reactive Composition of Multi-Goal Behavior

    该研究针对多目标任务中因静态目标表示导致的失败问题,提出了一种扩展 Active InterCONnect 的方法,通过自适应空域投影动态处理冲突梯度。实验表明该方法在导航和推物任务上优于静态势场与扩散策略,并在真实机器人上成功解决了感知不确定性、关节限制及自碰撞等问题,证明了控制方法可替代部分规划功能。

    推荐理由:论文提出自适应空域投影方法解决多目标冲突,在真实机器人上验证了无需规划即可处理感知不确定性与自碰撞的能力。

  2. arXiv · 机器人与计算机视觉58

    利用扩散模型的动态神经柯普曼蒸馏实现快速机器人控制

    针对扩散模型迭代去噪带来的延迟问题,本文提出动态神经柯普曼(DNK)蒸馏框架,通过引入因子化动态柯普曼层将多步扩散推理压缩为单次前向传播。该方法在运动、状态及图像基操作基准上展现了与加速生成策略相当的闭环性能,同时大幅降低了推理延迟。硬件实验表明,该框架在物理 Kinova 机械臂上实现了毫秒级推理并缩短了任务完成时间。

  3. arXiv · 机器人与计算机视觉58

    TAVIS:面向模仿学习的以自我为中心主动视觉与预期性注视基准

    针对主动视觉在模仿学习中缺乏统一评测的问题,作者提出了 TAVIS 评估基础设施。该基准包含两个互补的任务套件——TAVIS-Head(5 项任务,利用颈部俯仰/偏转进行全局搜索)和 TAVIS-Hands(3 项任务,利用手腕相机处理局部遮挡),构建于 IsaacLab 平台并适配 GR1T2 与 Reachy2 两种人形躯干载体。

  4. arXiv · 机器人与计算机视觉75

    NovaPlan:基于闭环视频语言规划的零样本长程操作

    论文介绍 NovaPlan 框架,旨在解决复杂长程机器人任务中视觉 - 语言模型易产生物理幻觉的问题。系统通过高层 VLM 分解任务并验证多个候选视频生成结果以过滤不一致的未来状态;利用混合几何表征在物体中心流与手部流间自适应切换;并通过闭环监控执行过程,合成如指尖戳刺等局部非抓持类纠错行为。实验显示其在多阶段任务中显著优于现有零样本系统,实现了无需特定训练或演示的复杂装配与灵巧错误恢复。

  5. arXiv · 机器人与计算机视觉83

    Agentic Scene Policies:统一场景感知与操作技能的机器人框架

    针对现有视觉语言动作模型(VLAs)泛化能力受限及缺乏显式空间推理的问题,本文提出 Agentic Scene Policies(ASP)框架。该框架通过场景智能体工具接口,利用部件级功能特性将场景理解与机器人技能统一在单一动作空间中,支持如拔充电器、开抽屉等零样本交互。实验表明,ASP 在零样本设置下表现优于领先的 VLAs,并展示了处理房间级查询的扩展性。

    推荐理由:提出结合显式3D场景表示与运动规划的模块化策略,在零样本设置下超越主流VLA模型。

  6. arXiv · 机器人与计算机视觉83

    基于人类引导终身代码生成的机器人超长时域操作技能研究

    针对大语言模型在机器人操作中存在的歧义、噪声及上下文限制问题,本文提出 LYRA 框架,将人类反馈蒸馏为模块化可复用技能,并利用外部记忆与检索增强生成支持超长时域任务。

    推荐理由:提出 LYRA 框架,通过人类引导的终身代码生成与外部记忆检索,在多个基准及真实任务中实现超长时域操作的稳定执行。

  7. arXiv · 机器人与计算机视觉65

    生成式人工智能在自动驾驶中的应用:前沿与机遇

    这是一篇关于生成式人工智能(GenAI)在自动驾驶领域应用的综合性综述论文。文章系统梳理了从变分自编码器到扩散模型等现代生成建模技术的原理,并探讨了其在图像、LiDAR 点云、轨迹及占用网络生成以及视频生成中的前沿应用。此外,论文还分析了 GenAI 在端到端驾驶策略、高保真数字孪生系统及跨域迁移至具身智能等方面的实践机会,同时指出了泛化性、安全评估与合规性等关键挑战。

  8. arXiv · 机器人与计算机视觉78

    Auto-Regressive Models Need Structural Registers: Semantic Foresight Improves Coherent Driving Video Continuation

    该论文针对自动驾驶视频延续中面临的自回归过程‘生成退化’挑战,提出了 STRIDE(STructural RegIsters for Decoupled Extrapolation)大视觉模型架构。

    推荐理由:提出 STRIDE 架构,通过语义前瞻机制缓解自回归生成中的结构退化问题。

  9. arXiv · 机器人与计算机视觉82

    RoboJEPA:基于联合嵌入预测架构的多具身机器人潜在世界模型扩展研究

    论文提出 RoboJEPA,这是一个基于联合嵌入预测架构(JEPA)的世界模型,训练数据涵盖 12 种不同的机器人本体。研究发现其潜在回放的想象误差遵循计算量的二阶幂律,且下游规划性能随计算量可预测地提升。该模型在 80 亿参数规模下实现了零样本部署,能在真实硬件上针对单目标图像进行长视界任务规划。所有模型检查点及训练与部署代码均已开源。

    推荐理由:该工作首次建立了多具身机器人世界模型的扩展定律,展示了基于 JEPA 架构的 RoboJEPA 在计算量与性能间的可预测关系。

  10. arXiv · 机器人与计算机视觉73

    DSReg:无需重建即可证明性恢复个体世界潜变量

    arXiv 预印本论文提出 DSReg(Dependency-Sparsity Regularization)方法,旨在解决现有无锚点方法仅能识别线性变换混合状态的问题。该方法在结构多样性条件下,无需重建、解码器或标签,即可从联合嵌入预测架构中恢复个体世界潜变量。研究证明其是首个完全可识别的 JEPA 模型,且该条件弱于先前的所有结构性假设。

  11. arXiv · 机器人与计算机视觉54

    Kuration SDK:通过数据策展解决虚拟到现实的差距

    针对动作条件化世界模型的基准指标存在局限且无法反映真实可玩性的问题,本文提出在训练前通过策展原始游戏数据并测量多种诊断属性来弥合虚拟与现实差距。作者开源了 Kuration SDK 工具包,该工具曾在特定案例中揭示出即使 LPIPS 和 FVD 分数相似的两个世界模型行为却大相径庭的根本原因,具备加速开发高效样本训练数据集的潜力。

  12. arXiv · 机器人与计算机视觉35

    LeCuration:作为数据策展多工具的小型世界模型预印本发布

    LeCuration 是一个基于 LeWorldModel 潜变量编码器与扩散 Transformer 解码器构建的小型世界模型,旨在为物理 AI 应用组织、筛选和策展数据。该研究在 CS:GO 游戏数据上进行了定性概念验证,利用其嵌入进行异常检测和内容聚类以检查动作状态一致性,但未报告定量指标或下游训练结果。

  13. arXiv · 机器人与计算机视觉82

    目标条件策略学习中的信息视界诅咒:长视域训练损害泛化与性能

    论文指出在目标条件策略学习中存在‘信息视界诅咒’,即增加目标重标视域会显著降低策略的泛化能力和性能。研究通过控制实验解耦了训练时的采样视域与测试时的执行视域,发现即使仅评估邻近子目标序列,基于行为克隆的策略也会因长视域训练而严重退化,而强化学习目标可缓解此问题。

    推荐理由:研究发现目标重标视域过大导致泛化性能下降,通过短视域策略雅可比矩阵蒸馏至长视域策略可显著提升组合操作任务表现。

  14. arXiv · 机器人与计算机视觉82

    HuMBLE:基于人类运动驱动的行为学习用于具身移动

    论文介绍 HuMBLE 框架,旨在解决控制器优化于命令跟踪时产生机械步态、而绑定人类数据时泛化能力不足的问题。该方法首先利用自研数据集通过强化学习训练全身参考条件策略,再蒸馏为仅依赖本体感知和平坦躯干速度转向指令的轻量先验策略;随后通过多任务强化学习微调以扩展命令覆盖范围并增强鲁棒性,其中包含跟踪任意命令的目标条件任务和以人类数据为显式风格正则器的参考引导任务。

    推荐理由:提出 HuMBLE 框架,通过教师 - 学生蒸馏与多任务强化学习平衡命令跟踪与人类步态特征,在 Atlas 等真机验证了实时可操控性。

  15. arXiv · 机器人与计算机视觉43

    ECHO:首个结合重建场景与人类活动的物体放置基准数据集发布

    ECHO 是首个公开可用的合成数据集,将室内 RGB-D 扫描、人体携带活动及自然语言上下文标注相结合。该数据集包含 159 层楼、115 个 HM3D 场景中 3,805 集人类标注片段,涉及 198 种物体及完整的 6-DoF 轨迹数据。实验结果显示单一输入模态不足够,需联合推理场景结构、人类活动与上下文知识以预测物体目的地。

  16. arXiv · 机器人与计算机视觉82

    GeoCoTDrive:面向自动驾驶的显式几何思维链视觉语言动作模型

    针对现有 VLA 模型在自动驾驶中存在 2D 语义理解与 3D 几何需求不匹配的问题,本文提出 GeoCoTDrive 框架。该框架遵循“先以 2D 思考、再以专用 3D 先验驱动”的范式,首先定位决策关键区域的 2D 特征,随后从几何基础模型中检索局部化 3D 先验并交织进自回归上下文以支持轨迹生成。

    推荐理由:提出 GeoCoTDrive 框架,通过显式几何思维链将 2D 视觉理解与 3D 规划先验结合,在多基准测试中提升端到端自动驾驶的安全性。

  17. arXiv · 机器人与计算机视觉38

    NeRFifyMesh:从纹理网格生成地面真值点辐射场以加速机器人场景构建与碰撞仿真

    NeRFifyMesh 提出新流程,通过采样网格几何与纹理人工生成地面真值点辐射场,无需相机采样或多视图渲染即可将现有网格转为 NeRF。基准测试显示该方法渲染质量与基线相当,并支持构建统一 NeRF 场景及提取几何进行碰撞仿真。论文已接受至 IROS2026,代码与数据许可状态待注册。

  18. arXiv · 机器人与计算机视觉58

    OpenViTac:在统一仿真与现实框架中学习及评测视觉 - 触觉策略

    针对视觉 - 语言 - 动作(VLA)模型缺乏统一触觉基准的问题,该工作提出 OpenViTac 基准,将接触丰富操作划分为四个触觉相关能力维度,并提供配对仿真与现实设置以一致评估 VLA、WAM 和 VTLA 策略。研究进一步探讨不同触觉表示与融合策略对预训练 VLA 模型性能的影响,引入 OpenVTLA 触觉增强框架结合最优方案,并利用配对设置分析影响跨域策略学习的因素。

  19. arXiv · 机器人与计算机视觉82

    Video Prediction Policy 2:预测更准、行动更佳

    论文发布 Video Prediction Policy 2(VPP2),一种旨在将视频预测先验转移至动作学习的世界动作模型(WAM)。针对现有模型在开放环境中产生错误运动预测的问题,作者通过大规模操作视频数据集进行事件级预训练以增强泛化性,并将视频模型蒸馏为单步视觉规划器,同时引入混合 Transformer 架构的动作模块以学习隐式逆动力学模型。

    推荐理由:作者提出 VPP2,通过事件级预训练与混合 Transformer 架构解决现有世界动作模型在开放环境中的运动预测错误问题。

  20. arXiv · 机器人与计算机视觉59

    HarnessIR:利用多模态基础模型实现通用现实世界图像恢复

    针对现实低质量图像受噪声、模糊等混合退化影响的问题,HarnessIR 提出一种基于多模态基础模型的代理框架,通过感知诊断、按需调用工具、提示词构建、执行及验证驱动的细化五个阶段,将修复需求与证据一次性输入模型进行单次处理。该方法在 MiO100 合成基准上达到最先进水平,并在复杂真实场景中展现出比依赖特定任务模型的旧有代理系统更强的泛化能力。代码已开源。

  21. arXiv · 机器人与计算机视觉85

    RealtimeWAM:如何实现世界动作模型的实时运行?

    针对世界动作模型(WAM)高推理延迟限制机器人控制响应的问题,作者提出了 RealtimeWAM 这一无需重新训练的通用框架。该框架通过层间依赖重叠观测处理与预测、在视觉稳定区域缓存特征以及复用 Transformer 残差等策略协调并行执行与自适应计算。

    推荐理由:该工作提出无需重新训练的通用框架,通过并行执行与自适应计算显著降低推理延迟,在真实任务中提升成功率。

  22. arXiv · 机器人与计算机视觉85

    Juno:驯化预测潜变量以优化视觉语言动作模型

    论文介绍 Juno 框架,利用联合嵌入预测架构(JEPA)构建控制对齐的表征骨干、预测教师及可适应动力学模型。通过动态 CLS 损失转移运动加权补丁动力学,融合当前帧 JEPA 补丁并解耦推理分支以蒸馏未来潜状态用于动作生成。

    推荐理由:提出基于动作条件 JEPA 的统一框架,解决预训练与部署中的表征失配问题,在仿真与真机实验中均提升成功率。

  23. arXiv · 机器人与计算机视觉58

    UltraWorld:利用声学采样图从非跟踪临床视频学习交互式超声世界模型

    论文提出了 UltraWorld 方法,旨在通过无监督方式构建超声扫描的世界模型以支持自主操作。该方法首先将视频基础模型适配为基于参考图像和解剖掩码的超声生成器,利用沿三维解剖轨迹采样的解剖掩码合成动作 - 视频对,进而自蒸馏生成器为无需推理时依赖掩码或三维资产的世界模型。

  24. arXiv · 机器人与计算机视觉59

    端到端自主生成人类装配计划

    该工作提出一种端到端方法,仅需 CAD 网格输入即可自动生成装配手册或结构化失败报告,无需关节元数据或紧固件标注。系统自主确定工具列表、装配序列与子装配体,并利用物理仿真器结合 DfA 原则优化序列,相比基线将机器人臂代理测得的模拟装配时间减少 35%。视觉语言模型用于生成手册和评估页面元素信息量,相关代码开源。

  25. arXiv · 机器人与计算机视觉58

    基于扩散模型的时空推理关系抽象方法

    针对扩散模型难以满足结构化空间推理约束的局限,作者提出一种结合无监督对象发现与关系抽象的新框架,通过引入结构先验引导生成过程以满足逻辑条件。研究构建了包含四个数据集的大规模生成性空间推理基准,旨在评估模型在人类可解谜题等复杂任务中的表现及分布外泛化能力。

  26. arXiv · 机器人与计算机视觉53

    ΔWAM:将动作切线场蒸馏至世界动作模型

    针对现有世界动作模型(WAM)过度依赖外观和场景持续性而非动作相关动态的问题,该方法提出通过局部泰勒展开重构世界监督信号,引入动作条件世界模型探测动作变化与残差世界的对应关系。在 LIBERO-Plus、RoboTwin 等数据集上验证了其在光照、背景及布局扰动下的鲁棒性提升,并将多步去噪蒸馏为单步以优化推理效率。

  27. arXiv · 机器人与计算机视觉58

    面向机器人控制的自适应代码生成框架

    arXiv 论文介绍了一种用于控制机器人的架构框架,旨在解决在未知动态环境中部署复杂自适应系统的挑战。该系统采用双 AI 设计:大语言模型将高层意图转化为受限的正式机器人库代码,视觉 - 语言模型通过蒸馏过程提供语义 grounding。框架包含基于几何和语义阈值的环境驱动重规划触发器、持续运行时监控及自适应规划循环。基准测试表明,该架构在动态未知环境中能稳健地实现复杂意图。

  28. arXiv · 机器人与计算机视觉38

    SIGMA:仿真闭环快慢协同决策框架降低自动驾驶云交互并提升导航成功率

    SIGMA 提出一种仿真在环的快慢协同框架,将规划器嵌入不确定性评估以决定何时调用云端推理。实验表明该框架减少不必要的云交互 50%,动态场景下导航成功率提升超 6% 且完成时间缩短最多 26.2%。该方法在 CARLA 环境中验证了其在静态与动态障碍物场景下的效率与导航性能优势。

  29. arXiv · 机器人与计算机视觉58

    STRIKE:学习视觉状态迁移以构建物理世界模型

    论文提出了 STRIKE 框架,旨在通过预测交互如何改变场景来构建物理世界模型,而非仅生成连贯运动。该方法将视觉状态迁移学习与稠密视频生成解耦,利用事件对齐的监督信号训练基于图像的迁移模型,并结合预训练的视觉语言规划器与动态模型进行推理。

  30. arXiv · 机器人与计算机视觉83

    TERRA:通过学习可迁移的潜在动作进行机器人策略控制

    论文提出 TERRA 方法,利用紧凑的时间效应表示和关系对齐机制,学习能从视觉过渡中推断出的可迁移潜在动作代码。该方法通过效果锚定传输(EAT)解决潜在动作在不同初始状态下意义一致性问题,在冻结线性读取器下比 UniVLA 更准确且抗干扰更强。

    推荐理由:提出通过时间效应表示与关系对齐学习可迁移潜在动作,在 LIBERO 基准上平均成功率达 93.4%,优于 UniVLA。

  31. arXiv · 机器人与计算机视觉58

    面向世界动作模型的视觉动作事件对齐推理方法

    针对现有世界动作模型依赖预定义时间间隔的问题,该方法引入事件对齐的视觉动作推理框架,将视觉预测与关键交互事件直接对齐,在想象 rollout 中聚焦任务关键状态变化并细化推理粒度。同时增加执行有效性头以剔除冗余动作。实验显示其在 DOMINO 基准上成功率提升 10.26 个百分点,且在 RoboTwin 2.0 表现优异,能从 Level 1 无适配迁移至 Level 2 和 Level 3。

  32. arXiv · 机器人与计算机视觉59

    预测的未来不足够:学习机器人操作的 executable goals

    该论文针对生成式世界模型仅能预测场景演化却无法直接提供控制所需紧凑任务变量的问题,提出实体级目标读出接口。该方法结合以观测深度为基准的位姿预测与 SE(3) 空间中的紧凑目标表示,配合共享 Pose-Native Executor 实现闭环控制而不需重跑世界模型。

  33. arXiv · 机器人与计算机视觉56

    Co2Skill:基于技能组合的全身控制以应对长周期人机环境交互

    该论文提出 Co2Skill 框架,旨在复杂非结构化环境中实现类人灵巧性。方法基于预训练运动先验,利用任务与阶段相关的观测掩码整合场景交互与灵巧操作能力;引入目标条件化的移动 - 操作课程及跨任务课程以联合训练技能并维持物理状态连续性。评估涵盖坐立、攀爬、楼梯穿越及目标导向操作等长序列任务,并在室内环境演示了技能组合的集成效果。

  34. arXiv · 机器人与计算机视觉73

    RoboRender:面向机器人的视频生成与视觉仿真到现实迁移

    为了解决仿真策略迁移至现实世界时因视觉差异导致的失败问题,研究团队提出了 RoboRender 框架。该框架利用深度图、语言指令和机器人 RGB 掩码视频作为条件,训练出能生成逼真 RGB 视频的模型,同时保留几何结构与动作标签。在抓取与移动操作等真实任务中,基于该数据训练的零样本策略平均成功率为 71%,相比原始渲染提升约 7.1 倍,相比传统域随机化提升约 3.6 倍。

  35. arXiv · 机器人与计算机视觉78

    Robo-COP:通过部署实现机器人编排器与策略的协同进化

    针对 VLA 策略在真实部署中泛化不足且受限于固定编排器的瓶颈问题,论文提出 Robo-COP 框架,使编排器与策略在部署过程中协同进化。该方法从自身执行中筛选技能演示,仅在能解决重复性失败时微调策略,并在新策略提升原有技能表现后才采纳。

    推荐理由:提出 Robo-COP 框架,通过编排器与策略协同进化解决泛化瓶颈,仿真成功率提升约9个百分点。

  36. arXiv · 机器人与计算机视觉68

    Do Vision Models Learn Physical Constraints or Rendering Shortcuts? A Counterfactual Benchmark for Grounded Physical Consistency

    该论文提出一个反事实基准,用于检测现代图像编辑模型是否违反场景物理规律(如阴影、反射或支撑)。基准利用 Mitsuba 3 渲染器生成包含 5,500 张图像的测试集,涵盖 500 个场景家族及多种违规类型。