跳到正文

技术方向

仿真与数字孪生 最新动态

物理仿真、数字孪生和仿真到现实,保留物理设置、平台条件和实机迁移证据。

425 条精选近 30 天 289 条共收录 1,722 条

更新

精选归档 · 第 19 页

10月7日周三第 361–380 条
  1. arXiv · 机器人与计算机视觉78

    MobileVISTA:面向移动操作任务的生成式数据增强框架

    MobileVISTA 是一个数据生成框架,旨在解决端到端操作策略在机器人部署时因微小姿态偏差导致性能骤降的问题。该框架将采集于标准姿态下的演示数据转化为多样化、姿态扰动后的训练数据,通过联合增强以眼为中心(egocentric)的视觉观测并重新定向动作以补偿基座姿态变化。

    推荐理由:该框架将演示数据转化为多姿态扰动数据,无需额外采集或生成模型即可提升策略对非分布内姿态的鲁棒性。

  2. arXiv · 机器人与计算机视觉78

    AIM:自适应交互建模网络用于真实到仿真的软体模拟

    针对可变形物体操作中的空间邻域误差累积及场景适配问题,论文提出 AIM 自适应交互建模框架。该框架利用运动历史与几何信息动态调整粒子关系,并通过几何条件化的全局通信协调整体响应。

    推荐理由:提出 AIM 框架,通过局部全局交互建模提升软体仿真精度与跨场景迁移能力。

  3. arXiv · 机器人与计算机视觉78

    SWAP:面向视觉语言动作模型的逐步策略路由方法

    针对单一 VLA 模型在不同任务状态和环境下的性能局限,本文提出了 SWAP 框架,将策略路由建模为离线强化学习问题以动态选择最优策略。该方法在真实世界的 DROID 操作任务和 LIBERO 仿真实验中均优于固定策略及基线路由方法,真实任务成功率绝对提升最高达 33%,同时减少了成功轨迹中的机器人动作步长。

    推荐理由:该工作提出动态组合多个 VLA 策略的框架,在真实操作任务中成功率提升最高达 33%。

10月6日周二
  1. arXiv · 机器人与计算机视觉82

    现实到仿真再到现实的协同训练中世界与行为的 grounding 研究

    论文提出一种 real2sim2real 协同训练管线,独立调节世界保真度(world grounding)和行为对齐(behavior grounding)两个轴以生成数据。

    推荐理由:提出独立调节世界保真度与行为对齐的共训练管线,在动态灵巧分拣任务中将成功率从 52% 提升至 86%,揭示两者互补作用。

  2. arXiv · 机器人与计算机视觉83

    PACT:从视频端到端学习人体姿态、接触与力的方法

    arXiv 论文 PACT 提出一种端到端模型,联合从单目视频中估计人体姿态、环境接触点及接触力。该方法在人体重建基础模型上引入可学习的接触力 token 与时序 Transformer,利用物理监督增强运动与力的时空一致性。

    推荐理由:提出端到端模型联合估计人体姿态、接触点与力,并引入物理监督与合成数据管线解决标注稀缺问题。

  3. arXiv · 机器人与计算机视觉82

    Magic-W0:一种用于物理智能的结构化世界 - 动作基础模型

    Magic-W0 是一种世界 - 动作基础模型,旨在弥补现有方法缺乏与控制紧密耦合的结构化世界表征的不足。该模型将交互定义为包含当前状态、过渡和未来状态的 Structured World Transition,其中当前状态结合视觉语言上下文与三维几何,过渡由捕捉动作诱导变化的三维运动表示,未来状态则由描述任务相关结果的未来语义表示。

    推荐理由:该工作提出将结构化物理状态演化与连续动作联合建模的架构,在仿真基准上取得领先分数并验证了下游泛化能力。

  4. arXiv · 机器人与计算机视觉82

    One from Infinity:从预训练世界模型中实际化出机器人动作

    论文提出 RoboActualizer 方法,旨在解决如何将预训练视频世界模型的多种潜在未来转化为特定任务条件下的确切执行策略。该方法将核心问题形式化为“实际化”,即在冻结的世界模型编码器之上,通过一个仅含约 60M 参数的轻量级实际化器模型(由两个 DiT 专家组成)来筛选并读出实现任务的行动序列。

    推荐理由:提出在冻结预训练世界模型上仅用轻量级实际化器将潜在未来转化为机器人动作,大幅降低参数与算力需求。

  5. arXiv · 机器人与计算机视觉78

    DEXTERA:通过真实到仿真再到真实的框架实现单图可部署灵巧操作

    DEXTERA 是一个自动化的真实到仿真再到真实框架,能将单张 RGB 图像转化为跨多种策略架构的可部署灵巧操作策略。该框架包含场景因子化、度量对齐与形态平衡校准、可扩展任务构建及共享多模态接口四个阶段。实验显示其在视觉保真度与几何重建上优于生成式基线,仿真训练的策略可在真实机器人上零样本部署,且联合训练将平均物理策略成功率从 29.2% 提升至 61.9%。

    推荐理由:DEXTERA 框架实现从单图到可部署策略的自动化闭环,仿真训练策略在真实机器人上零样本部署有效,且联合训练将成功率提升至 61.9%。

  6. arXiv · 机器人与计算机视觉82

    CORL-AUV:面向自主水下航行器的计算流体力学强化学习

    论文提出一种基于代理模型的 CFD 方法,将水下航行器阻力估算速度提升 70 万倍,用于训练强化学习控制器。在真实海洋的 15 次独立测试中,该方法相比惯性盒模型使平均跟踪误差降低 19%、控制努力减少 31%,且对质量扰动具有鲁棒性。材料为预印本论文,未提及同行评审状态或开源代码仓库。

    推荐理由:该研究提出用代理模型加速 CFD 数据以训练水下机器人控制器,在真实海洋测试中显著优于惯性盒模型。

  7. arXiv · 机器人与计算机视觉84

    AHEAD:面向动态操作的潜在空间预测世界模型

    针对现有视觉语言动作(VLA)模型无法处理任务执行期间物体移动导致的延迟问题,本文提出 AHEAD 框架。该方法通过冻结 VLA 并引入基于光流的小规模运动感知潜在世界模型进行预测,利用语言与运动显著性掩码聚焦关键区域,并在不确定性达到阈值时自适应停止预测。

    推荐理由:提出 AHEAD 框架,通过冻结 VLA 并引入运动感知潜在世界模型解决动态操作延迟问题,在仿真与真实机械臂上显著优于基线。

  8. arXiv · 机器人与计算机视觉78

    具身智能时代基于物理仿真的机器人导航与操作综述

    这篇论文是接受于 ACM Computing Surveys 的综述,系统分析了物理仿真器如何解决具身智能中导航和操作任务的 sim-to-real gap。文章重点考察了以往研究较少关注的仿真属性、针对导航与操作任务的功能特性以及硬件要求。此外,作者整理了一份包含基准数据集、评估指标、仿真平台和方法的资源清单,旨在帮助研究人员在考虑硬件约束的前提下选择合适的工具。

    推荐理由:该综述聚焦物理仿真在导航与操作任务中的 sim-to-real gap,分析硬件需求并提供基准数据集与工具选型资源。

  9. arXiv · 机器人与计算机视觉83

    TAPDreamer:一种可迁移的对抗补丁用于攻击世界动作模型

    论文提出 TAPDreamer 攻击框架,利用公开编码器构建固定局部扰动以攻击世界动作模型,无需访问目标策略输出。实验显示,在闭环评估中,单个冻结补丁覆盖约 6.5% 输入即可将 FastWAM 在 LIBERO 基准上的成功率从 97.7% 降至 0.0%,并显著降低 DreamWAM 和 Motus 模型的成功率,表明保护下游动作生成不足以防御此类攻击。

    推荐理由:提出 TAPDreamer 攻击方法,证明仅保护下游动作生成不足,需同时防御针对共享视觉编码器的持久局部扰动。

  10. arXiv · 机器人与计算机视觉78

    DexForge:一种高保真物理驱动的灵巧重定向框架

    DexForge 是一个基于可微物理的框架,用于将人类视频演示转化为高保真的机器人轨迹。该方法重建球状高斯物体模型和手 - 对象运动,构建结合高效高斯碰撞检测的可微仿真器,并融合接触感知的运动学重定向与力感知的动力学重定向以精确复现物理运动。

    推荐理由:提出基于可微物理的框架,将人类演示转化为高保真机器人轨迹,在七种灵巧手实验中将成功率提升约 35-53 个百分点。

  11. arXiv · 机器人与计算机视觉82

    欠驱动双足机器人无碰撞运动的分层强化学习研究

    针对欠驱动双足平台难以在不破坏平衡的情况下避障的问题,论文提出一种分层强化学习框架:高层策略输出全身速度指令,低层策略通过 PD 控制跟踪关节目标,两者联合训练。

    推荐理由:论文提出分层强化学习框架解决欠驱动双足机器人的避障运动,在 PyBullet 仿真中实现高成功率并验证了各观测通道与奖励项的贡献。

  12. arXiv · 机器人与计算机视觉78

    基于多目标强化学习的四足机器人无传感器堆叠货物运输方法研究

    针对四足机器人在不平坦地形上运输无固定堆叠货物的难题,本文提出 Payload-Adaptive Multi-Objective Reinforcement learning for Transportation (PAMORT) 框架。

    推荐理由:提出 PAMORT 多目标强化学习框架,在仿真与宇树 Go2 真机零样本迁移中实现无传感器堆叠货物稳定运输。

  13. arXiv · 机器人与计算机视觉82

    可控道路标线生成:基于文本引导的 BEV 管线与结构化高斯渲染

    该论文提出 Controllable Road Marking Generation 框架,能从可行驶区域掩码、外环标线和文本描述中合成缺失的中心区域标线布局。

    推荐理由:该工作提出可控道路标线生成框架,在 Argoverse~2 和 Waymo 数据集上显著优于基线,为仿真场景构建与地图补全提供新工具。

  14. arXiv · 机器人与计算机视觉78

    无数据集的人形机器人顺应式行走 - 操作:动态在线姿态调整

    OCLO 是一种无需人类运动数据即可训练的人形机器人全身行走与操作系统,仅通过两个末端执行器目标进行指令输入。该系统利用解析可达性先验在线生成骨盆高度和躯干朝向,并通过策略闭环采样优化任务无关成本;同时学习全身顺应性以应对外部负载。

    推荐理由:OCLO 系统无需人类运动数据,通过解析可达性先验与策略闭环采样实现人形机器人全身协调与顺应控制。

  15. arXiv · 机器人与计算机视觉83

    TUCO:为 Sim-to-Real 机器人策略共训练 curated 仿真演示

    针对 Sim-to-Real 策略共训练中仿真演示价值挖掘不足及缺乏统一效用度量标准的问题,本文提出 TUCO 方法。该方法利用影响函数追踪源演示对目标域评分回滚的影响,将效应分解为整体贡献与变异性,以此构建闭环基础来衡量轨迹效用和集合覆盖率。

    推荐理由:提出 TUCO 方法,利用影响函数分解轨迹效用并优化仿真演示集,在 RoboMimic 和 OmniReset 上实现 SOTA。

  16. arXiv · 机器人与计算机视觉78

    水下六自由度 ROV 管道跟踪的强化学习与经典控制统一动力学框架

    针对水下车辆控制器训练环境与部署环境物理表示不一致导致性能无法外推的问题,本文提出了一种统一的动力学框架。该框架在 NVIDIA Isaac Sim 中为六自由度遥操作车(ROV)构建了包含真实质量、附加质量、阻尼和浮力参数的管道跟踪架构。

    推荐理由:该工作提出了一套统一的动力学框架,在 Isaac Sim 中同时验证了强化学习与经典控制算法在水下管道跟踪任务上的表现与稳定性。

  17. arXiv · 机器人与计算机视觉78

    GJK-CBF:基于 GJK 算法的凸刚体 SE(3) 空间碰撞规避控制屏障函数

    针对凸刚体避障问题,现有方法常依赖微分优化计算梯度带来开销。本文提出 GJK-CBF,利用 Gilbert-Johnson-Keerthi 算法获取见证点对并直接构建梯度,无需微分优化。该方法适用于 2D 和 3D 环境中的各类凸刚体对(至少一方严格凸),已在多机器人位置交换、三维垂直狭缝导航及机械臂操作等场景验证,实现了无碰撞运动并降低了几何近似带来的保守性。

    推荐理由:提出 GJK-CBF 方法,利用 GJK 算法直接构建凸刚体避障控制屏障函数梯度,避免微分优化开销,在 2D/3D 多场景验证了无碰撞运动。