跳到正文

技术方向

仿真与数字孪生 最新动态

物理仿真、数字孪生和仿真到现实,保留物理设置、平台条件和实机迁移证据。

425 条精选近 30 天 289 条共收录 1,722 条

更新

精选归档 · 第 11 页

10月27日周二第 201–220 条
  1. arXiv · 机器人与计算机视觉82

    Crazyflow:一款准确、GPU 加速且可微分的无人机仿真器开源发布

    Crazyflow 是一款旨在推动空中机器人算法开发的统一仿真平台,结合高保真动力学与 JAX 框架实现高速与可微分性,支持百万级环境并行及数千架无人机集群。实验表明其支持无需域随机化的分析梯度策略学习与采样避障,并实现了飞行中强化学习:将物理无人机抛起后仅用 0.37 秒即可训练出恢复策略并将其接住。该工具作为开源资源,为合成数据生成及在线优化提供了新能力。

    推荐理由:Crazyflow 提供 GPU 加速的可微分无人机仿真器,支持百万级环境并行与飞行中强化学习,为空中机器人算法开发提供新资源。

  2. arXiv · 机器人与计算机视觉82

    RoboEvolve:基于有限数据的机器人操作规划器 - 模拟器协同进化框架

    该论文介绍 RoboEvolve 框架,通过耦合视觉语言模型(VLM)规划器和视频生成模型(VGM)模拟器构建相互强化的协同进化循环。系统利用无标签种子图像启动自进化,采用认知启发的双阶段机制:日间探索促进物理基础的行为发现,夜间巩固挖掘“差一点成功”的失败案例以稳定策略优化。

    推荐理由:提出 VLM 规划器与视频生成模拟器协同进化的框架,利用无标签种子图像实现数据高效训练并提升底层控制成功率。

  3. arXiv · 机器人与计算机视觉82

    未知动态环境下的可见性感知移动抓取研究

    针对未知且动态环境中机器人需利用有限视场摄像头接近并抓取目标物体的场景,提出统一系统以运行时强制执行可见性约束。该系统包含速度感知注视策略、分层子目标策略及实时全身规划器。

    推荐理由:提出统一系统,在动态环境中通过视线策略与全身规划器解决可见性约束,相比解耦方案显著提升成功率并降低碰撞。

  4. arXiv · 机器人与计算机视觉82

    面向鲜活世界的创作:基于工具约束的 LLM Agent 用于可执行的多角色场景

    论文提出利用工具约束的 LLM Agent(Director 和 Scene Builder)在仿真引擎中构建可执行的多角色时空事件图,解决了标准流水线无法追踪动态世界状态的问题。实验显示,该框架生成的规范执行率为 80%,且能准确重构原始场景的事件、参与者及顺序,相关成果已获 ECCVW 2026 录用。

    推荐理由:提出工具约束的 LLM Agent 框架,将多角色场景构建为可执行的时空事件图,解决了标准流水线无法追踪动态状态的问题。

  5. arXiv · 机器人与计算机视觉82

    为规划而适配:乐观的测试时世界模型适配方法

    论文提出了Optimistic Test-Time Adaptation (OpTTA) 方法,旨在解决潜伏世界模型在测试时冻结导致分布偏移下规划性能下降的问题。

    推荐理由:提出OpTTA方法,通过引入规划目标项优化测试时适应策略,在多项任务中将最终规划成功率平均提升13.5个百分点。

  6. arXiv · 机器人与计算机视觉78

    内在目标驱动下的自主智能体:分层探索捕捉果蝇的未来意愿动作

    arXiv 论文提出结合果蝇全脑记录与神经机械数字孪生的研究框架,测试优化内在目标是否能生成与果蝇行为及内部表征相匹配的人工智能体。研究采用 DIAYN 等算法训练无外部奖励的智能体,在虚拟系留球实验中成功复现了果蝇的自发运动统计特征、内部表征编码及未来转向预测能力,表明分层内在动机框架是逆向工程动物自主性的有力工具。

    推荐理由:该研究利用果蝇全脑记录与神经机械数字孪生,验证了基于内在动机的分层策略能复现生物自主探索行为。

  7. arXiv · 机器人与计算机视觉78

    EAST:基于数字孪生的具身智能安全测试系统

    EAST 是一个数字孪生框架,旨在解决仅以任务成功衡量具身智能安全性不足的问题。它将文献中的安全隐患转化为涵盖感知、指令、环境、动作和时序的故障注入测试。该框架包含专家审核的安全故障分类学和八个可执行算子,通过三阶段工作流生成测试规范并验证故障实现。

    推荐理由:该框架将文献中的安全隐患转化为数字孪生环境下的故障注入测试,能独立评估任务成功背后的安全风险。

  8. arXiv · 机器人与计算机视觉78

    Replicate What Varies:面向域随机化具身仿真的资源共享系统 Patchwork

    论文提出 Patchwork 系统,旨在解决并发运行多个具身仿真环境时因独立构建场景而导致的 CPU 和 GPU 内存占用过高问题。该系统基于 E=T+Δ表示法,将共享模板(包含公共资源)与补丁(记录目标环境的变异)分离,在 robosuite 和 MuJoCo 框架上实现了资源共享运行时。

    推荐理由:提出 Patchwork 系统,通过模板与补丁分离机制共享资源,在 robosuite 和 MuJoCo 上实现多实例 CPU 内存占用降低 88-92%。

  9. arXiv · 机器人与计算机视觉82

    OSWAM:一种具备一步动作生成的有效世界动作模型

    arXiv 论文 OSWAM 针对直接策略世界动作模型需多步去噪导致高延迟的问题,提出通过构建想象 token 初始化扩散过程以提供物理先验,并引入未来条件特权信息蒸馏。实验表明该模型在自动驾驶和具身控制任务上能达到甚至优于需要数十步的基线方法,实现约 3 倍加速,并在 NVIDIA RTX 5090 GPU 上将延迟降至 40ms,支持实时编译推理。

    推荐理由:该工作提出 OSWAM,通过引入想象 token 和特权信息蒸馏实现一步生成,在自动驾驶与具身控制任务上达到多步基线水平并将推理延迟降至 40ms。

  10. arXiv · 机器人与计算机视觉85

    Pretraining Knows What, Simulation Teaches How: Compositional Generalization for Agentic Robotics

    论文介绍 Zero-real Agent Policy (ZAP) 方法,利用预训练的 27B 参数模型进行世界理解推理,再通过仿真任务监督微调与 GRPO 训练运动策略。该方法无需真实机器人数据即可在现实任务中达到 96.7% 成功率,并展现出对新物体、目标及未见物理形态的泛化能力。

    推荐理由:提出 ZAP 方法,利用预训练大模型理解任务并通过仿真学习运动策略,在无真实数据训练下实现高成功率与强泛化。

  11. arXiv · 机器人与计算机视觉78

    受限 arena 内微型振动驱动机器人集群的分布式预测 flocking 控制研究

    该论文提出了一种分布式预测 flocking 控制器,用于在无领导者或全局地图的情况下协调大量微型机器人。研究在数字孪生环境中对比了六种屏障函数安全公式,发现离散时间 CBF 在多种任务(如趋光性、轨道运行)和不同集群规模下表现最佳,能有效平衡安全性与秩序。材料仅基于仿真结果,未涉及真实物理部署或量产数据。

    推荐理由:原文在数字孪生环境中对比了六种安全约束公式,发现离散时间 CBF 在密集集群中碰撞最少且协调性最佳。

  12. arXiv · 机器人与计算机视觉78

    VisGeo-PipeTrack:一种用于无人机动态管道跟踪的视觉几何伺服控制框架

    针对无人机在工业环境中对动态移动管道(如振动)的跟踪难题,本文提出 VisGeo-PipeTrack 伺服控制框架。该框架利用 YOLOv5 检测管道标签并结合视觉几何约束实现精准定位,同时设计基于模型预测控制的实时修正自适应 PID(MPC-RCAPID)控制器以应对跟踪挑战。

    推荐理由:提出 VisGeo-PipeTrack 框架,结合视觉几何约束与 MPC-RCAPID 控制器实现无人机对动态管道的自主跟踪。

  13. arXiv · 机器人与计算机视觉78

    Zero-HLM:无需真实机器人数据的通用类人机器人行走操作框架

    论文提出 Zero-HLM 框架,旨在解决类人机器人行走与操作泛化受限于昂贵真实演示的问题。该方法通过高斯引导的智能体重建将手机捕获数据对齐至物理场景,并利用运动与环境共适应机制修正全身参考与交互几何。

    推荐理由:提出 Zero-HLM 框架,利用手机数据与仿真生成零样本迁移演示,将 Unitree G1 任务成功率从 46.7% 提升至 66.7%,无需额外真实机器人数据。

  14. arXiv · 机器人与计算机视觉78

    无 GNSS 环境下无人机群搜索的不确定性感知方法

    该论文研究了在无 GNSS 海洋环境中无人机群的协同搜索问题,其中无人机间测距驱动合作定位,不确定性沿多跳参考链传播,影响连通性、避撞和搜索效果。作者提出一种不确定性感知控制屏障函数框架,通过费希尔信息矩阵近似级联定位协方差,将协方差模型及其变化率纳入连通性和避撞的约束边界中,并采用分层 Voronoi 目标策略保持队形。

    推荐理由:提出不确定性感知控制屏障函数框架,解决无 GNSS 环境下无人机群协同定位误差累积问题。

  15. arXiv · 机器人与计算机视觉78

    SceneAgent:从三维及四维捕获到仿真环境的代理流水线

    论文介绍 SceneAgent,这是一个通过基于模拟器的视觉检查与修复来协调对象重建、物理建模和中间误差校正的代理流水线。它能处理 3D Gaussian Splatting、摄影测量、LiDAR 捕获、AI 生成的 3DGS 场景以及动态场景的 4D 视频,并结合对象分割、物理参数估计、部件分解、铰链连接和可变形仿真。

    推荐理由:该工作提出 SceneAgent 代理流水线,将多种视觉捕获转化为可交互仿真环境并生成数字孪生体与演示数据,显著提升了策略学习基线。

  16. arXiv · 机器人与计算机视觉78

    从 Sentinel-2 到 1 米影像:基于视觉自回归模型的现实世界×10 跨传感器超分辨率

    该研究针对 Sentinel-2 重访影像与高分一号(Jilin-1)1 米参考影像间的十倍跨传感器超分辨率难题,构建了包含 1.15 万对地理匹配场景的基准数据集。

    推荐理由:提出 CrossVAR 模型,在 Sentinel-2 与 Jilin-1 卫星数据间实现十倍跨传感器超分重建。

  17. arXiv · 机器人与计算机视觉83

    LLM4Robot-Bench:GPT-6 Astra 在机器人操作中的极限有多远?一个分层配对仿真 - 现实基准

    作者引入了 PhysLadder,这是一个用于评估富接触操作中物理交互能力的分层 Sim-Real 基准。其包含的 16 个家庭任务跨越三个累积层级:接触选择与几何对齐(L1)、持续接触内的力调节(L2)以及协调接触重构与力调节(L3)。

    推荐理由:该基准通过分层任务量化了 GPT-6 Astra 在接触密集操作中的能力边界,揭示了从几何对齐到力调节的退化规律。

  18. arXiv · 机器人与计算机视觉83

    HumanoidNDM:通过人形神经动力学模型弥合运动跟踪的训练与部署差距

    针对人形机器人在真实部署中因物理扰动或仿真不准导致的训练 - 部署差距问题,本文提出 HumanoidNDM 在线微调框架。该方法在数据采集阶段引入低频自适应参考扰动机制,在模型训练阶段利用可微前向运动学构建基于本体的神经动力学模型以消除对昂贵动作捕捉系统的依赖,并在策略微调阶段通过反向传播梯度直接优化策略。

    推荐理由:提出首个无需动作捕捉的在线微调框架,通过本体感知神经动力学模型实现人形机器人对扰动的快速适应。

  19. arXiv · 机器人与计算机视觉83

    X-World:将视频先验迁移至可变视角机器人控制框架

    该论文提出了 X-World 框架,旨在解决将视频扩散模型生成的交互表示迁移到机器人控制的问题。方法上,通过残差跨视角注意力分支扩展预训练视频骨干网络以支持一到三个视角,利用层对齐的 Q-Former 聚合特征,并通过数据集特定模块映射原生状态与动作接口至共享动作专家。

    推荐理由:该框架将视频先验通过固定长度 token 序列迁移至共享动作专家,在 LIBERO 基准上达到 98.5% 成功率,并展示了跨视角融合与去耦训练对真实双臂任务的效果。

  20. arXiv · 机器人与计算机视觉78

    基于 RGB-D 的移动端机器人实时行人轨迹预测:TrajMamba 模型

    针对移动机器人在动态环境中导航的短时段行人轨迹预测任务,该研究提出 TrajMamba 模型以解决传统方法中训练数据理想化与推理端传感器噪声之间的分布差异。模型采用单一路径处理姿态提取、深度反投影及平滑过程,利用堆叠双向 Mamba 块编码髋部中心速度并配合 GRU 头解码未来速度。

    推荐理由:该工作提出轻量级双向状态空间模型解决训练部署分布差异,在移动机器人上实现实时行人轨迹预测。