跳到正文

技术方向

仿真与数字孪生 最新动态

物理仿真、数字孪生和仿真到现实,保留物理设置、平台条件和实机迁移证据。

425 条精选近 30 天 289 条共收录 1,722 条

更新

精选归档 · 第 17 页

10月16日周五第 321–340 条
  1. arXiv · 机器人与计算机视觉78

    Colon3R:基于单目结肠镜视频的跨域三维重建方法

    针对单目结肠镜三维重建中弱纹理、强反光及组织非刚性运动等挑战,该研究提出 Colon3R 框架。该方法基于预训练 VGGT 模型,利用标注的虚拟与仿真数据中的相机、深度和点云几何先验,通过教师网络生成的跨视图监督信号直接迁移至无标注的真实内窥镜视频,无需目标域几何标注。

    推荐理由:该工作提出跨域半监督框架,将标注的虚拟与仿真数据几何先验迁移至无标注的真实内窥镜视频,解决弱纹理与非刚性形变难题。

  2. arXiv · 机器人与计算机视觉85

    LEGS:通过具身高斯泼溅世界微调免遥操作 VLA 策略以实现人形机器人移动操作

    LEGS 是一种混合仿真器,将网格前景(机器人、物体)叠加到由手持拍摄重建的逼真 3D 高斯泼溅背景上。该系统利用程序化运动原语生成器在无人工遥操作的情况下合成带标签演示,并通过两阶段色彩校准对齐渲染与部署相机。

    推荐理由:提出 LEGS 混合仿真器,利用程序化生成与高斯泼溅背景替代遥操作数据,在 Unitree G1 上实现无需人工演示的策略训练。

  3. arXiv · 机器人与计算机视觉82

    Player-1:通过合成经验学习游戏控制

    该论文介绍 Player-1 框架,旨在超越演示数据限制,通过学习合成经验来提升计算机智能体的游戏控制能力。研究扩展了动作空间以支持相对指针运动和复合操作,并在 6,044 条精选轨迹上进行监督微调初始化。

    推荐理由:该工作提出 Player-1 框架,利用合成数据与复合动作提升游戏控制能力,为通用数字代理训练提供新路径。

  4. arXiv · 机器人与计算机视觉82

    Look Before You Restore:行动前预测的代理图像复原框架

    论文介绍 PreActIR 框架,该框架通过工具条件世界模型在执行前预测残差退化、图像质量及风险,并由独立验证器决定是否提交或回滚输出。实验显示,在固定候选池与预算下,该方法比试错方法减少 42.5% 真实工具调用和 63.4% 被拒绝调用,同时提升 Y-PSNR 0.92 dB。材料为 arXiv 预印本,处于审稿中。

    推荐理由:提出 PreActIR 框架,在固定候选池与预算下比试错方法减少 42.5% 真实工具调用并提升 Y-PSNR。

  5. arXiv · 机器人与计算机视觉78

    Atomic-WAM:面向世界动作模型的执行 grounded 原子运动推理

    论文介绍 Atomic-WAM,这是一个理解后执行的框架,旨在解决任务级指令对物理交互定义不足的问题。该方法利用视觉语言推理器描述局部运动以引导世界动作模型预测视频和动作片段,并通过自动标注流程从多视角 DROID 演示中获取接触丰富的监督信号。

    推荐理由:提出 Atomic-WAM 框架,通过原子运动描述连接任务推理与动作生成,在 RoboLab 上实现执行 grounded 的奖励优化。

  6. arXiv · 机器人与计算机视觉78

    ACRO:一种用于视觉语言动作策略的演员 - 评论家滚动编排层

    本文介绍 ACRO,这是一个为固定视觉语言动作(VLA)策略设计的演员 - 评论家滚动编排层,旨在决定何时继续尝试以及何时进行干预以提升成功率。该方法利用从策略滚动中学习的评论家评估成功前景以选择干预时机和重入目标,并通过轨迹回缩将机器人快速返回至该目标,使 VLA 能从新观测重新开始执行。

    推荐理由:提出 ACRO 层在固定 VLA 策略上通过轨迹回缩与干预决策提升成功率,实验覆盖仿真与真实机器人。

  7. arXiv · 机器人与计算机视觉78

    Dungeon and Visibility World Generator 开源框架发布

    Dungeon and Visibility World Generator 是一个开源框架,用于构建可复现的二维和三维环境并评估几何视线。该工具支持正交、多边形/多面体及曲线几何,涵盖六种构造家族(如分散房间、蜿蜒通道等),允许通过参数控制房间尺寸与障碍物布局。

    推荐理由:该框架提供可复现的二维三维环境生成与视线查询工具,支持多种几何类型与参数控制,适合机器人探索、覆盖及多智能体部署算法的评估。

  8. arXiv · 机器人与计算机视觉78

    Spectral World Renderer:统一 3D 高光谱解混的新方法

    针对现有高光谱解混在 3D 场景中缺乏已知成分多视图数据验证的问题,作者提出 Spectral World Renderer (SWR),通过编码智能体构建可执行的 3D 世界并使用测量光谱渲染,使每张高光谱图像均附带精确标签与亚像素比例。

    推荐理由:提出将世界生成与光谱解混统一的渲染框架,提供带精确标签的基准数据集及加速训练方案。

  9. arXiv · 机器人与计算机视觉78

    NavAble:面向盲助导航的大规模数据集与合成数据生成管线

    NavAble 是一个针对盲助导航感知的大规模数据集,涵盖 11 类无障碍关键物体(如听觉行人信号、门激活按钮等),整合了 4.1 万张精选开源图像和 8000 张新采集的密集标注真实世界图像。

    推荐理由:NavAble 数据集与合成生成管线公开,填补了盲助导航关键物体类别的数据稀缺问题。

10月14日周三
  1. Google DeepMind87

    Gemini 4 Argon 发布:物理 AI 模型解锁机器人控制与仿真构建新工作流

    DeepMind 发布 Gemini 4 Argon,该模型在 ERQA 基准测试中纯推理得分 87%,超越其他前沿模型。Argon 支持从遥操作到自主控制的闭环视觉回路,能基于真实视频或手绘草图构建物理校准的 MuJoCo 仿真双胞胎,并开放了多模态后见性标注与价值函数预测等工具。

    推荐理由:DeepMind 发布 Gemini 4 Argon,在 ERQA 基准测试中纯推理得分 87%,并开放了从代码生成到仿真构建的机器人工作流入口。

  2. 智东西 · 机器人82

    Google DeepMind 发布通用物理推理模型 Gemini 4 Argon

    Google DeepMind 正式上线通用物理推理模型 Gemini 4 Argon,该模型具备视觉语义推理、物理理解和代码生成能力。Argon 支持通过观看视频或手绘草图构建仿真环境(Real2Sim),在 MuJoCo 等环境中进行零样本控制与技能学习,并能分析操作过程以优化机器人表现。

    推荐理由:DeepMind 上线通用物理推理模型 Gemini 4 Argon,支持从视频或草图构建仿真环境、零样本控制及自我改进优化机器人动作表现。

10月13日周二
  1. Hugging Face Daily Papers78

    Evidence-First Agentic Verification:一种基于证据优先的智能体验证方法

    针对长程半可验证智能体任务依赖评分标准却易受错误报告影响的问题,研究提出 Sauron 验证器。该方法独立调查环境状态与执行轨迹,仅在验证来源后接受声明,并通过有界查询减少冗余工作。

    推荐理由:Sauron 方法在长程任务中通过独立验证证据提升评估准确率,相比基线成本更低且抗攻击性强。

10月12日周一
  1. arXiv · 机器人与计算机视觉82

    Splat2Act:从捕获场景到个性化 VLA 操作

    针对通用操作策略在用户家中零成功率且采集演示成本高昂的问题,该研究提出 Splat2Act 自动化实到仿再到实流程。该方法利用手持设备扫描与物体图片构建包含碰撞几何的逼真数字孪生,自动发现收纳位并生成成功演示。在 101 个校园环境中,策略经两阶段微调后,目标场景整体拾取成功率达 62.5%,真实机器人部署子集任务成功率为 63.9%。

    推荐理由:该工作提出自动化实到仿再到实的流程,仅凭手机扫描与物体图片即可将通用 VLA 策略个性化至特定场景。

  2. arXiv · 机器人与计算机视觉83

    Chronos Policy:在物理时间上学习机器人策略

    针对现有机器人策略将物理时间隐含于序列位置的问题,本文提出 Chronos Policy,通过在扩散 Transformer 中显式利用观测捕获时间和动作执行时间来增强鲁棒性。

    推荐理由:提出显式利用物理时间条件的机器人策略方法,通过时间感知 RoPE 提升动态任务鲁棒性。

  3. arXiv · 机器人与计算机视觉78

    SimVTA:基于仿真的视频 - 轨迹对齐用于驾驶世界动作模型

    针对驾驶世界动作模型(WAMs)在强化学习后训练阶段缺乏替代轨迹视觉监督的问题,本文提出 SimVTA 框架。该方法结合轨迹优化与视频监督,利用真实世界模拟器渲染高奖励候选轨迹的未来视频,并在有限渲染预算下优先处理高误差未来以更新共享表征。

    推荐理由:提出 SimVTA 框架,利用仿真生成视频监督以解决驾驶世界动作模型的轨迹规划问题。

  4. arXiv · 机器人与计算机视觉78

    ELMA:用于长期文本到动作生成的指代性组合基准

    本文介绍 ELMA,一个具有密集分段注释的长期动作生成数据集,旨在解决现有模型难以处理涉及指代关系的跨段约束问题。研究团队通过全自动管道从网络视频中提取高质量连续 30 秒片段,并微调了最先进的动作生成模型以融入长程上下文。

    推荐理由:ELMA 数据集与基准揭示了现有模型在处理长程指代性指令时的不足,为长期动作生成提供了新的评估标准。

  5. arXiv · 机器人与计算机视觉78

    EndoRSI:基于物理证据的内窥镜机器人策略递归改进

    EndoRSI 是一个由嵌入式 EndoForge 编码代理驱动、以物理实验证据进行递归自我改进的人机共驾内窥镜机器人研究系统。物理执行在安全受限运行时且经人类授权下进行。

    推荐理由:该工作提出由嵌入式代理驱动、以物理实验证据递归改进内窥镜机器人策略的系统,展示了从初始失败到最终在六例离体猪标本中表现最优的自主策略演进过程。

  6. arXiv · 机器人与计算机视觉78

    VideoAWR:通过解耦时间步优势加权校正强化视频流模型

    该论文针对基于回归的 RL 在流模型中面临的冷启动病理与几何引导爆炸问题,提出 VideoAWR 方法。该方法通过将采样与优化锚点解耦,利用 EMA 参考策略生成引导式 rollout 恢复奖励可分性,同时训练策略对无引导条件锚点进行校正。

    推荐理由:提出 VideoAWR 方法解决视频流模型优化中的冷启动问题,实现单分支推理且保留 CFG 语义。

  7. arXiv · 机器人与计算机视觉82

    Grounded-Dreamer:基于世界模型合成数据的机器人学习框架

    论文介绍 Grounded-Dreamer 框架,旨在解决机器人操作策略学习中大规模多样化动作标注数据稀缺的问题。该方法结合视频生成模型的视觉真实性与仿真器的物理引擎,从少量描绘任务初始状态的真实图像出发,自动重建任务相关物体和相机几何并在仿真中对齐,进而收集符合物理规律的轨迹。

    推荐理由:该工作提出利用视频世界模型与物理引擎结合,从少量真实图像生成带物理约束的操作数据以训练策略。

  8. arXiv · 机器人与计算机视觉78

    基于世界模型的采样运动规划方法

    论文提出利用视觉世界模型作为树搜索传播器的采样运动规划方法,解决传统优化器在长视界任务中停滞的问题。作者设计了最近邻引导的 RRT 和投影基 KPIECE 两种探索策略,并在四个仿真域及真实推方块任务上验证了该方法在规划时间和成功率上的优势。

    推荐理由:针对长视界任务中优化器停滞问题,提出将采样策略应用于世界模型潜在空间的方法,在仿真与真实机器人实验中均优于传统基线。