跳到正文

技术方向

仿真与数字孪生 最新动态

物理仿真、数字孪生和仿真到现实,保留物理设置、平台条件和实机迁移证据。

425 条精选近 30 天 289 条共收录 1,722 条

更新

精选归档 · 第 18 页

10月12日周一第 341–360 条
  1. 上海人工智能实验室 · 科研动态76

    上海AI实验室推出书生SCP-Lab协议以打通异构实验设备交互

    上海人工智能实验室推出“书生·端砚”科学发现平台及配套的“书生SCP-Lab”实验设备访问与协同协议,旨在破解真实物理实验室中异构设备的统一调度难题。该协议基于科学智能上下文协议(SCP),构建了连接科研智能体、实验室操作系统与本地执行层的分层架构,创新提出L1至L5五级控制粒度框架,实现从整体流程到原子动作的标准化描述。

    推荐理由:上海AI实验室推出书生SCP-Lab协议,为科研智能体提供统一设备访问与协同机制,已在9个场景验证并支持跨机构实验。

10月9日周五
  1. 量子位78

    Sharpa发布D01通用人形机器人及新一代触觉灵巧手

    Sharpa在IROS现场发布三款产品:一体式触觉感知灵巧操作机器人D01、新一代全触觉超紧凑灵巧手W02以及高保真外骨骼触感数据手套AE01。D01全身覆盖电子皮肤,采样率100Hz;W02将21个主动自由度塞入更紧凑结构,实现零抓握半径与整手触觉覆盖;AE01通过双向接口采集自然手部动作与接触反馈。

    推荐理由:Sharpa发布D01机器人、W02灵巧手及AE01数据手套,构建触觉全栈体系以解决真实场景下的接触感知与闭环控制难题。

  2. arXiv · 机器人与计算机视觉82

    信息解耦轨迹设计用于仿真到现实系统辨识

    针对采样式系统辨识中轨迹无法区分不同参数效应导致估计不可靠的问题,作者提出了基于舒尔补得分的信息解耦轨迹设计框架(IDTD)。该方法通过归一化分数、选择最优轨迹片段并聚合对数分数的方式,确保每个区间暴露的参数子集贡献明确。

    推荐理由:提出信息解耦轨迹设计框架,在多种仿真与真实机器人上降低参数识别误差并提升策略迁移效果。

  3. arXiv · 机器人与计算机视觉83

    OmniHOI:基于单目视频的灵巧手物交互研究

    论文介绍 OmniHOI 流程,旨在从单目 RGB 视频中重建手物交互的忠实轨迹并迁移至灵巧机械手。该方法在各阶段利用图像证据、接触几何和动力学约束物理一致性,直接优化对应表示以修正误差。

    推荐理由:该工作提出 OmniHOI 流程,利用单目视频重建手物交互轨迹并转移至多自由度机械手,在仿真与真实机器人上均优于现有方法。

  4. 量子位80

    MirroS发布AgentGarten:代码造世界,扩散绘现实

    MirroS团队发布AgentGarten,将可执行的代码环境与实时神经渲染器连接,实现超过30 fps的吞吐。系统通过代码裁决物理规则以避免幻觉,利用神经模型生成逼真视觉反馈,支持智能体在捉迷藏、陪伴小狗等场景中通过自我博弈与复盘手册快速掌握策略。项目提供技术报告、博客及GitHub仓库链接。

    推荐理由:MirroS发布AgentGarten,通过代码定义物理规则与神经渲染器实时生成视觉的闭环架构,支持智能体在可执行环境中边玩边进化。

  5. Hugging Face Daily Papers83

    面向物理驱动的连杆式 3D 资产生成:多智能体流水线与基准

    本文提出 Artisan 系统,通过引入多智能体流水线与物理仿真反馈,将 3D 资产生成的目标从外观复现转向运动与功能捕捉,支持无碰撞运动、重力下稳定性及准确的质材属性。

    推荐理由:提出 Artisan 系统与基准,在保持空间保真度的同时实现最低碰撞率与最高稳定性。

10月8日周四
  1. arXiv · 机器人与计算机视觉82

    失败边界学习:面向鲁棒的视觉语言动作模型研究

    论文指出监督微调后的视觉语言动作模型存在结构不对称问题,即缺乏关于成功行为失效边界的信号。为此提出 DLS 方法,基于少量真实演示与仿真协同训练构建真实接地行为先验,通过数字孪生在线策略 rollout 发现失败边界。

    推荐理由:提出 DLS 方法,利用数字孪生与语义进度信号发现并塑造失败边界,提升 VLA 模型在随机初始状态下的鲁棒性。

  2. arXiv · 机器人与计算机视觉83

    Agentic RSR:基于场景重建与执行 grounding 的机器人从现实到仿真再到现实的策略框架

    论文提出了 Agentic RSR 框架,旨在解决场景重建与策略开发分离的问题。该框架利用视频、任务描述和已知机器人模型,通过智能体恢复度量尺度并迭代优化场景,随后在 MuJoCo 中检查交互并开发从特权姿态到视觉观察的策略。

    推荐理由:提出将场景重建与策略开发通过同一任务链接的框架,在真实机器人上实现了 80% 的仿真成功率保留。

  3. arXiv · 机器人与计算机视觉82

    基于可微几何部件修复的按需机器人组装

    该论文提出了一种端到端的自主管道,用于设计和构建定制木制组件。生成式 AI 代理将用户提示转化为初始 3D 几何形状,并通过基于梯度的修复阶段调整组件几何以解决不连续和重叠问题。该方法在 60 个新自然语言输入中实现了 86.7% 的机器人螺丝刀驱动成功率,并在两个 UR5e 机器人上对其中十种结构进行了物理组装演示。

    推荐理由:提出端到端自主设计流程,通过可微几何修复显著提升了机器人组装成功率。

  4. arXiv · 机器人与计算机视觉83

    Point It, Strike It:面向变形线性物体的方向条件动态操控研究

    该论文研究了针对变形线性物体(如绳索)的动态操控问题,提出在指定终点位置及到达方向的目标设定下,通过单摆动作完成打击任务。作者扩展了 DeformX 仿真器至 DeformX2.0,引入 GPU 加速与气动模型以提升效率;提出 TRACE 方法生成带方向约束的打击数据,并训练条件流匹配策略;最后提出 RECAP 残差校准策略以适配真机参数。

    推荐理由:提出 DeformX2.0 仿真器与 TRACE、RECAP 策略,实现变形绳索打击任务从仿真到真机的跨域迁移。

  5. arXiv · 机器人与计算机视觉78

    StableGrasp:从单张图像重建物理稳定的手部抓握

    论文提出了 StableGrasp 方法,这是一个基于可微仿真优化的框架,旨在解决仅凭 RGB 图像重建物理稳定人手抓握的难题。该方法将视觉手姿与决定抓取力的控制目标显式分离,通过在可微仿真器中最小化抓取的动能来联合优化几何与控制,同时正则化以保持视觉一致性和几何合理性。

    推荐理由:提出基于可微仿真的优化框架,将视觉手姿与力学控制目标解耦,显著提升了单图重建握持的物理稳定性。

10月7日周三
  1. arXiv · 机器人与计算机视觉84

    SimToolReal:面向零样本灵巧工具操作的物体中心策略

    论文提出了 SimToolReal 框架,旨在解决机器人灵巧工具操作难题。该方法通过在仿真中程序化生成大量工具类原语,训练单一强化学习策略以实现通用目标位姿操作,无需针对特定对象或任务进行额外训练。

    推荐理由:提出 SimToolReal 方法,通过仿真生成工具原语实现零样本灵巧操作,在真实世界多任务中优于现有基线。

  2. arXiv · 机器人与计算机视觉83

    PEARS:基于物理先验的高效触觉操作策略适应方法

    针对预训练机器人策略在部署时面对分布外条件性能下降的问题,该研究提出 PEARS 框架,利用视觉语言模型编码的物理先验诊断失败原因并更新接触力边界,同时通过触觉条件的扩散引导调整冻结策略的潜在噪声以修正运动与接触时序错误。

    推荐理由:该工作提出结合物理先验推理与扩散引导的策略适应框架,在触觉操作任务中显著降低试错成本并提升成功率。

  3. arXiv · 机器人与计算机视觉78

    透过位移帧:用于视觉 - 力控精密装配的特权噪声蒸馏

    该论文针对精密装配中位姿误差导致观测与动作坐标系偏移且无法仅凭本体感知识别的问题,提出在训练阶段引入特权教师或重标演示数据以补偿缺失信息的方法。实验显示,该方法在 FORGE 基准测试中,面对 0 至 5 毫米的位姿噪声时成功率维持在 92% 至 99%,显著优于其他基线方法;在 Franka 机器人零样本部署下,面对 5 毫米噪声时的成功率为 83.3%,而最强状态基线仅为 34.4%。

    推荐理由:针对精密装配中的位姿误差问题,提出利用特权噪声蒸馏提升视觉 - 力控策略鲁棒性的方法。

  4. arXiv · 机器人与计算机视觉82

    SMART:基于大规模合成预训练的零样本仿真实物关节物体操作

    针对收集大规模实物关节物体交互演示困难的问题,作者提出 SMART 系统及其核心仿真平台 SMART-Sim。该系统利用代理任务生成与分布式合成技术,构建了包含超过 100 万次演示、覆盖 44 种原子任务类型、5 种机器人配置及 2507 个关节物体的数据集 SMART-Data。

    推荐理由:提出 SMART 系统,通过大规模合成演示实现零样本仿真到现实迁移,提升 VLA 模型在复杂接触任务中的表现。

  5. arXiv · 机器人与计算机视觉78

    超越任务奖励:一种用于评估具身依赖能力的控制器限制协议

    针对现有共设计方法仅凭单一任务奖励数值难以区分机器人本体对控制器依赖程度的问题,本文提出通过限制控制器复杂度来测量本体的固有表现力。研究在三个 EvoGym 运动任务上验证了该指标的可信度与解释性,发现几何描述符无法预测其方差,且该能力仅在声明的特定控制器家族下可被解读。

    推荐理由:提出用控制器限制协议评估机器人本体能力,发现任务奖励无法区分依赖控制器的不同形态。

  6. arXiv · 机器人与计算机视觉78

    PhysLDM:面向高保真可变形仿真的潜空间扩散方法

    PhysLDM 是首个针对体形可变形动力学的潜空间自编码器与扩散范式。该方法通过整体时空 VAE 避免标准压缩的阶梯伪影,在米级场景中实现约 2.48 毫米的重建精度和高达 78 倍的 Token 压缩率。

    推荐理由:PhysLDM 提出首个基于潜空间扩散的高保真体形变形仿真范式,在米级场景中实现约 2.48 毫米重建精度,并证明扩散模型比确定性回归更适合处理混沌动力学。

  7. arXiv · 机器人与计算机视觉85

    GaugeBench:揭示机器人描述变更对策略表示鲁棒性的影响

    论文提出 GaugeBench 基准,验证了固定机制下仅改变物理等价的描述(如关节轴方向)会导致 MetaMorph 等策略性能从 4030.6 骤降至 51.6。研究发现轴反转是主要破坏因素,而跨形态评估需同时测试机制与表示鲁棒性;通过跨等价约定训练可将轴反转下的保留回报率从 3.6% 提升至 80.6%。

    推荐理由:该研究通过 GaugeBench 揭示了机器人描述变更对策略鲁棒性的毁灭性影响,并提出了跨形态评估与训练方案。

  8. arXiv · 机器人与计算机视觉78

    Seeing the Invisible:面向温度与辐射感知的物理引导视觉提示 VLA 导航方法

    针对安全关键设施中 RGB 相机无法检测的辐射或高温风险,作者提出无需重新训练即可复用的 Physics-Guided Visual Prompting(PG-VP)模块。

    推荐理由:提出无需重训的视觉提示模块,利用虚拟障碍物引导 VLA 模型规避辐射与高温风险。

  9. arXiv · 机器人与计算机视觉82

    ReDex:通过手指级顺应性交互修复仿真到现实的灵巧操作策略

    针对仿真训练的灵巧操作策略在真实世界因接触时序和力调节误差而失效的问题,本文提出 ReDex 框架。该框架允许人类操作员在真实部署中,对选定手指进行物理修正以纠正接触失败,同时保留基座策略控制其余手指。

    推荐理由:提出 ReDex 框架,通过人机协作修正接触失败并引入触觉反馈,将物体翻转成功率从 14% 提升至 86%,为仿真策略迁移提供新路径。