跳到正文

技术方向

仿真与数字孪生 最新动态

物理仿真、数字孪生和仿真到现实,保留物理设置、平台条件和实机迁移证据。

425 条精选近 30 天 289 条共收录 1,722 条

更新

精选归档 · 第 16 页

10月19日周一第 301–320 条
  1. arXiv · 机器人与计算机视觉78

    PASS:一种用于 CAT III 完整性算法开发的可信精密进近仿真系统

    针对固定翼飞机进近着陆阶段对可靠定位及完整性(trustworthy outputs)的需求,本文提出 PASS 系统。该系统在统一时空框架下集成可配置机场环境、规定轨迹、惯性模拟、标定立体图像及连续跑道相对真值,支持可控传感器误差与环境变化以生成用于算法开发的测试数据。

    推荐理由:该工作提出可控的进近仿真系统 PASS,支持 CAT III 完整性算法开发,并引入 SRST 指标量化仿真与现实的差距。

  2. arXiv · 机器人与计算机视觉83

    Scaling Online Exploration for Robot Agents:RAX 框架发布

    论文介绍 RAX(Robot Agent eXploration)开源框架,旨在通过在线探索扩展机器人智能体能力。该框架利用通用代码生成智能体编写控制代码,无需动作演示数据或人工设计的动作基元。研究在仿真和真实机器人上验证了其在单臂、双手、灵巧操作及人形系统上的表现,结果显示在未见环境中泛化性能随探索规模提升,且自主学习能力优于现有基线模型。

    推荐理由:RAX 框架通过在线探索与代码生成实现无演示数据训练,在仿真与真机上均优于基线模型并涌现出主动感知等能力。

  3. Hugging Face Daily Papers82

    野外通用计算机操作智能体环境合成:基于 Agent 的世界模型

    论文提出 Agent World Model in the Wild (WildAWM),这是一个完全由开源模型驱动的流水线,用于合成可控的图形用户界面、模型上下文协议服务和命令行接口联合支持的执行环境。

    推荐理由:提出全开源的 WildAWM 环境合成管线,生成需百步以上解决的长程任务以训练通用计算机操作智能体。

10月16日周五
  1. Hugging Face Daily Papers83

    FDE-Gym:AI 交付的最后一步——揭示真实客户交付中的能力缺口

    论文介绍 FDE-Gym 基准,包含来自 18 个行业、20 种场景的 95 项端到端交付任务,模拟具有脚本化利益相关者和可修改系统的生产环境。评估显示,在需发现未声明约束的真实设置中,最佳配置平均得分为 0.56,仅解决 14 项任务;即使获取所有关键事实,能实现高业务提升的任务也仅有 10 项。

    推荐理由:该基准通过模拟真实交付场景,揭示了模型在发现未声明约束时的性能瓶颈及从事实到有效解决方案的差距。

  2. arXiv · 机器人与计算机视觉82

    SADGE:一种无需下游训练即可预测合成图像数据集性能的跨域相似度度量方法

    论文提出 SADGE 指标,用于在不进行下游模型训练的情况下预测合成图像数据集在常见计算机视觉任务中的表现。研究指出仅凭外观或几何相似度无法可靠预测性能,二者需通过非线性交互共同作用。

    推荐理由:提出 SADGE 指标,证明外观与几何相似度的非线性交互能预测合成数据在检测、分割等任务的下游性能。

  3. arXiv · 机器人与计算机视觉78

    SHRED:无需专家演示的异质道路用户自博弈框架

    该论文提出了 SHRED 框架,通过大规模异质性自博弈联合训练车辆、行人和骑行者,无需依赖人类驾驶演示或轨迹回放。实验显示,该方法在 Waymo Open Sim Agents Challenge 中优于无演示基线及参考策略方法,且在 nuPlan 地图几何零样本评估下保持真实感;在交互密集的 InterPlan 基准上规划性能全面领先。消融研究表明自博弈中的异质性显著提升了交通真实性和规划效果。

    推荐理由:提出无需专家演示的异质交通参与者自博弈框架,在仿真挑战中优于基线并提升规划性能。

  4. arXiv · 机器人与计算机视觉82

    T2-z:通过测试时优化环境潜变量实现机器人世界模型的自适应

    论文介绍 T2-Z 方法,该方法为机器人世界模型引入可学习的无监督环境潜变量,在训练阶段交替优化动力学与潜变量结构,在测试阶段仅凭少量交互即可适配新环境。实验显示,该方法在仿真和真实任务中将物体预测误差从 15.20 降至 7.00,动作成功率从 33.73% 提升至 72.96%,且能高效捕捉环境与物理因素的联合表征。

    推荐理由:该工作提出在测试时优化环境潜变量以适配未见过的环境配置,显著降低预测误差并提升任务成功率。

  5. arXiv · 机器人与计算机视觉83

    CoDA:数据引擎与动作策略的协同进化框架

    论文介绍 CoDA 框架,解决生成式仿真环境物理有效但不利于训练的问题。该框架通过共享异构记忆实现仿真数据引擎与动作策略的协同进化,利用视觉语言批评将验证后的诊断转化为重建困难和辅助训练的生成程序。

    推荐理由:该框架通过共享记忆让仿真引擎与策略协同进化,利用视觉语言批评生成针对性训练程序,在四个操作任务家族中将分布外成功率从 5.3% 提升至 27.6%。

  6. arXiv · 机器人与计算机视觉82

    Sim-to-Real 强化学习实现水培生菜采摘的路径安全目标到达

    arXiv 论文介绍了一种名为 PSA-PPO 的目标条件化局部到达框架,专为温室 NFT 水培生菜采摘设计。该研究在 Isaac Lab 仿真环境中完全训练了策略,无需真实世界微调即成功迁移至物理 UR10e 机械臂。

    推荐理由:该研究提出了一种用于温室水培生菜采摘的强化学习框架,在仿真中训练后直接迁移至真实机械臂,实现了高成功率与低抖动。

  7. arXiv · 机器人与计算机视觉78

    面向人机共存的无人机轻量级 LLM 推理导航方法

    针对传统感知规划栈将行人、车辆和墙壁等同处理的缺陷,该研究提出一种模块化全机载管道,利用共享 BLIP 编码器生成场景描述与分割,结合深度信息在三维空间定位障碍物。

    推荐理由:该工作提出在 Jetson Orin NX 上运行的轻量化 LLM 导航方案,通过缓存推理与检索增强实现人感知的安全避障。

  8. arXiv · 机器人与计算机视觉78

    Plans Are Not Executions: Adapting Frozen World-Model Planners to Controller-Induced Execution Shift

    论文指出世界模型规划器在部署时面临计划轨迹与实际执行不一致的问题,直接替换预测轨迹效果有限。作者提出 ExecutionBridge 方法,通过推断控制器特定的执行特征来适配原生自我潜变量展开,同时保持原计划轨迹和冻结的规划器、世界模型及奖励头不变。该方法在 NAVSIM 基准上对未见过的控制器配置和多款冻结规划器均能提升规划性能,尤其在驾驶场景复杂时增益显著。

    推荐理由:针对冻结的世界模型规划器与控制器执行偏差问题,提出 ExecutionBridge 方法以适配执行特征。

  9. arXiv · 机器人与计算机视觉78

    Comfortably Stuck:Bench2Drive 闭环评估协议的陷阱与修正方案

    论文指出 Bench2Drive 基于 CARLA 的闭环评估协议存在严重缺陷:其舒适度指标因实现错误和奖励静止的策略,导致评分与实际驾驶表现相关性极低;导航信号供给机制也存在控制器替换转向及训练/测试目标点不一致的问题。作者通过实验验证了这些陷阱对 UniAD 等模型的影响,并发布了独立的修正代码,允许在不重新运行仿真复现的情况下获取更准确的舒适度分数。

    推荐理由:原文指出 Bench2Drive 闭环评估协议存在指标实现错误与导航信号供给缺陷,导致评分失真,并提供了修正后的距离基线代码。

  10. arXiv · 机器人与计算机视觉78

    CarryOn:一种用于个性化与可靠机器人辅助的双环框架

    针对通用视觉语言动作模型缺乏个性化与可靠执行的问题,本文提出了 CarryOn 双环框架以增强冻结的 VLA 策略。规划环通过持续结合用户偏好与场景上下文实现个性化任务选择;执行环主动监督策略 rollout 并屏蔽危险接触,在失败时调用可复用的控制恢复技能。实验表明,该系统将已安全微调 VLA 的安全违规率从 52.6% 降至 6.1%,并将故障恢复成功率从 13% 提升至 80%。

    推荐理由:该工作提出双环架构,在真实机器人与仿真环境中显著降低安全违规率并提升故障恢复成功率。

  11. arXiv · 机器人与计算机视觉78

    LICOA:面向移动空间增强现实的指令条件光学动作学习

    该研究提出 LICOA 框架,将投影光定义为具身动作,通过差速底盘与双自由度转向镜实现大范围移动与局部光束控制。作者构建了包含 150 个任务、7,500 个渲染集成的仿真语料库,并在真实环境中进行了 480 次闭环执行测试。

    推荐理由:构建了移动空间增强现实平台与指令条件光动作模型,在真实环境中验证了将投影光作为具身动作的可行性。

  12. arXiv · 机器人与计算机视觉78

    SOMA:利用四足机器人进行物体堆叠的全身非抓持操作

    针对缺乏专用机械臂的四足机器人在不可预测环境中执行重型物理操作的挑战,本文提出了 SOMA 框架。该框架通过分层强化学习实现全身非抓持的多物体堆叠操作,整合了显式的机器人底座高度控制以解锁全三维推搡策略。

    推荐理由:提出基于四足机器人的全身非抓持堆叠操作框架,在仿真中实现高成功率并验证了零样本仿真到现实迁移。

  13. arXiv · 机器人与计算机视觉78

    Race to Recovery:基于自动驾驶赛车学习的先进安全系统设计

    针对电子稳定控制系统难以处理打滑、水滑或急避导致的失控问题,该研究提出通过强化学习训练漂移策略并迁移至最小时间恢复任务的方法。作者定义了基于相平面的稳定平衡点作为恢复标准,开发了 Gym-Khana 用于控制器训练与评估。

    推荐理由:该研究通过强化学习训练漂移策略并迁移至恢复控制,在物理 F1TENTH 平台上验证了比传统方法更优的失控恢复能力。

  14. 智东西 · 机器人82

    斯坦福和哥伦比亚大学发布机器人灵巧操作框架DexAgent

    斯坦福大学和哥伦比亚大学联合发布了基于自进化工具库的机器人灵巧操作框架DexAgent,由李飞飞、吴佳俊等参与研究。该框架能将单条人类第一视角视频转化为多样化的机器人训练数据,在仿真环境中重建物体物理交互并生成复合物理约束的运动轨迹。

    推荐理由:斯坦福与哥伦比亚大学联合发布DexAgent框架,利用AI Agent将人类视频转化为符合物理规律的训练数据,在11项真实任务中平均成功率达63.6%,是基线模型的3.5倍。

  15. 上海人工智能实验室 · 科研动态82

    上海 AI 实验室发布书生-S2 多模态大模型并破解三维 Ghys 猜想

    上海人工智能实验室访问学者许地生团队依托书生科学多模态大模型 S2,基于通专融合技术路径与人机协同模式,完成了困扰数学界三十余年的三维 Ghys 猜想证明。北京大学董彬教授、刘若川院士团队利用 SHEAF 框架对论文全部四个主定理完成形式化验证,证明已通过 Lean 检验。

    推荐理由:书生-S2 多模态大模型依托人机协同攻克三维 Ghys 猜想,形式化代码已公开,展示了国产模型在长程推理与科研级数学任务上的新能力。

  16. arXiv · 机器人与计算机视觉82

    无需重训的类人机器人行为基础模型测试时计算优化方法

    针对现有类人机器人行为基础模型在执行运动时存在指令执行偏差的问题,该方法提出了一种无需重新训练即可通过测试时计算来改善执行的策略。首先引入测试时命令优化技术,利用闭环仿真对基础模型和机器人动力学进行基于采样的优化,从而调整输入命令以生成更接近期望轨迹的执行结果;在 AMASS 数据集上的三个基础模型实验中,该方法将平均全身位置误差降低了 79% 至 84%。

    推荐理由:提出无需重训即可通过测试时计算优化命令以缩小执行偏差,并在仿真与真机上验证了提升全身定位精度的有效性。

  17. arXiv · 机器人与计算机视觉78

    RealityBench:基于仿真环境的 VLM 人类体力工作文档化能力评测基准

    RealityBench 是一个在 Blender 中构建的包含十一类物理工作环境(如屋顶太阳能安装、车辆维修)的评测基准,旨在评估视觉语言模型记录人类体力工作的能力。

    推荐理由:该研究在 Blender 中构建了十一类物理工作场景,对 26 个 VLM 模型进行文档化能力评测,揭示了其在读取测量值和判断空间关系上的短板。