通过虚拟试穿从人类视频中合成灵巧机器人演示
论文提出 RoboTryOn 框架,将人类到机器人的动作迁移类比为虚拟试穿:保留人类视频中的运动与场景,仅替换主体为指定机器人。该方法利用自回归关键帧翻译和基于手骨架的运动条件生成,结合逆动力学模型推断动作标签以辅助策略学习。实验表明,在无需真实机器人演示新任务的情况下,合成数据训练的策略在多足机器人灵巧操作等挑战任务上的平均成功率从 2% 提升至 60%,且采集成本约为纯遥操作数据的三分之一。
论文提出 RoboTryOn 框架,将人类到机器人的动作迁移类比为虚拟试穿:保留人类视频中的运动与场景,仅替换主体为指定机器人。该方法利用自回归关键帧翻译和基于手骨架的运动条件生成,结合逆动力学模型推断动作标签以辅助策略学习。实验表明,在无需真实机器人演示新任务的情况下,合成数据训练的策略在多足机器人灵巧操作等挑战任务上的平均成功率从 2% 提升至 60%,且采集成本约为纯遥操作数据的三分之一。
WayTrace 是一种连接网络地图指令与机器人运动的层级化系统。该系统利用现成的视觉语言模型读取分步导航指令、卫星地图和实时相机图像,并发出原子级语言命令(如“向左过马路”)。
该研究引入 CRONOS 仿真基准,用于评估非回合制场景下对预训练视觉语言动作(VLA)模型的微调效果。实验表明,直接微调会导致因物体配置和末端执行器姿态偏移而失效;通过针对性重置分配可缓解此问题并提升长程操作泛化能力。
论文提出一种动作条件潜变量前瞻(action-conditioned latent foresight)方法,构建潜在世界 - 动作模型以在执行前评估指令序列。
推荐理由:提出动作条件潜变量前瞻方法,在仿真与真实机器人任务中均优于基线,验证了潜在世界 - 动作模型的有效性。
论文提出 Cycle WAM 模型,旨在解决现有世界动作模型(WAM)中动作与其视觉后果缺乏一致性训练的问题。该方法将视频与动作视为由因果关系链接的成对模态,通过双向转换增强跨模态对应关系并恢复前向与逆向动力学。
针对 VLA 模型依赖昂贵真实机器人数据的瓶颈,本文提出 Action-Intent Transfer (AIT) 方法,通过两阶段流程从人类视频中提取并解耦明确的动作意图,在共享意图空间对齐人机域并将其解码为可执行动作。实验表明该方法比现有基线更有效地迁移人类知识且表现一致。
针对直接部署视觉基础模型(VFM)存在计算成本高、时序不一致及分布偏移等问题,本文提出 All-For-One 两阶段蒸馏框架。该方法在训练阶段利用 VFM 作为特权信息融合 RGB 观测以学习语义增强表示,随后将知识蒸馏至仅依赖 RGB 的轻量级学生策略网络。
针对基于相机的在线 HD 地图系统易受传感器故障影响的问题,本文提出 ReSMap 框架,将离线缓存的卫星图像作为相机失效时的冗余互补源。该框架通过预测 - 融合模块和以物体为中心的跨模态查询解码器,利用各分支的置信度进行像素级可靠性加权并合并更新,无需学习路由网络。模型在 nuScenes 数据集的所有划分及范围设置下均达到最先进性能,特别是在相机故障场景下显著提升了鲁棒性。
推荐理由:提出利用卫星图像作为相机失效时的冗余备份,在 nuScenes 数据集上实现包括相机故障场景在内的最先进性能。
针对动态驾驶场景中生成数据与现实观测差距大的问题,论文提出 ReconDreamer# 框架,实现重建与生成的自进化闭环协同及基于几何先验的自适应地面建模。在 Waymo、nuScenes 等基准测试中,该方法显著提升了三维表征能力:Waymo 数据集上横向偏移 6 米时,NTA-IoU 和 NTL-IoU 分别提升 8.8% 和 3.0%,FID 降低 15.1%。
推荐理由:提出自进化闭环框架,通过生成与重建模型互促提升动态驾驶场景的三维表征能力。
该论文提出一种实用因果推理框架,旨在解决在人类密集环境中收集因果数据困难的问题。研究通过保留高层不变因果结构,仅利用少量新观测更新参数,实现了高效的仿真到现实(sim-to-real)迁移。实验表明,该系统能高效运行于移动机器人端侧,并在复杂的人类共享场景中显著优于非因果基线,成功实现安全导航。
作者 Aman Upganlawar 分享了其在 UrbanTwin Sim2Real LiDAR Challenge V2X-Real 赛道的最终方案,该方案仅使用合成数据训练并在真实 Ouster OS1-64 雷达上评估。
推荐理由:作者分享了在 UrbanTwin 挑战赛中解决坐标系对齐、分类级 NMS 及零值点建模的三项关键工程修正,为仿真到现实的 LiDAR 检测提供了可复用的诊断思路。
论文提出 Counterfactual Spatial Imagination 概念并发布 FlowBench 资源,包含 42.8 万涵盖仿真与真实场景的训练样本及自动配对管线。在 Qwen3-VL-8B 上微调后,仿真准确率提升 29.5 个百分点且现实图像提升 16.9 个百分点;同时使 Psi-0.6 的文本到流预测准确率从 52.1% 提升至 61.7%,代码与数据集已开源。
该论文描述了作者团队在 UrbanTwin Sim2Real LiDAR 挑战赛 LUMPI 赛道的最终方案,该方案仅使用合成数据训练并在未见过的真实路边激光雷达上评估。
推荐理由:作者提出针对路边 LiDAR 小目标检测的几何修正与分布对齐方法,并分享了可预测提交分数的实验方法论。
论文 PrimeSim 提出了一种动作条件化的多视图世界模型模拟器,通过渐进式中期训练和后期训练解决动作跟随与多视图一致性难题。该模型在 30,110 小时、22 个平台的数据上预训练,支持刚性及可变形操作任务的长程仿真,并在多个基准测试中领先开源同类模型。作者发布了模型权重、推理代码及训练代码,但材料仅基于 arXiv 预印本,未提及同行评审状态或真实机器人部署结果。
推荐理由:原文给出了跨具身演示训练的世界模型架构与代码入口,相关团队可据此评估其仿真一致性与长程规划能力。
英伟达通过加速计算与物理 AI 技术,帮助工程师在芯片制造全生命周期中更快评估替代方案、预测工艺行为并优化流程。借助 cuDSS、PhysicsNeMo 等工具,COMSOL、Applied Materials 及 Siemens 将多物理场仿真速度提升最高 35 倍,部分原本需数天的等离子体建模仅需毫秒级完成。
11月3日,百度在Apollo Day上首次披露面向物理AI的智能体驱动全模态世界模型Apollo World,并提出“2+3”判断标准。该模型具备因果性与交互性,强调物理准确性、持久性和实时性。
推荐理由:百度Apollo首次披露面向物理AI的因果性、交互性驱动的世界模型,提出2+3判断标准并用于萝卜快跑全球化测试。
EduVideo2Code 方法通过分层提取实验步骤、编码为显式状态机并执行验证,解决了多模态模型难以忠实重构实验装置的难题。该方法在两个骨干模型上均提升了四项评估维度,其中装置保真度增益达 24.15 分。基准包含 218 个科学实验视频及 11,881 项评分细则,旨在为学习者提供可交互的虚拟实验环境。
PhysOmni 是一个免训练的框架,能将单张图像转换为具有物理一致性和可控性的视频。该方法通过统一的空间坐标系表示完整场景几何,解决了物体穿插和对齐模糊问题,并实现了准确的场景级多物体交互及复杂的机械控制。
论文提出 CoSMO(Conformal Semantic Mapping for Open-World Safe Robot Navigation)框架,旨在解决视觉语言模型在未知场景中构建地图时的置信度校准问题。
LM-Grasp 基准基于 1.58 万张 LINEMOD RGB-D 图像,揭示仅满足 ADD(-S) 精度标准的姿态在仿真中规划成功率仅为 0.791。该方法利用标注帧误差构建残差姿态后验,在不重训估计器前提下将仿真成功率提升至 0.859,且在遮挡场景下缩小了与标注姿态 66% 的差距。
该预印本论文提出 CamTrol++ 方法,旨在解决基于预训练视频扩散模型的单图新视角合成在大幅相机运动下的不稳定性问题。研究将相机路径拆分为每步覆盖固定旋转量的片段,使每一段处于骨干网络擅长处理的运动范围内。
该论文提出了机器人因子化世界模型(RoFacto),通过将动作实现与场景响应预测解耦:首先利用控制器和运动学将指令序列转化为无需未来状态的名义轨迹,随后通过 URDF 进行机器人渲染以显式处理几何、运动学和外观。该方法利用末端执行器深度和静态 RGB 上下文构建共享视觉接口,实验表明其优于向量条件基线,支持未见过的机器人本体迁移,并能从重定向的人类演示中生成操作视频。
推荐理由:提出将机器人动力学与渲染显式分离的世界模型架构,支持跨本体迁移及从人类演示生成操作视频。
研究团队提出 UAV-DualCog,这是首个将无人机智能体状态推理与世界状态推理进行联合评估的基准。该基准利用 SUSP 仿真平台与 DCCS 采集系统构建 4096 张图像和 2048 个视频样本,涵盖 12 个场景及共享的智能体 - 地标上下文。对 45 种多模态大语言模型的广泛评测显示,当前模型在无人机双认知任务中可靠性不足,状态推理弱于世界推理且语义回答缺乏空间时间配准。
论文提出 DAMI 框架以解决机器人模仿学习中数据稀缺与环境泛化问题。该方法结合元学习构建共享技能空间,引入视觉 - 运动轨迹模块捕捉时空动态,并利用任务条件特征调制机制协调多模态观测。实验表明其在仿真与真实环境中均优于现有基线,具备在未见任务上通过少样本微调快速适应的能力。
该论文提出 RoboSnap 框架,旨在将真实世界场景快速转化为具备物理稳定性和视觉保真度的交互式仿真环境。其核心采用分层设计,对碰撞敏感的交互区域进行精细化处理以确保机器人操作稳定,同时利用 3D Gaussian Splatting 技术保留背景外观以支持新视角下的视觉一致性。
针对工业视觉质检在新产品引入(NPI)初期缺乏标注缺陷数据的难题,本文提出了一种端到端的高保真生成框架。该方法通过解耦缺陷形态与背景外观,结合掩码文本反转、噪声混合条件生成及梯度感知后处理技术,实现了域内增强与跨域迁移。
论文提出了 CoEnv(Code-driven Exploration)框架与 CoEx 方法,旨在解决通用编码代理缺乏安全练习场的问题。该方法通过 CoEnv 将多视角 RGBD 数据重建为物理仿真的数字孪生环境,使智能体能在可执行的数字孪生中编写、调试并优化完整的多臂协作程序。
推荐理由:提出 CoEnv 框架,利用代码驱动代理在数字孪生中探索多臂协作程序,验证后转移至硬件,显著提升了无人类演示任务的成功率。
OmniGuide 提出利用任意来源的引导(如 3D 基础模型、语义推理 VLM)作为可微能量函数,显著提升 VLA 模型在复杂任务中的成功率与安全率。实验涵盖仿真与真实环境,证实该框架能匹配或超越此前针对特定引导源的方法,有效增强 $\pi_{0.5}$、GR00T N1.6 等最先进泛化策略的表现。论文已接受 CoRL 2026,项目页面提供相关代码与资源。
针对高自由度机器人在复杂环境中需同时满足多对象监控等感知约束的问题,本文提出 MOPS-PRM 这一基于路图的运动规划器。该方法将感知成本作为场景图的一部分嵌入每个物体中,在构建路图时选择性采样配置以隐式执行感知约束。实验表明,相比其他感知受限基线,该方法在平均检测对象数量上提升约 36%,跟踪率提升约 17%,且规划时间和路径长度相当。
针对现有导航基准依赖大模型生成且存在歧义的目标描述问题,本文提出了 LangMap 基准和 HieraNav 任务。该工作基于 HM3D 构建,首次通过人工验证为室内三维扫描数据添加了涵盖场景、房间、区域和实例四层语义的标注,覆盖 414 个类别及超 18K 任务。
针对严重域偏移和嵌入式计算约束下的低光照感知需求,本文提出 FAMDA 框架,将分割与深度基础模型集成到自训练中生成高质量伪标签,蒸馏至轻量级学生网络。研究在手持原型机上验证了该方法在标准合成到现实基准及实地采集数据集上的性能,实现了比直接推理更低内存占用和延迟的实用化路径。
针对视频扩散模型难以可靠遵循视场角、光圈等物理参数的问题,本文提出4D高斯光线追踪方法。该方法将多视图针孔视频重建为4D高斯并重新渲染以生成符合指定参数的物理相机效果。在CamVFX-4D基准测试中,相比MSTH方法,PSNR提升3.4 dB且渲染速度快6倍。研究展示了微调视频生成模型及扩展至单目输入等下游应用潜力。
论文介绍了 Tactile MNIST Benchmark Suite,这是一个开源且兼容 Gymnasium 的基准,旨在填补主动触觉感知领域的标准化空白。该套件包含由 CycleGAN 渲染的合成数据集和来自 3D 打印数字的真实触觉样本,支持分类、定位、姿态估计及体积估算等任务,并提供了从简单玩具环境到复杂视觉触觉传感器任务的多样化仿真场景。
HIVE-Diff 是一种事件条件化视频扩散框架,通过事件引导的时间生成与 HDR 内容补全,从单个低动态范围参考帧和事件流中重构 N 个高动态范围视频帧。该方法利用合成数据预训练并结合教师 - 学生蒸馏适应真实域,在 WACV 2027 应用赛道获接收,代码已开源。实验证明其在自主驾驶等需快速运动与极端光照场景下具备强重建质量与鲁棒性。
Taurus 通过自动化流程将 CT 主动脉标注成本降至每例 1.22 美元,仅为 Claude Opus 5.5 的 47%,同时达到同等表面平滑度与主要指标。该工具利用固定规则修正自动标注错误并引入多选项纠错机制,使专家时间从绘图转向审核。研究基于六套公开数据集(939 个卷)的盲测验证,证明自动化框架比单纯依赖大模型更能提升效率。
作者发布了 Isekai3D Synthetic Data Generation (SDG) 平台,旨在为视觉与世界模型研究提供多样化的合成游戏视觉数据。该平台结合可复用资产与 Unreal Engine 插件,采用两阶段工作流:首先进行世界仿真以记录状态、动作和相机轨迹;随后回放录制内容以生成渲染视频、图像及深度图等输出。
论文提出了 3D-BBDA 框架,旨在解决因传感器变化或环境差异导致的 3D 点云分类性能下降问题。该方法无需访问源数据或模型内部参数,仅利用黑盒输出进行伪标签引导的原型对齐和加权预测融合。
CAT-CKD 通过对比适配器训练与共识知识蒸馏,在冻结 ViT 骨干下仅需 430 万可训练参数,即无需访问源数据也能解决异构临床数据的域偏移问题。该方法在五个公开皮肤病灶数据集上平均 AUROC 达 86.1%,优于现有多源无监督域适应方法且避免灾难性遗忘。代码与论文已发布,适用于计算机视觉与医学影像分析领域。
论文研究了机械臂与操作对象之间的惯性失配对机器人策略学习的影响。研究发现强化学习能在广泛的质量组合下成功,而行为克隆在轻机器人操作重物体时更可靠;增加数据能缩小但无法消除这一差距。此外,即使机械臂重量不变,电机齿轮比导致的等效惯性增加也会降低行为克隆性能。研究提出通过选择低惯性工作空间或引导演示者采用低惯性解决方案来改善模仿效果。
Copilot Assistance Modes(CAM)框架通过体外实验对比了从手动到全自主的六种机器人导航模式。结果显示,全自主仿真成功率为 81%,但体外降至 23%;而人机共享自主模式成功率达 92%-97%,约为全自主的四倍且接近直接控制水平。研究证实,通过人机协作分配控制权可有效缓解仿真到现实的域偏移问题。