arXiv · 机器人与计算机视觉· Riccardo O. Feingold, Davide Liconti, Chenyu Yang, Robert K. Katzschmann·· 2026-10-06AI 评分70
Mask2Real-WM:基于分割掩码的灵巧可控世界模型及仿真到现实桥梁
Mask2Real-WM: Controllable Dexterous World Models via Segmentation Masks as a Sim-to-Real Bridge
AI 导读
Mask2Real-WM 是一个两阶段世界模型,通过将像素预测解耦为动力学模型和渲染模型来提升灵巧操作的可控性。动力学模型利用大量合成数据学习手部运动与交互的未来分割掩码,渲染模型则将掩码转换为逼真 RGB 图像。研究在 23-DoF 机器人系统上对比了五种模型,结果显示该解耦设计实现了最强的每自由度可控性,且仅在 2.5 小时真实演示微调后便获得显著增益,同时生成了更清晰的帧并保持感知质量相当。
来源:arXiv · 机器人与计算机视觉 · arxiv.org