跳到正文
arXiv · 机器人与计算机视觉· Sarthak Batra, Armin Mustafa, Adrian Hilton·· 4 小时前精选AI 评分78

基于几何引导多模态 ControlNet 的多视图 Transformer 用于 3D 虚拟试穿

Multi-View Transformer with Geometry-Guided Multi-Modal ControlNet for 3D Virtual Try-On

AI 导读

论文提出 GS-VTON-MVT 框架,旨在编辑 3D Gaussian Splatting (3DGS) 人物以使其穿着新服装时保持跨视图一致性。该方法包含三阶段:利用多视图修复 Transformer 联合编辑训练视图并学习跨视图对应关系;引入几何引导的多模态 ControlNet,结合深度和法线渲染为扩散编辑器提供结构先验;采用姿态自适应的自注意力机制替代固定的混合权重。

推荐理由

提出 GS-VTON-MVT 框架,通过多视图 Transformer 与几何引导 ControlNet 解决 3DGS 换衣的跨视图一致性问题。

来源:arXiv · 机器人与计算机视觉 · arxiv.org