AI一键换衣：开源虚拟试穿项目IDM-VTON介绍与使用

视觉/图像重磅干货，第一时间送达!

导 读

本文主要对开源虚拟试穿项目IDM-VTON做简单介绍与使用演示。

IDM-VTON简介

随著电子商务及科技的快速发展，线上购物已成为不少人生活的一部分。最近，一款虚拟试衣技术 IDM-VTON 引起广泛关注，这项技术透过改进扩散模型，为使用者带来真实试穿体验。

什么是 IDM-VTON 技术?

IDM-VTON 是一种基于扩散模型的虚拟试穿技术，由 KAIST 和 OMNIOUS.AI 共同开发。

IDM-VTON 透过改进扩散模型，增强虚拟试穿任务中的影像保真度和细节保留，特别是在真实世界场景中产生高保真度的虚拟试穿图像。

IDM-VTON 透过分析人物和服装的图像，即使在复杂背景和多样姿势下，IDM-VTON 也能保持服装的细节特征，产生逼真的试穿效果。

IDM-VTON 技术优势

1. 双重编码模组

使用两个不同的模组来编码服装图像的语义，给定扩散模型的基础 UNet，将从视觉编码器提取的高级语义融合到交叉注意力层，进一步提升影像的细节品质。

2. 文字提示增强

将从并行 UNet 提取的低级特征融合到自註意力层层，并为服装和人物图像提供详细的文字提示，以增强生成视觉效果的真实性。

3. 客制化方法

提出一种使用一对人物服装图像的客制化方法，以提高了保真度和真实性。

4. 野外虚拟试穿场景

IDM-VTON 特别针对现实世界的应用场景进行了优化，即使在复杂的背景和多样的姿势下，也能产生高品质的试穿影像。

IDM-VTON 应用场景

IDM-VTON 的应用场景广泛，对消费者而言，IDM-VTON 技术开启全新的线上购物体验，让他们可以在家中轻松试穿各种服装。

对时尚设计师和零售商而言，在电子商务网站线上提供试穿服务，不仅能够降低库存成本，提高销售效率，提升购物体验和客户满意度，协助时尚设计师预览新设计在不同体型上的效果，还能减少实体试衣间的需求，从而节省空间和运营成本。

IDM-VTON 在保留服装细节和生成真实的虚拟试穿图像方面 (无论是定性还是定量) 都优于以前的方法 (基于扩散和基于 GAN)。IDM-VTON 代码已经开源，其程式码已在GitHub 上公布，为电子商务平台提供了巨大的应用潜力。

使用演示

论文地址：

https://arxiv.org/pdf/2403.05139v2

论文官方实现github地址：

https://github.com/yisol/IDM-VTON

在线体验地址(不仅可以换衣服，还可以换发型和胡须)：

https://huggingface.co/spaces/yisol/IDM-VTON

当然也可以本地部署，有兴趣的朋友可以自行尝试。