两张图丢进去,一次拿回四张试穿候选:用 OOTDiffusion 做虚拟试穿
【免费下载链接】OOTDiffusion[AAAI 2025] Official implementation of "OOTDiffusion: Outfitting Fusion based Latent Diffusion for Controllable Virtual Try-on"项目地址: https://gitcode.com/GitHub_Trending/oo/OOTDiffusion
打开 OOTDiffusion 自带的 Gradio 界面,左边放一张模特图,右边放一张服装平铺图,点下 Run,几轮采样后右侧画廊里就出现四张虚拟试穿候选。这是 Xiao-i Research 出品、被 AAAI 2025 接收的潜扩散虚拟试穿模型:模特不用换,只换服装图,人保持原样。想预览上身效果、想批量出试穿图,都直接能用。
它能替你做这几件事(功能场景)
最基础的是半身上装试穿。你只需要两张图:模特照,和你想换的上装平铺照,脚本会把它们统一缩放到 768×1024。模特可以用真人照,也可以用仓库自带的示例图。跑起来后,它先对模特做 OpenPose 姿态估计和 18 类人体解析,自动圈出上装位置并生成遮罩,不用自己抠图或画掩膜。服装图再送入潜扩散模型,出来的就是四张半身试穿候选,原姿势、脸和背景都保留,只重画上装区域。这套 hd 权重在 VITON-HD 数据集上训练,只支持上装,喂裤子或裙子进去会直接报错拦下来。
想换裤子或连衣裙,就换全身那套。
全身模型在 Dress Code 数据集上训练,支持上装、下装、连衣裙三个类别。输入还是两张图,加上在界面里选一个类别,类别一定要和真实服装对上,否则遮罩会跑偏。流程同样是解析和姿态先定位区域,再由扩散生成补全细节。因为模特是全身的,下装和连衣裙的试穿效果会更完整,全身那套默认同样出四张候选。
出一版不满意,还有参数可调。
一次默认跑出四张候选,采样步数默认 20,引导系数默认 2.0。在 OOTDiffusion 的虚拟试穿 Gradio 界面上,候选数可以在 1 到 4 之间调,步数在 20 到 40 之间调,引导系数在 1.0 到 5.0 之间调,也可以固定种子复现同一张结果。命令行版会把产物存进images_output目录,文件名按out_hd_0到out_hd_3排开,掩膜mask.jpg也一起存好,方便回头检查。
装起来 & 连上模型(集成配置)
环境只有一套 conda 环境加四套权重,官方只在 Ubuntu 22.04 上测过,需要 NVIDIA CUDA 显卡。
安装与启动
git clone https://gitcode.com/GitHub_Trending/oo/OOTDiffusion- 建一个 Python 3.10 的 conda 环境,装 torch 2.0.1 和 torchvision 0.15.2
pip install -r requirements.txt- 网页版跑
python run/gradio_ootd.py,监听 7865 端口,会把两套模型分别挂到两块显卡上;只有一块卡就用命令行版python run/run_ootd.py --model_path <模特图> --cloth_path <服装图>
接入你的模型(虚拟试穿预训练权重下到 checkpoints 目录)
- ootd:试穿主模型,含半身 hd 和全身 dc 两套权重
- humanparsing:人体解析权重
- openpose:姿态估计权重
- clip-vit-large-patch14:CLIP 视觉编码器
权重放哪些的完整清单见 checkpoints/README.txt。下好后,可以先拿仓库run/examples里的示例模特图和服装图跑一遍,验证环境是否就绪。
用起来什么感觉(轻量实证)
算下来它的价值在自动化:不写一行代码、不手动抠遮罩,一次运行自动完成 18 类人体解析和 OpenPose 姿态估计,再输出四张 768×1024 的候选。比起"手动抠服装、手动画遮罩、再拼合"的做法,这里最费工的两步都自动了。要是效果不对,先打开images_output里存的mask.jpg看遮罩圈得准不准,它正是扩散模型拿到的直接输入。想复现某一张结果,固定种子就行;想快速看效果,把候选数降到 1 再点运行。
OOTDiffusion 是一个把解析、姿态、遮罩这些预处理都自动做好的虚拟试穿工具,你只管丢两张图、拿回候选。去项目里打开run/run_ootd.py,三十秒内就能把model_path、cloth_path、scale、sample这几个参数看一遍,知道各管什么。
【免费下载链接】OOTDiffusion[AAAI 2025] Official implementation of "OOTDiffusion: Outfitting Fusion based Latent Diffusion for Controllable Virtual Try-on"项目地址: https://gitcode.com/GitHub_Trending/oo/OOTDiffusion
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考