一、初识工作流
说明:此部分在前期初级教程中有详细说明,不太清楚的朋友请看前期文章(第017-019章)。
- Unet加载器:加载模型,有些模型也会用Checkpoint加载器。
- Clip文本编码(输入提示词):用来告诉加载的模型,你的需求。一般需要两个,一个为正面提示词(告诉模型你要什么,比如一个美女),另一个为负面提示词(提醒模型不要什么,比如这个美女脸上不能有雀斑),采样器的Cfg值为1时负面提示无效不需要输入。
- 加载Clip:我们人类的语言,模型是无法看明白的,需要一个翻译官,这个clip文件就是一个翻译官,把我们的要求翻译给模型。每个模型都有对应的Clip文件,什么模型用什么clip都是模型官方提前设定好的。
- KSampler:K采样器,可以理解为模型的工作台,模型再得到你的需求后,利用采样器把你要的图像制作出来。
- VAE Decode:编码/解码器,模型和人之间是没法直接交流的,他做出的图像,我们人类是没法直接看的,需要有哦一个解码器翻译成人类能看懂的图像。和clip一样什么模型对应什么vae文件,也是模型官方提前设定好的。
二、安装商业用必备的插件
说明:关于插件的详细安装教程请前往第015章学习。
- ComfyUI-Impact-Pack(商业项目高频使用)
- ComfyUI-Efficiency-Nodes(简化工作流用)
- ComfyUI-KJNodes(后期做视频会常用)
- rgthree-comfy(工作流整理用神器)
三、模型部署
说明:建议先仔细学习第017章内容。
1、模型介绍
这次我们一次用两个模型FLUX.1-dev和Flux2.Klein-9b,两个模型对比着学。
(1)FLUX.1-dev
FLUX.1-dev 是 Black Forest Labs(FLUX 原团队)推出的初代旗舰模型,可以理解为SDXL的进化版。
这个模型虽然比较老,但我个人还是建议学习一下 !他的社区生态极成熟:ControlNet、LoRA、IP-Adapter、各种量化 / 加速方案(FP8、GGUF、Nunchaku)都很全。
通过对他的学习,可以让我们的基础能力有很大的提升。
(2)FLUX-2-klein-9b
FLUX.2-klein-9B 是 Black Forest Labs(FLUX 原团队)推出的轻量化高速图像生成模型,“klein” 德语意为 “小”,定位是兼顾画质与实时速度的旗舰小模型。
这个模型是我个人比较推荐的一个模型,他既能生图,也能进行图像编辑。是一个“文生图 + 图生图 + 多参考图编辑”的一体模型。而且出图速度极快,4步采样就可以出图。
而FLUX.1-dev官方要求的步数是20-30步。
Flux系列模型的通用缺点就是中文文字生成弱,很难稳定生成清晰中文。。
再一个由于他们是欧洲的模型,因此对我们国人的人像不太擅长,他生成的中国人人像,基本都是韩国那种油性面孔。
还有一些特别中式的场景,比如遇到苏式园林这种场景他的水平就会差很多。
比较适合一些产品、现代/欧式场景、风格化图。
2、模型下载
进入魔塔网站(www.modelscope.cn),如下图先搜索“comfy”。
进入Comfy官方的资料库,然后再搜索“flux”。
FLUX.2-klein-9B的Clip和Vae,flux2系列的模型用的是Qwen的clip,因此可以支持中文的提示词输入。
FLUX.1-dev 的模型文件:
FLUX.1-dev模型用的Vae文件是“ae.safetensors”
FLUX.1-dev模型需要两个Clip文件,一个是“clip_l”,一个是“t5xxl”,clip_l只是辅助,主要靠t5xxl。Flux1系列的模型不支持中文提示词的输入。
FLUX.2-klein-9B的主模型16G显卡用fp8版本:
3、模型部署
(1)Clip文件下载后存入models文件夹下的clip文件夹。
(2)Vae文件下载后存入models文件夹下的vae文件夹。
(3)模型文件下载后存入models文件夹下的unet文件夹。
四、搭建工作流
说明:我们先把Klein模型的文生图工作流搭建好,后面直接复制这个工作流修改一下,改为dev的文生图工作流。
1、加载模型文件
2、添加Clip文版编码器,这个模型是可以识别中文提示词的,所以直接输入中文也是可以的。不过我个人建议能用英文尽量用英文,这样能比使用中文好一点。
3、添加”采样器”和一个”空Latent(用来控制图片大小)”,采样器步数设置为4(Klein模型4步就可以出图),Cfg设置为1(cfg为1时负面提示词不起作用)。
4、添加vae解码器 和 图像保存
5、完整的Klein文生图工作流如下
6、接下来我们把上面这个工作流复制一份,做如下修改
(1)更换模型文件
(2)更换vae文件
(3)采样器参数修改(Klein采4步出图,dev采20-30步出图)
(4)Clip加载修改(dev需要双Clip文件)
(5)完整的Dev文生图工作流如下
五、生成产品图片
在正面提示词里输入“premium Chinese tea gift box on a dark wooden table, cinematic lighting, luxury packaging, gold details, Chinese tea ceremony atmosphere, product photography, ultra realistic, high-end commercial advertising, shallow depth of field”
两个工作流各连续运行5次,生成10张图片。
上面5个是klein生成的,下面5个是dev生成的。从效率上来说Klein完胜,我们可以看到klein做一张图基本是7.6s,而dev做一张图需要49s。
最后在你生成的10张图片中找出3张你认为比较好的图片,作为今天我们完成的作业,剩下的全部删除。
下面是我留下的三张图片(上面的文字都是错的,这是flux的通病):
(1)FLUX.1-dev
(2)FLUX.1-dev
(3)FLUX-2-klein-9b
--------结束线---------
我建了一个交流群,方便大家在学习的过程中相互交流。有兴趣的朋友可以加一下,平时也会在群里分享一些资料。
如果大家在阅读文章的时候有什么困惑,可以在文章的底部留言,我看到的第一时间就会进行回复。
也可以对有困惑的文章进行赞赏,赞赏后,可以和我约个时间,进行一对一的实时交流,赞赏金额不限制,多少都可以!