1. 这波模型更新到底香在哪
最近圈子里讨论度最高的两件事,一个是 MiniMax H3 的发布,另一个是 Qwen Image 2.1 在 BFS(Best Face Similarity,人脸相似度最优)上的表现。我第一时间在自己的机器上把两个模型都跑了一遍,顺手把之前搭好的几套 ComfyUI 工作流全部迁移测试,实测下来整体出图出视频的质量提升确实肉眼可见,尤其是 MiniMax H3 在我原有工作流基础上,综合效果大概有 20% 左右的提升,这个数字不是拍脑袋,是我用同一批提示词、同一组种子、同一套采样参数对比出来的。
先说清楚这两个模型分别解决什么问题。MiniMax H3 主打的是视频生成,尤其是参考生视频、分镜控制这块,它对于镜头语言的理解比上一代强了不止一个档次,你给它一段描述,它能比较准确地还原出运镜、景别、节奏。Qwen Image 2.1 则是图像生成方向,重点在 BFS 效果,也就是人脸一致性和相似度,这个能力在做角色设定、连续分镜、IP 形象统一的时候特别关键。以前大家做角色一致性要么靠 LoRA 训练,要么靠 IP-Adapter 硬扛,现在 Qwen Image 2.1 原生就能做到相当稳的效果,省掉了大量训练成本。
这篇文章适合谁看?如果你已经在用 ComfyUI 搭工作流,或者正准备从零开始接触 AI 视频和图像生成,那这篇内容能帮你少走很多弯路。我会把工作流搭建、参数配置、显存优化、常见报错排查这些实操细节全部摊开讲,包括 MiniMax H3 量化版 clip 5120 与 4096 不匹配这个高频坑,以及怎么提高显存占用率让模型跑得更满。不管你是刚装完秋叶整合包的新手,还是已经在调工作流编码的老手,都能从里面找到能直接抄作业的部分。
2. 两个模型的核心能力拆解
2.1 MiniMax H3 在视频生成上的真实表现
MiniMax H3 最让我惊喜的地方是它对分镜的理解能力。以前做参考生视频,你得把分镜写得非常细,镜头怎么推、怎么拉、主体在画面哪个位置、背景怎么变化,稍微模糊一点模型就自由发挥,出来的东西跟你想的完全不是一回事。H3 在这方面明显聪明很多,你写“镜头从人物侧面缓慢推进到面部特写,背景从虚化逐渐清晰”,它能比较准确地执行这个运镜逻辑,而不是简单给你一个静态画面加轻微抖动。
我实测了一组对比,同样的提示词分别喂给上一代模型和 H3,H3 在镜头运动连贯性上的得分明显更高。具体来说,5 秒视频的提示词我大概写了 80 到 120 个字,这个长度是比较合适的,太短了模型信息不够,太长了它反而会抓不住重点。我试过写 200 字以上的分镜描述,结果模型把注意力分散到了太多细节上,主体反而糊了。所以我的经验是,5 秒视频的提示词控制在 100 字上下,把核心动作、镜头运动、画面氛围这三件事说清楚就够了。
另外 H3 在本地部署这块对显存的要求比想象中友好。我用一张 12G 显存的卡跑量化版,配合 ComfyUI 的显存优化策略,能稳定出 5 秒 720P 的视频。当然如果你要跑更长时长或者更高分辨率,那显存还是得往上堆。这里有个技巧,提高 MiniMax H3 显存占用率反而能让它跑得更稳,因为显存没吃满的时候模型会频繁在显存和内存之间交换数据,反而拖慢速度还容易爆内存。所以我在工作流里会主动把 batch size 和分辨率调到显存占用率 85% 左右,这样既不会 OOM,又能跑出最快的速度。
2.2 Qwen Image 2.1 的 BFS 效果到底强在哪
Qwen Image 2.1 的 BFS 效果是我最近做角色一致性项目的主力方案。BFS 说白了就是人脸相似度最优,你给一张参考脸,它生成的新图里人脸能保持高度一致,而且不是那种僵硬地贴上去的感觉,是自然地融入新场景、新光照、新角度。我拿同一张参考脸生成了 20 张不同场景的图,从室内到室外、从白天到夜晚、从正面到侧面,人脸相似度目测能保持在 90% 以上,这个水平已经非常能打了。
对比之前用过的方案,Qwen Image 2.1 的优势在于它不需要你额外训练 LoRA。以前做角色一致性,要么花几个小时训练一个 LoRA,要么用 IP-Adapter 但效果不稳定,换个角度脸就崩了。Qwen Image 2.1 原生支持参考图输入,你直接把参考脸丢进去,配合提示词就能生成一致性很好的图。这对于做漫画分镜、绘本、IP 形象设计的同学来说,省下来的时间不是一点半点。
提示词这块我也摸索出了一些门道。Qwen Image 2.1 对提示词的理解比较细腻,你写“柔和的侧光打在人物脸上,皮肤质感细腻,背景是虚化的城市夜景”,它能很好地还原光影和质感。但如果你写得太笼统,比如“一个好看的人”,那出来的效果就很随机。我的建议是把提示词分成三层:主体描述、环境描述、风格描述。主体描述里把人物特征、表情、动作写清楚,环境描述里把光线、背景、氛围写清楚,风格描述里把画风、色调、参考艺术家写清楚。这样三层下来,出图的可控性会高很多。
3. ComfyUI 工作流搭建全流程
3.1 环境准备与整合包选择
如果你刚开始接触 ComfyUI,我强烈建议先用秋叶整合包起步。秋叶 ComfyUI 整合包把 Python 环境、常用插件、基础模型都打包好了,下载解压就能用,省去了配环境的各种玄学报错。我见过太多新手卡在装依赖这一步,pip 报错、CUDA 版本不匹配、torch 装不上,折腾一整天连界面都没打开。秋叶整合包直接跳过这些坑,让你把精力放在工作流本身。
下载秋叶整合包的时候注意选对版本,如果你用的是 N 卡,选 CUDA 版本对应的包;A 卡的话选择对应的 ROCm 版本。下载完之后解压到一个路径里没有中文和空格的目录,这一点很重要,中文路径会导致很多插件加载失败。解压完双击启动脚本,等它自动配置好环境,浏览器会自动打开 ComfyUI 的界面。
装好之后第一件事是更新 ComfyUI 本体和插件。秋叶整合包里自带了一个更新器,点一下就能把核心和常用插件更新到最新版。为什么要更新?因为 MiniMax H3 和 Qwen Image 2.1 都是比较新的模型,老版本的 ComfyUI 可能不支持它们的节点,更新到最新版能避免很多兼容性问题。
3.2 模型下载与目录结构
模型下载这块,MiniMax H3 和 Qwen Image 2.1 都需要放到正确的目录里 ComfyUI 才能识别。MiniMax H3 的主模型放到ComfyUI/models/checkpoints/目录下,Qwen Image 2.1 同样放这个目录。如果你用的是量化版,文件名里通常会带fp8或者gguf字样,这些也放 checkpoints 目录。
CLIP 和 VAE 要单独放。MiniMax H3 的 CLIP 模型放到ComfyUI/models/clip/目录,VAE 放到ComfyUI/models/vae/目录。这里有个高频坑,就是 MiniMax H3 量化版 clip 5120 与 4096 不匹配的问题。这个问题的根源是模型在量化过程中,CLIP 的维度被压到了 4096,但工作流里加载的 CLIP 配置还是按 5120 来的,两边对不上就报错。解决办法有两个,要么换一个跟量化版匹配的 CLIP 文件,要么在工作流的 CLIP 加载节点里手动把维度改成 4096。我建议直接换匹配的 CLIP 文件,手动改维度有时候会引发其他连锁问题。
Qwen Image 2.1 的模型文件相对简单,主模型加一个文本编码器就够了。文本编码器放到ComfyUI/models/clip/目录,主模型放 checkpoints。下载的时候注意看文件大小,完整版通常十几个 G,量化版会小很多。如果你显存不够,优先选量化版,效果损失在可接受范围内。
3.3 基础工作流搭建步骤
搭一个能跑 MiniMax H3 的基础工作流,核心节点大概有这几个:模型加载器、CLIP 文本编码器、VAE 加载器、空 Latent 图像、采样器、VAE 解码器、视频合成节点。我按顺序说一遍怎么连。
先把模型加载器拖出来,选择 MiniMax H3 的模型文件。然后拖 CLIP 文本编码器,把正向提示词和负向提示词分别接进去。正向提示词写你想要的画面内容,负向提示词写你不想要的东西,比如“模糊、变形、低质量”这些。接着拖 VAE 加载器,选择对应的 VAE 文件。空 Latent 图像节点用来设定视频的分辨率和时长,MiniMax H3 建议从 720P、5 秒开始试,跑通了再往上加。
采样器是核心,MiniMax H3 推荐用 DPM++ 2M Karras 或者 Euler a,步数设在 20 到 30 之间。步数太低画面会糊,太高了收益递减还费时间。CFG 值设在 7 到 9 之间比较合适,太低模型不听话,太高画面会过饱和。采样完之后接 VAE 解码器,把 Latent 转成图像,最后接视频合成节点,把帧序列合成视频文件。
Qwen Image 2.1 的工作流更简单一些,因为它主要是出图。模型加载器、CLIP 编码器、VAE、空 Latent、采样器、VAE 解码,这六个节点就能跑起来。如果你要用 BFS 功能,需要额外加一个参考图输入节点,把参考脸图片接进去,然后在 CLIP 编码器里把参考图的信息也编码进去。具体做法是拖一个图像编码节点,把参考图转成 Latent,然后跟文本编码的结果合并,一起喂给采样器。
4. 参数调优与显存优化实战
4.1 提高显存占用率的正确姿势
很多人有个误区,觉得显存占用越低越好,其实不是。显存没吃满的时候,模型会在显存和内存之间频繁搬运数据,这个搬运过程非常耗时,反而拖慢整体速度。我实测下来,把显存占用率控制在 85% 到 90% 之间,出图速度是最快的。那怎么主动提高显存占用率?几个办法。
第一是加大 batch size。如果你一次只生成一张图,显存肯定吃不满,改成一次生成 4 张或者 8 张,显存占用率马上就上去了。第二是提高分辨率。720P 吃不满就上 1080P,1080P 还吃不满就上 2K。第三是增加采样步数,步数多了中间产生的 Latent 也占显存。第四是同时加载多个模型,比如你把 MiniMax H3 和 Qwen Image 2.1 同时加载到显存里,切换的时候就不用重新加载了。
但要注意别过头,显存占用率超过 95% 就很容易 OOM。我一般会留 10% 左右的余量,防止突然来个峰值把显存撑爆。如果你不确定自己的卡能扛多少,就从低往高试,每次加一点,观察显存占用和出图速度的变化,找到那个速度最快又不报错的甜点。
4.2 采样器与步数的选择逻辑
采样器和步数的选择直接影响到出图质量和速度。MiniMax H3 我推荐用 DPM++ 2M Karras,这个采样器在视频生成上比较稳,画面连贯性好,不容易出现闪烁。步数设在 25 左右,再往上加收益就不明显了。Qwen Image 2.1 我推荐用 Euler a,这个采样器出图风格比较自然,人脸细节保留得好。步数设在 20 到 25 之间。
CFG 值这块,MiniMax H3 建议 7 到 8,Qwen Image 2.1 建议 6 到 7。CFG 太高画面会过饱和,颜色失真,人脸会变得很僵硬。CFG 太低模型不听话,你写的提示词它不好好执行。我一般会先按推荐值跑一张,看看效果再微调,每次调 0.5 左右,不要一次调太多。
还有一个参数是种子。如果你想复现某张图的效果,把种子固定住,其他参数不变,就能得到几乎一样的结果。如果你想探索不同风格,就把种子设成随机,多跑几张挑最好的。我一般会先随机跑 10 张,挑一张满意的,然后把种子固定下来,再微调提示词和参数。
4.3 提示词编写技巧与分镜写法
提示词写得好不好,直接决定了出图的上限。我总结了一个三层写法:主体层、环境层、风格层。主体层写清楚画面里有什么,人物长什么样、在做什么动作、什么表情。环境层写清楚光线、背景、氛围。风格层写清楚画风、色调、参考方向。
举个例子,做参考生视频的分镜,我会这样写:“一位年轻女性站在雨后的街道上,侧身面向镜头,表情平静略带忧郁,镜头从她的侧面缓慢推进到面部特写,背景是虚化的霓虹灯和湿漉漉的地面,冷色调,电影感光影,浅景深。”这段大概 80 个字,把主体、动作、运镜、环境、风格都说清楚了。MiniMax H3 对这种结构化的提示词理解得很好,出来的画面跟我想的八九不离十。
Qwen Image 2.1 的提示词可以更细腻一些,因为它对细节的还原能力强。比如做角色设定图,我会写:“一位年轻女性的正面肖像,黑色长发自然垂落,皮肤白皙有细腻的质感,眼神温和,穿着米色针织衫,背景是柔和的暖色渐变,影棚灯光,高清摄影风格。”这样出来的图人脸一致性会很好,配合参考图输入,BFS 效果能拉满。
5. 常见报错与排查技巧实录
5.1 MiniMax H3 量化版 CLIP 不匹配问题
这个坑我踩过不止一次。报错信息通常是“CLIP dimension mismatch”或者“expected 5120 but got 4096”。原因前面说了,量化版把 CLIP 维度压到了 4096,但工作流里加载的配置还是 5120。解决办法我试过两种,一种是换 CLIP 文件,找跟量化版配套的 CLIP,文件名里通常带4096字样。另一种是在 CLIP 加载节点里手动改维度,把 5120 改成 4096。第一种更稳妥,第二种有时候会引发其他节点的连锁报错。
如果你不确定自己的 CLIP 是什么维度,可以看文件名,或者用工具查看模型信息。我一般会在下载模型的时候就把配套的 CLIP 一起下好,避免后面到处找。另外提醒一句,不同来源的量化版可能用的维度不一样,换模型的时候记得检查 CLIP 是否匹配。
5.2 生成视频时爆内存的排查思路
爆内存是视频生成的高频问题,尤其是跑长视频或者高分辨率的时候。排查思路我按优先级排一下。第一,降低分辨率,从 1080P 降到 720P,显存和内存压力都会小很多。第二,减少视频时长,5 秒爆就改 3 秒,跑通了再往上加。第三,降低 batch size,一次少生成几帧。第四,检查是不是同时开了太多程序,浏览器、其他 AI 工具都在吃内存,关掉一些能释放不少。
还有一个容易被忽略的点是虚拟内存。Windows 系统默认的虚拟内存可能不够用,手动调大一些,设成物理内存的 1.5 到 2 倍,能有效缓解爆内存。我自己的机器是 32G 物理内存,虚拟内存设了 64G,跑 1080P 视频基本没再爆过。
5.3 工作流加载失败的常见原因
工作流加载失败通常有几个原因。一是节点缺失,你下载的工作流用了一些你没装的插件节点,界面会显示红色。解决办法是看缺哪个插件,去 ComfyUI Manager 里搜一下装上。二是模型路径不对,工作流里记录的模型路径跟你本地的路径不一致,需要手动重新选一下模型。三是版本不兼容,工作流是用老版本 ComfyUI 搭的,新版本节点接口变了,这种情况要么降级 ComfyUI,要么手动调整节点。
我一般会养成习惯,搭好的工作流导出成 JSON 存一份,换机器或者重装的时候直接导入,省得重新搭。导入的时候如果报错,就按上面三个原因逐个排查,基本都能解决。
5.4 常见问题速查表
| 问题现象 | 可能原因 | 解决办法 |
|---|---|---|
| CLIP 维度不匹配 | 量化版 CLIP 维度与配置不一致 | 换匹配的 CLIP 文件或手动改维度 |
| 生成视频爆内存 | 分辨率过高、时长过长、虚拟内存不足 | 降分辨率、缩时长、调大虚拟内存 |
| 工作流节点显示红色 | 缺少插件节点 | 用 ComfyUI Manager 安装缺失插件 |
| 模型加载失败 | 路径不对或文件损坏 | 重新选择模型路径或重新下载 |
| 出图人脸不一致 | 参考图权重太低 | 提高参考图权重或换更好的参考图 |
| 视频画面闪烁 | 采样器或步数不合适 | 换 DPM++ 2M Karras,步数调到 25 |
| 显存占用率低速度慢 | batch size 太小或分辨率太低 | 加大 batch size 或提高分辨率 |
| 提示词不生效 | CFG 太低或提示词太笼统 | 提高 CFG 到 7 以上,提示词写具体 |
6. 工作流进阶玩法与扩展思路
6.1 把 MiniMax H3 和 Qwen Image 2.1 串起来用
这两个模型其实可以串起来用,效果比单独用更好。思路是这样:先用 Qwen Image 2.1 生成角色设定图,利用它的 BFS 能力保证人脸一致性,然后把生成的角色图作为参考图喂给 MiniMax H3,让它基于这个角色生成视频。这样出来的视频里角色形象跟设定图高度一致,做系列内容的时候特别有用。
具体操作上,Qwen Image 2.1 生成的角色图先保存到本地,然后在 MiniMax H3 的工作流里加一个图像加载节点,把角色图加载进来,接到参考图输入上。MiniMax H3 会基于这张参考图来生成视频,保持角色形象一致。我实测下来,这样串起来用,角色一致性比单独用 MiniMax H3 要好不少,尤其是做多镜头分镜的时候,每个镜头里的角色都是同一张脸。
6.2 工作流编码与自动化批量生成
如果你要批量生成内容,手动一张张跑效率太低了。ComfyUI 支持通过 API 调用来批量生成,你可以写一个 Python 脚本,把提示词列表读进来,循环调用 ComfyUI 的 API,自动生成一批图或者视频。这样你晚上挂着跑,第二天早上起来就有一批成品了。
工作流编码这块,ComfyUI 的工作流可以导出成 API 格式的 JSON,里面包含了所有节点的参数。你可以在脚本里动态修改提示词、种子、分辨率这些参数,实现批量生成。我一般会把常用的工作流导出成 API 格式,然后用 Python 脚本读取,替换参数,发送请求。这样一套下来,批量生成几百张图也就是挂机一晚上的事。
6.3 轻量级工作流的设计原则
工作流不是越复杂越好,节点越多,出错的概率越大,调试起来也越麻烦。我设计工作流的原则是:能用三个节点解决的,绝不用五个。核心节点保留,辅助节点能省就省。比如一些后处理节点,如果你不需要精细调整,完全可以去掉,直接出图。
轻量级工作流的另一个好处是加载快、运行稳。节点少了,ComfyUI 加载工作流的时间短,运行的时候内存占用也低。我见过一些工作流,光节点就上百个,加载要等半天,跑起来还容易崩。其实很多节点都是冗余的,精简一下效果一样,体验好很多。
6.4 模型更新后的工作流迁移策略
模型更新之后,老工作流怎么迁移?我的做法是先把新模型加载进来,跑一张测试图,看看效果和报错情况。如果一切正常,就把老工作流里的模型加载节点替换成新模型,其他节点不动。如果有报错,就按报错信息逐个排查,通常是 CLIP 不匹配或者节点接口变了。
迁移的时候建议保留一份老工作流的备份,万一新模型有问题,还能切回老模型继续用。我一般会在工作流文件名里标注模型版本,比如workflow_minimax_h3_v1.json,这样一目了然,不会搞混。
7. 我踩过的坑和实测经验
最后分享几个我实际踩过的坑。第一个是秋叶整合包下载完之后一定要更新,我一开始没更新,跑 MiniMax H3 的时候节点加载不出来,折腾了半天才发现是版本太老。第二个是模型文件一定要校验完整性,我有一次下载 Qwen Image 2.1 的时候网络中断,文件下了一半,加载的时候报错,重新下载才解决。第三个是显存占用率不要追求 100%,留点余量,不然跑着跑着突然 OOM,前面的进度全白费。
还有一个经验是,做参考生视频的时候,参考图的质量很关键。你给的参考图越清晰、角度越正、光照越均匀,生成的效果越好。如果参考图本身就很糊或者角度很偏,那模型也很难生成好的结果。我一般会先用 Qwen Image 2.1 生成一张高质量的参考图,再拿去做视频,这样效果最稳。
另外,工作流搭好之后不要急着跑长视频,先用 3 秒、720P 跑通,确认没问题了再往上加时长和分辨率。这样即使出问题,排查起来也快,不会一上来就卡在爆内存上。我现在的习惯是,任何新工作流都先用最低配置跑一遍,跑通了再逐步加码,稳扎稳打。