1. 先搞清楚AI漫剧到底在做什么
1.1 从一条弹幕说起:为什么我突然开始研究AI漫剧
去年年底我在一个动画交流群里看到有人发了一段四十多秒的短片,画面是漫画分镜的质感,但人物会动、镜头会推拉、打斗时有速度线和冲击帧,配音配乐齐全,结尾还带了个下集预告。底下有人问“这是哪个工作室做的”,作者回了一句“一个人,三天,AI”。当时我第一反应是不信,第二反应是去翻他的制作记录。翻完之后我沉默了大概十分钟,然后打开电脑开始自己试。
这就是我接触AI漫剧的起点。所谓AI漫剧,说白了就是用AI工具把漫画或图文脚本变成有动态、有配音、有节奏的短剧集。它介于传统动画和动态漫画之间,但制作成本和时间完全不在一个量级。传统二维动画一集二十分钟,团队做几个月是常态;AI漫剧一集一到三分钟,一个人熟练之后一天能出好几集。这个效率差距,是我认为它值得所有内容创作者认真对待的原因。
这篇文章我打算把一整场戏从零到成片的完整流程拆开讲,一共六道工序。我会把每一步用什么工具、参数怎么设、提示词怎么写、哪里容易翻车,全部摊开来说。不管你是完全没碰过AI绘画的新手,还是已经在用即梦、Seedance这类工具做单张图的老手,应该都能从里面找到能直接抄作业的东西。
1.2 六道工序的全景图:一场戏是怎么被拆解的
在动手之前,你得先接受一个观念:AI漫剧不是“输入一句话,出来一集剧”。它是流水线作业,每一道工序解决一个具体问题,工序之间有严格的先后依赖。我把它拆成六步:
- 剧本与分镜拆解:把一场戏拆成若干个镜头,每个镜头写清楚画面内容、景别、时长、台词。
- 主体图库搭建:为每个角色、每个关键场景生成标准参考图,保证后续所有镜头里的人物长得一样。
- 分镜图生成:用文生图或图生图,把每个镜头的关键帧画面做出来。
- 图生视频:把静态分镜图变成动态片段,处理动作、运镜、转场。
- 配音与音效:生成台词配音,配上环境音和打击音效。
- 剪辑合成与导出:把所有素材按时间线拼起来,调节奏、加字幕、导出成片。
这六步里,第三步和第四步是耗时最多的,也是决定成片质量的关键。第一步和第二步看起来简单,但如果你在这里偷懒,后面会加倍还回来。我见过太多人跳过主体图库直接生成分镜,结果第三集里主角换了张脸,观众直接出戏。
提示:不要试图用一个大模型一次性完成所有工序。每个环节用专门的工具,效果和可控性都远好于“全能型”方案。
1.3 适合谁看:从零基础到进阶的路线图
如果你是纯新手,建议先按顺序把六道工序各跑通一遍,哪怕每个环节只做一个镜头。跑通之后再回头优化质量。如果你已经有AI绘画基础,可以直接从第二步主体图库开始看,那里是区分“能看”和“好看”的分水岭。如果你已经在做AI视频但总觉得人物不稳定、动作不自然,重点看第四步图生视频的参数部分,我会把Seedance和即梦的实际参数配置写清楚。
我自己的设备是一台带独立显卡的台式机,但整个流程里真正吃本地算力的只有剪辑环节。生成部分全部在云端完成,所以一台普通笔记本加稳定网络就能开工。这一点对预算有限的创作者来说很友好。
2. 剧本拆解与分镜设计:别急着打开AI工具
2.1 一场戏拆成镜头:颗粒度决定后续效率
很多人拿到一个剧本,第一反应是打开即梦开始生成画面。我劝你先忍住。AI漫剧的剧本和传统剧本最大的区别在于,它必须提前拆到“镜头级”。一个镜头就是一次生成任务,对应一张分镜图加一段视频。你拆得越细,后面生成时越不容易乱。
我通常按这样的颗粒度来拆:一场两分钟的戏,大概拆成18到25个镜头。每个镜头平均4到6秒。对话密集的地方镜头短一些,2到3秒一个;动作场面可以到5到8秒。拆的时候用表格记录,字段包括:镜头编号、景别(远/全/中/近/特)、画面描述、台词、时长、备注。
举个例子,一场“主角在雨夜巷子里被追”的戏,我会这样拆:
| 镜头 | 景别 | 画面描述 | 台词 | 时长 |
|---|---|---|---|---|
| 01 | 远景 | 雨夜巷子全景,主角从画面左侧跑入 | 无 | 3s |
| 02 | 中景 | 主角回头张望,雨水打在脸上 | “该死,甩不掉。” | 4s |
| 03 | 特写 | 主角脚踩水坑,水花溅起 | 无 | 2s |
| 04 | 全景 | 三个黑影从巷口出现 | 无 | 3s |
| 05 | 近景 | 主角咬牙,加速奔跑 | 无 | 3s |
这样拆完之后,每个镜头要生成什么画面、多长、有没有台词,一目了然。后面不管是用Seedance还是即梦,都是按这个表逐个执行。
2.2 分镜脚本的写法:给AI看的和给人看的要分开
这里有个坑我踩过:分镜脚本里写“主角很愤怒地转身”,这是给人看的,AI理解不了“愤怒”具体是什么表情、什么姿态。你需要把它翻译成AI能执行的描述:“主角猛地转身,眉头紧锁,眼睛睁大,嘴角向下,双手握拳,身体前倾”。
所以我习惯写两套描述。一套是给人看的分镜说明,一套是直接复制到AI工具里的提示词。提示词那套要包含:主体描述、动作、表情、服装、环境、光线、镜头角度、画风。比如上面那个转身镜头,我的提示词大概是:
一个黑发少年,穿着深蓝色连帽外套,猛地转身,眉头紧锁,眼睛睁大,嘴角向下,双手握拳,身体前倾,雨夜巷子背景,霓虹灯反射在湿滑地面,侧逆光,中景,漫画风格,高对比度,动态构图
这套提示词可以直接喂给即梦或Seedance的文生图模块。注意我没有写“愤怒”这个词,而是把愤怒拆成了可视觉化的元素。这是提示词设计里最基础也最重要的一条原则:描述你能看到的东西,而不是你感受到的东西。
2.3 节奏控制:为什么你的漫剧看起来像PPT
新手做出来的AI漫剧最常见的问题就是“像PPT”——每个镜头都是静态图加轻微缩放,镜头之间硬切,没有节奏变化。根源在于分镜阶段没有设计节奏。
节奏控制有三个抓手。第一是镜头时长要有变化,不能全是4秒。紧张的地方用1到2秒的短镜头快速切换,抒情的地方用6到8秒的长镜头让观众沉浸。第二是景别要有跳跃,不能一直是中景。远景接特写,视觉冲击力远大于中景接中景。第三是转场要有设计,硬切、叠化、黑场、闪白,不同转场传递不同情绪。
我在分镜表里会额外加一列“转场方式”,提前想好这个镜头怎么进入下一个镜头。比如追逐戏里,镜头03水花溅起之后,直接硬切到镜头04黑影出现,这种突兀感正好制造紧张。而抒情戏里,镜头之间用叠化,情绪是连贯的。
注意:分镜阶段多花一小时,生成阶段能省三小时。不要跳过这一步。
3. 主体图库搭建:让人物在每一集里长得一样
3.1 为什么必须建主体图库
AI生成有个随机性,同一个提示词跑两次,人物脸型、发型、服装细节都可能不一样。如果你每一集都重新生成主角,观众会发现主角在第三集突然换了张脸。解决这个问题的唯一办法,就是提前建一个“主体图库”——把每个角色的标准形象固定下来,后续所有镜头都以这个标准图为参考。
主体图库至少包含三类图:角色正面半身图、角色全身图、角色表情集(喜、怒、哀、惊、平静)。如果角色有特殊服装或武器,也要单独出图。场景方面,主要场景各出一张全景参考图。
我一般用即梦的“角色一致性”功能来生成主体图。先写一段详细的人物描述,生成一张满意的正面图,然后以这张图为参考,生成其他角度和表情。即梦的角色参考强度我通常设在0.7到0.8之间,太低会跑偏,太高会僵硬。
3.2 角色提示词的写法:从“好看”到“稳定”
角色提示词和分镜提示词不一样,它追求的不是单张惊艳,而是多张稳定。所以描述要具体、可复现,避免模糊的形容词。
一个可复用的角色提示词模板:
[性别] [年龄] [发型发色] [脸型特征] [眼睛特征] [服装描述] [配饰] [体型] [画风] [光线] [背景]具体例子:
男性,十七岁,黑色短发略微凌乱,瓜子脸,剑眉,深棕色眼睛,穿深蓝色连帽外套内搭白色T恤,黑色长裤,运动鞋,偏瘦但结实,漫画风格,干净线条,平光,纯白背景
这段提示词里每个元素都是可视觉化的,没有“帅气”“冷酷”这类主观词。生成出来的角色图,我再挑一张最符合设定的,存为“角色标准图”。后续所有分镜生成时,都把这张图作为角色参考图传进去。
3.3 图库管理:文件命名和版本控制
主体图库建起来之后,管理是个问题。我见过有人把图全堆在一个文件夹里,用的时候靠翻,效率极低。我的做法是按项目建文件夹,里面再按角色和场景分子文件夹。文件命名规则是:角色名_角度_表情_版本号.png,比如林夜_正面_平静_v2.png。
版本号很重要。角色设定可能会调整,比如你觉得外套颜色太深,改成浅灰。这时候不要覆盖旧图,而是存为新版本。因为已经生成的分镜可能用的是旧版本,如果你覆盖了,后面想回溯就找不到了。
提示:主体图库建好之后,先别急着做分镜。用同一个角色提示词跑十张图,看看稳定性如何。如果十张里有三张以上脸型明显不同,说明提示词还不够具体,需要继续细化。
4. 分镜图生成:把文字变成画面的关键一步
4.1 文生图还是图生图:不同场景的选择逻辑
分镜图生成有两条路:文生图和图生图。文生图适合没有参考、需要从零创造画面的镜头,比如全景环境、群众场面。图生图适合有明确角色和场景参考的镜头,比如主角特写、对话场景。
我的习惯是:第一个镜头用文生图确定整体氛围和构图,后续同场景的镜头用图生图,以第一个镜头的图为参考,保持场景一致性。角色出场的镜头,一律用图生图,把主体图库里的角色标准图作为参考。
即梦的图生图里有个“参考图强度”参数,我一般设在0.6到0.75。这个区间既能保持角色特征,又给构图留出变化空间。如果设到0.9以上,生成出来的图会几乎和参考图一样,失去了分镜的意义。
4.2 提示词结构:主体、动作、环境、镜头、风格五段式
分镜提示词我固定用五段式结构,这样不容易漏元素:
- 主体:谁,长什么样,穿什么
- 动作与表情:在做什么,什么表情
- 环境:在哪里,天气,时间,周围有什么
- 镜头:景别,角度,焦段感
- 风格:画风,光线,色调,质感
一个完整的例子:
黑发少年林夜,深蓝色连帽外套,白色T恤,从画面左侧奔跑进入,表情紧张,回头张望,雨夜巷子,地面湿滑反射霓虹灯光,两侧墙壁有涂鸦,中景,略微仰拍,漫画风格,高对比度,冷色调,电影感构图
这五段里,镜头和风格是最容易被忽略的。但恰恰是这两个决定了画面的“漫剧感”。如果你不写镜头,AI默认给你一个平视中景,所有镜头都一样,剪出来就是PPT。如果你不写风格,AI可能给你写实风,和漫画风混在一起会很割裂。
4.3 参数表:即梦与Seedance的实际配置
下面这张表是我自己跑了几百张图之后总结的参数配置,针对AI漫剧场景。不同工具的参数名称可能略有差异,但逻辑相通。
| 参数项 | 推荐值 | 说明 |
|---|---|---|
| 画面比例 | 16:9 | 适配横屏视频,竖屏短剧用9:16 |
| 分辨率 | 1920x1080 | 低于这个值后期放大损失细节 |
| 参考图强度 | 0.6-0.75 | 角色一致性场景用高值,环境场景用低值 |
| 采样步数 | 30-40 | 太低细节不足,太高收益递减 |
| 提示词引导强度 | 7-9 | 太低跑偏,太高僵硬 |
| 随机种子 | 固定 | 同场景多镜头固定种子,保持风格一致 |
关于随机种子,补充一句:同一个场景的多个镜头,我会用同一个种子值。这样生成出来的图在色调、光线质感上会非常接近,剪在一起不会有跳变感。换场景时才换种子。
4.4 常见翻车与修正:手崩了、脸歪了、背景串了
分镜图生成阶段最常见的三个问题:
手部崩坏。AI画手一直是老大难。如果镜头里手不是重点,我直接在提示词里写“双手插兜”或“手在画面外”,绕开这个问题。如果手是重点,比如握剑、结印,那就多跑几张,挑一张能用的,或者后期用局部重绘修。
脸部变形。通常是因为参考图强度太低,或者提示词里脸部描述不够具体。解决办法是提高参考图强度到0.8,同时在提示词里把脸型、眼睛、发型再描述一遍。
背景串场。比如雨夜巷子的镜头里突然出现了白天的天空。这是因为提示词里环境描述不够强,被主体描述压过去了。解决办法是把环境描述提前,或者单独用图生图,以场景参考图为主。
注意:不要在一张图上反复重绘太多次。每重绘一次,画质就损失一点。如果一张图跑了五次还不满意,不如重新写提示词从头生成。
5. 图生视频:让静态画面动起来
5.1 动作设计:哪些动作AI擅长,哪些容易翻车
图生视频是把分镜图变成动态片段。这里要认清一个现实:AI视频模型不是万能的,有些动作它做得好,有些一做就崩。
AI擅长的动作:轻微转头、眨眼、头发飘动、衣角摆动、镜头推拉、雨雪粒子、光影变化。这些动作幅度小、规律性强,模型训练数据里多,生成稳定。
AI容易翻车的动作:复杂打斗、多人交互、快速奔跑、手部精细操作、大幅度转身。这些动作涉及大量遮挡和形变,模型容易糊。
所以我在分镜阶段就会规避:打斗场面不追求连贯动作,而是用“冲击帧”来表现。比如一拳打出去,我不生成完整的出拳过程,而是生成一张拳头接近目标的特写,加一张目标被击飞的全景,中间用闪白转场。观众的大脑会自动补全中间过程,效果反而比强行生成连贯动作好。
5.2 Seedance与即梦的视频参数配置
视频生成这块,我主要用Seedance和即梦两个工具。Seedance在动作连贯性上表现更好,即梦在画面质感和风格保持上更稳。实际工作中我会混用:对话和静态场景用即梦,动作和运镜用Seedance。
视频参数配置表:
| 参数项 | 推荐值 | 说明 |
|---|---|---|
| 视频时长 | 3-5秒 | 单镜头超过5秒容易崩 |
| 帧率 | 24fps | 电影感,30fps偏电视感 |
| 运动强度 | 中等 | 太高画面撕裂,太低像静止 |
| 镜头运动 | 根据分镜 | 推、拉、摇、移,不要全用固定 |
| 参考图权重 | 0.7-0.85 | 保持画面与分镜图一致 |
| 种子 | 与分镜图一致 | 保持色调连贯 |
关于运动强度,我踩过一个坑:为了让画面“动起来”,把运动强度拉满,结果人物脸都扭曲了。后来发现中等强度加镜头运动,比高强度加固定镜头效果好得多。镜头在动,人物轻微动,观众就觉得画面是活的。
5.3 转场与运镜:用镜头语言代替复杂动作
前面说了,复杂动作容易翻车。那怎么让漫剧看起来不呆板?答案是靠镜头语言。
同样一个“主角发现敌人”的情节,固定镜头拍主角表情,就是一张图加眨眼。但如果用镜头运动:从主角背后慢慢推近到过肩视角,同时主角头部微微转动,紧张感立刻就出来了。这个推近动作AI做得很稳,因为它是整体画面的缩放,不涉及人物形变。
我常用的几个安全运镜:
- 缓慢推近:制造紧张、聚焦情绪
- 缓慢拉远:制造孤独、揭示环境
- 横向摇移:展示场景、连接两个主体
- 轻微手持晃动:增加临场感,适合追逐戏
这些运镜在Seedance里都有对应的预设,选好之后调一下强度就行。不要自己写复杂的运镜描述,模型理解不了。
5.4 视频片段的质量检查清单
每个视频片段生成后,我会快速过一遍检查清单:
- 人物脸部是否变形
- 手部是否崩坏
- 画面是否与分镜图一致
- 动作是否自然,有没有跳帧
- 时长是否够用
- 首尾帧是否能和相邻镜头衔接
任何一项不过关,就重新生成。不要想着“后期能修”,视频片段后期修起来成本极高。宁可多跑几次,也不要留问题到剪辑阶段。
6. 配音、音效与剪辑合成
6.1 配音生成:语气比音色更重要
配音我用的是AI语音合成工具。选音色的时候,很多人只看“好不好听”,但我更看重“对不对味”。一个十七岁少年角色,你用浑厚大叔音,再好听也出戏。
我的做法是先确定角色的声音画像:年龄感、音调高低、语速快慢、性格特征。然后在这些维度上找最接近的音色。生成台词时,我会在文本里加语气标记,比如“(急促)该死,甩不掉!”或者“(低声)别出声。”这些标记会影响合成时的语调。
如果工具支持情绪参数,紧张场景把情绪调到“紧张”或“急促”,抒情场景调到“平静”或“温柔”。不要所有台词都用默认情绪,那样听起来像新闻播报。
6.2 音效与配乐:氛围的隐形推手
音效是很多新手忽略的部分,但它对成片质感的影响巨大。雨夜戏没有雨声,打斗戏没有打击音,画面再好看也像默片。
我的音效来源分三类:环境音(雨声、风声、城市底噪)、动作音(脚步、打击、衣物摩擦)、情绪音(心跳、耳鸣、低频轰鸣)。环境音铺底,动作音对点,情绪音在关键情节点缀。
配乐我一般用无版权音乐库,按场景情绪选。追逐戏用快节奏鼓点,抒情戏用钢琴或弦乐。音量控制在人声的30%到40%,不要盖过台词。
6.3 剪辑节奏:卡点、留白与情绪曲线
剪辑是把所有素材拼起来的过程。我用的是常规剪辑软件,操作不复杂,关键是节奏。
卡点:动作音效要和画面动作对齐。拳头击中目标的瞬间,打击音必须同步,差一帧都能感觉出来。
留白:不是每个镜头都要填满声音。关键台词之前留半秒静音,观众注意力会瞬间集中。
情绪曲线:一场戏有起承转合。开头铺垫用长镜头慢节奏,冲突升级加快剪辑频率,高潮用短镜头快切,结尾放缓留余韵。这条曲线在分镜阶段就要设计好,剪辑时执行。
6.4 导出参数与发布注意事项
导出设置:
| 参数项 | 推荐值 |
|---|---|
| 分辨率 | 1920x1080 |
| 帧率 | 24fps |
| 码率 | 10-15Mbps |
| 格式 | MP4 (H.264) |
| 音频 | AAC, 192kbps |
发布前检查:字幕有没有错别字,音量是否统一,片头片尾是否完整,封面图是否吸引人。这些细节决定完播率。
7. 常见问题与排查技巧实录
7.1 人物一致性问题的系统排查
人物不一致是最高频的问题。排查顺序:先看主体图库是否足够详细,再看参考图强度是否够高,最后看提示词里角色描述是否每次都有。三个环节任何一个偷懒,都会导致跑偏。
我的经验是,主体图库建得越细,后面越省心。一个角色至少要有正面、侧面、背面、三个表情,共六张标准图。特殊服装再加一套。
7.2 视频生成失败的典型原因
视频生成失败通常表现为:画面静止不动、人物扭曲、时长不足、首尾帧跳变。对应原因和解决:
| 现象 | 可能原因 | 解决 |
|---|---|---|
| 画面静止 | 运动强度太低 | 提高到中等 |
| 人物扭曲 | 运动强度太高 | 降低,改用镜头运动 |
| 时长不足 | 模型限制 | 拆成两个镜头 |
| 首尾跳变 | 参考图不一致 | 统一种子和参考图 |
7.3 提示词失效的底层逻辑
提示词写了一大堆,AI就是不听话,为什么?因为提示词有优先级。模型对前面的词更敏感,对具体名词更敏感,对抽象形容词不敏感。所以把最重要的信息放最前面,用具体名词代替形容词,是提示词设计的基本功。
另外,不同模型对提示词的理解能力不同。即梦对中文提示词理解较好,Seedance对结构化提示词响应更准。同一个提示词换工具,效果可能差很多。多试,找到每个工具的最佳表达方式。
7.4 效率提升:批量生成与模板复用
熟练之后,我会把常用提示词存成模板,换角色名和场景词就能复用。分镜表也做成模板,新项目直接填。主体图库建一次,同系列作品可以一直用。
批量生成时,我会一次性提交多个镜头,让工具排队跑,自己去处理其他工序。这样并行作业,整体效率能提升一倍以上。
8. 我个人的实操体会
这套流程我跑了大概半年,做了十几集短剧。最大的体会是:AI漫剧的门槛不在工具,在流程管理。工具每天都在更新,今天好用的明天可能就换了,但“拆镜头、建图库、控节奏、查质量”这套方法论是不变的。
另一个体会是,不要追求单镜头完美。一个镜头跑五次还不行,就换个思路,用剪辑和音效去弥补。观众看的是整体节奏,不是某一帧的细节。把精力花在分镜设计和剪辑节奏上,回报率远高于死磕一张图。
最后分享一个小技巧:每做完一集,把这一集里所有用到的提示词、参数、种子值整理成一个文档存档。下一集做同系列的时候,直接调用,一致性有保障,效率也高。这个习惯看起来麻烦,但长期来看省的时间远超整理的时间。