你把一段现场视频里的音频提取出来,用人声分离拆成人声和伴奏两条轨,准备做二创。单听每条都还行:人声干净,伴奏也齐整。可一旦把两轨叠回去,麻烦就来了——人声不是被伴奏盖住,就是推上去以后过于抢耳,两条轨怎么摆都别扭。回头看原曲,人家明明是平的。
多数人的第一反应是分离工具没做好,或者怀疑自己手法不对。这里有个普遍误解:以为分离软件会顺手把两条轨的音量也配平。分离模型的任务只有一个——把混在一起的两路信号拆开,让每条轨尽量干净。拆完之后两条轨各自的绝对电平是多少,取决于实现里怎么归一化,并没有统一约定。
底层原理:掩码是逐点估计
主流分离模型的流程是:先做短时傅里叶变换(STFT)把波形拆成时频图,再对每个时频点估计一个 0 到 1 之间的系数构成掩码(mask),乘回频谱后逆变换成波形。人声轨和伴奏轨是两次独立的估计结果。理论上理想掩码能让两轨相加还原原曲,但估计掩码做不到——相邻时频点之间没有硬性约束,误差落在哪条轨上并不确定。
结果就是,分离出来的人声轨通常比原曲里的人声低 2 到 6dB,而伴奏轨反而可能被抬高。这个偏差不是缺陷,是模型的正常产物。
还有一种情况是两条轨各自做了峰值归一化:为了不让任何一条削波,实现会把每条轨分别缩放到接近满刻度。两轨都被单独拉过一遍,原本的比例关系就被打乱了。这也是为什么同一首歌换一个工具处理,两条轨的电平差会变成一个完全不同的数值。
另一个容易踩的坑是拿峰值当参照。峰值(Peak)只记录最响的那个采样点,不反映人耳感知的整体响度。人声是稀疏信号,峰值高但平均能量低;伴奏里的鼓和贝斯两者都高。盯着波形高度去调比例,越调越偏。
三个参照:先定基准,再定比例,最后留余量
参照一:以整体响度而不是峰值做基准
要比较两条轨谁更响,用的是整体响度(Integrated Loudness),单位 LUFS。算法按 ITU-R BS.1770 做 K 加权,再按短时窗口算能量、做门限处理把静音段剔出统计,更接近人耳的实际感受。两条轨各测一遍,才知道差在哪、差多少。测量片段至少 30 秒,太短门限统计不稳定。
参照二:定两条轨的相对电平差,而不是各自往很响推
人声是主角,先把它放进目标区间——口播和翻唱场景通常落在 -16 到 -14 LUFS。伴奏不是不能响,而是要和它拉开距离:伴奏整体比人声低 6 到 10 LU 比较常见,鼓强的曲目往大值取。这个相对差比两个绝对值更重要,因为平台归一化最终看的是整体,两轨的相对关系才是平衡感的来源。
如果伴奏是纯器乐、密度高,差值可以放到 8 到 10 LU;如果伴奏里还留着和声或伴唱,差值收窄到 6 到 8 LU,避免人声被顶得孤零零。
参照三:导出前校验真峰值,留 -1dBTP 余量
两条轨重新叠成一条成品后,峰值会比单轨更高——同相叠加会累加电平,处理过程中也可能出现瞬时过冲。导出前测一次真峰值(True Peak,dBTP),把天花板定在 -1.0dBTP,给后面的有损编码和平台重编码留出漂移余地。不然一个原本卡在 -0.1dBFS 的文件,转码后真峰值冲过 0 就是细碎的破音。
能力边界:三个参照也救不回来的东西
第一,补不回分离时已经损失的人声细节。掩码误判吃掉的成分,靠提电平只会把它周围的残留一起放大,不等于恢复原信号。
第二,调不平相位和时域没对齐的问题。两条轨叠加时若存在相位差,某些频段会互相抵消,听感发虚或单薄,推电平不解决,得回到对齐环节。
第三,预测不了平台归一化之后的结果。各家目标值、是否启用真峰值限制都是内部策略且会变动。能做的是把成品落在合理区间,不是精确迎合某一个数字。
第四,没有客观指标能一键判定「这个比例对不对」。可参照的做法是把成品与原曲做增益对齐后 A/B 试听同一段落,重点听人声是否始终在伴奏前方、副歌处有没有被盖住。
把顺序理清楚,比反复推管用
把上面三条压缩成一条操作原则:先量,再定比例,最后留余量。
第一步,先看清原料。原曲若已有明显底噪、或本就是低码率有损文件,先在分离之前处理噪声、换尽量高码率的源。模型输入越干净,两条轨的估计误差都越小,这一步对应上面讲的输入分布问题。
第二步,分离按内容选模型。两轨够用就别开多轨,轨数越多每轨承担的估计误差越大。AIFooler 的网页端在浏览器里打开就能选模型和轨数,处理完逐轨试听再决定导出哪几轨。它处理的是你上传的本地音视频文件,不支持粘贴链接让它在线抓取解析。
第三步,量完再摆。先按参照一把两条轨各测一遍整体响度,再用参照二把相对差拉到 6 到 10 LU,最后按参照三确认成品真峰值不越 -1.0dBTP。
第四步,验收。把成品与原曲做增益对齐后 A/B 试听,确认人声在副歌处仍然站得住,再交付。
收尾:平衡是相对关系,不是绝对值
分离出来的人声轨和伴奏轨本来就没有义务在电平上还原原曲,比例是你要重新定的。与其在两个绝对值上反复拧,不如先把基准(LUFS)、比例(相对电平差)、余量(真峰值)这三件事按顺序定死。搞清楚哪一步在引入偏差,比不停重跑参数更省时间。