企业官网建设流程全解析

MIDI 到音频的神经网络合成：采样率与声部独立的权衡

一、MIDI 符号到音频波形：中间的鸿沟有多大

MIDI 文件本质是一张"乐谱指令表"——哪个音、什么时候按下、多大力、什么时候抬起。把它变成可听的 .wav 文件，传统做法是加载采样音源库（SoundFont、Kontakt），把每个 MIDI 音符映射到预录的音频片段。

这条路的问题很明确：音源库动辄几十 GB，加载耗时、切换音色受限，且不同乐器之间的音色一致性不可控。一段同时有钢琴、贝斯、鼓的 MIDI，需要同时加载三个采样库，内存占用爆炸。

神经网络合成换了个思路：不用预录样本，直接用模型从 MIDI 参数（音高、力度、时长）生成音频波形。这条路对计算资源要求高，但换来的是任意音色生成 + 极低的磁盘占用。

flowchart TD A[MIDI 输入] --> B[事件解析器] B --> C[音符事件序列] C --> D[声部分离器] D --> E[钢琴声部] D --> F[贝斯声部] D --> G[鼓组声部] E --> H[独立合成器 1] F --> I[独立合成器 2] G --> J[独立合成器 3] H --> K[44.1kHz 波形] I --> L[44.1kHz 波形] J --> M[44.1kHz 波形] K & L & M --> N[混音引擎] N --> O[Master 输出]

二、采样率与声部独立的双重权衡

采样率维度

神经网络合成器需要在时域上采样。常见选择：

• 16kHz：语音级别，带宽 8kHz，音乐中高频泛音丢失严重
• 24kHz：折中选择，带宽 12kHz，可覆盖大部分乐器基频，但镲片类泛音仍有损失
• 44.1kHz：CD 级别，带宽 22.05kHz，Full-band 音乐应用的最低门槛
• 48kHz：专业音频标准，略高于 44.1kHz

生成 44.1kHz 比 24kHz 的计算量大约是 (44100/24000)² ≈ 3.4 倍——因为模型需要在时域上一次性生成更多采样点，且高频部分的注意力更分散。

声部独立维度

一个 MIDI 轨可能有多种乐器。合成方法两种：

• 联合合成：所有声部一起丢给模型，模型学习内部混音
• 独立合成：每个乐器单独合成，最后在时域叠加混音

联合合成的优势是声部间自然的频率掩蔽和相位关系。独立合成的优势是每轨可以独立调节音色和音量，但叠加时可能出现相位抵消和削波。

三、独立声部合成 + 混音引擎

import numpy as np import torch import torch.nn as nn from dataclasses import dataclass from typing import Optional @dataclass class SynthesisConfig: sample_rate: int = 44100 num_mel_bins: int = 80 hop_length: int = 256 win_length: int = 1024 # 每个声部的最大 polyphony 数——限制是为了防止显存溢出 max_polyphony: int = 6 class PerStemSynthesizer(nn.Module): """逐声部合成器。 设计决策： - 每个乐器声部独立走合成 pipeline，最后 CPU 端叠加 - 这样做是因为不同乐器的频谱特征差异巨大（钢琴 vs 镲片） - 联合合成往往导致低频乐器（贝斯）被高频乐器（镲片）淹没 """ def __init__(self, config: SynthesisConfig): super().__init__() self.config = config # 每个声部共享同一个 decoder 结构但参数独立 self.decoders = nn.ModuleDict() def register_stem(self, name: str) -> None: """注册声部类型。每种乐器一个独立 decoder。""" if name not in self.decoders: self.decoders[name] = StemDecoder(self.config) def synthesize( self, midi_events: dict[str, torch.Tensor], global_context: Optional[torch.Tensor] = None, ) -> np.ndarray: """主合成入口。 Args: midi_events: {乐器名: [batch, seq, features]} 字典 global_context: 全局条件（如 BPM、调性） Returns: np.ndarray: shape [samples] 的混音后浮点波形 """ stem_waveforms: list[np.ndarray] = [] for stem_name, events in midi_events.items(): if stem_name not in self.decoders: continue # 未注册乐器跳过 decoder = self.decoders[stem_name] with torch.no_grad(): # shape: [batch, seq, audio_samples] waveform = decoder(events, global_context) # 移除 batch 维度，转为 numpy waveform_np = waveform.squeeze(0).cpu().numpy() # 峰值归一化：每个声部独立归一化后再叠加 # 避免某个声部信号过强覆盖其他声部 peak = np.abs(waveform_np).max() if peak > 0: waveform_np = waveform_np / peak stem_waveforms.append(waveform_np) return self._mixdown(stem_waveforms) def _mixdown(self, waveforms: list[np.ndarray]) -> np.ndarray: """多轨混音。 关键处理： 1. 对齐长度：补零到最长波形 2. 叠加求和 3. Soft clipping：防止叠加后样本值溢出 [-1, 1] """ if not waveforms: return np.zeros(0, dtype=np.float32) max_len = max(len(w) for w in waveforms) padded = [ np.pad(w, (0, max_len - len(w))) for w in waveforms ] mix = np.sum(padded, axis=0) # Soft clipping: tanh 映射，比硬裁剪更自然 gain = 0.85 / (np.abs(mix).max() + 1e-8) mix = np.tanh(mix * gain) return mix.astype(np.float32) class StemDecoder(nn.Module): """单声部解码器——将 MIDI 事件转为音频波形。""" def __init__(self, config: SynthesisConfig): super().__init__() self.sample_rate = config.sample_rate # 上采样网络：从帧级特征放大到采样级波形 # 输入帧数 = 音频时长 / hop_length # 输出采样数 = 音频时长 * sample_rate self.upsample = nn.Sequential( nn.ConvTranspose1d(512, 256, kernel_size=16, stride=8), nn.LeakyReLU(0.2), nn.ConvTranspose1d(256, 128, kernel_size=16, stride=8), nn.LeakyReLU(0.2), nn.ConvTranspose1d(128, 64, kernel_size=16, stride=8), nn.LeakyReLU(0.2), nn.ConvTranspose1d(64, 1, kernel_size=16, stride=8), nn.Tanh(), ) def forward( self, events: torch.Tensor, global_ctx: Optional[torch.Tensor] ) -> torch.Tensor: x = events.transpose(1, 2) return self.upsample(x)

四、性能与质量边界

实时性边界

在 V100 GPU 上，合成 10 秒 44.1kHz 立体声音频（4 声部）约需 1.2 秒。距离实时（< 10ms）还有巨大差距。当前神经网络合成只能离线使用，实时交互必须使用传统采样合成。

质量边界

• 音高准确性：基频准确率 > 95%，但泛音结构可能不自然（谐波缺失）
• 长音衰减：持续 5 秒以上音效的自然衰减是难点，模型容易在 2 秒后产生噪音
• 打击乐音头：钢琴和鼓的起音（attack）阶段是最难合成的，因为瞬态特征在频域上分布极广

适用场景

• 离线音乐生成 + 渲染 pipeline
• 需要动态切换音色但不需要高保真度的场景
• 快速原型 / demo 制作

五、结语

MIDI 到音频的神经网络合成还处于"能用但不够好"的阶段。声部独立合成 + 后混音是目前工程上最可行的折中——它在音色控制和计算效率之间找到了一个可用的平衡点。但如果你追求的是商业级音频质量，传统采样合成在可预见的未来仍是首选。