企业官网建设流程全解析

上次在做一个智能会议终端项目的时候，被“多说话人分离”这个需求实实在在折磨了一通。客户提的硬性要求是：不能依赖深度学习、不上GPU、还得能实时出结果。我翻了一圈发现，传统麦克风阵列信号处理在这个场景下完全能打，而且关键是好懂、可调试、没有黑盒。我最后收敛出来的一套流程，顺手起了个名字叫ReTM算法，全称是Real-time Spatial Masking，即“实时空间掩蔽”。这篇文章就把整条链路从硬件选型、算法原理到代码实现讲清楚，哪怕你之前只写过Python脚本、没接触过阵列信号处理，也能照着搭出一版能跑的多说话人分离系统。

1. 项目概述与核心思路

1.1 多说话人分离，为什么不一定要上深度学习

多说话人分离在学术圈有个很文艺的名字叫“鸡尾酒会问题”，就是几个人同时说话，怎么从混合的声音里把每个人的语音单独拎出来。现在主流方案确实是以深度学习为主，比如各种基于LSTM、Transformer、Conv-TasNet的模型，效果确实惊艳，但工程落地时你绕不开三座大山。

第一座是数据。你想分离两个人同时说话，就需要大量把单人干净语音和双人混合语音配对的训练数据。自己录的话，标注工作量大到怀疑人生；用公开数据集的话，又常常跟你的麦克风阵列结构、房间声学环境不匹配，迁移效果立刻打折。第二座是算力。哪怕是一个很轻量的分离模型，推理时也要跑几百万次浮点运算，在工控机或者PC上勉强能跑，放到嵌入式设备上基本属于奢望。第三座是调试。模型训练完是一个黑盒，如果它在某个方向、某个频段上分离效果突然变差，你很难知道是数据问题、模型结构问题还是训练超参问题。

但换一个角度想，既然我们手里有5个麦克风，每个说话人和阵列之间的空间位置关系是确定的，那为什么不直接用空间几何信息来做分离？两个人站在不同方向，声音到达每个麦克风的时间差一定不同，这个物理线索是天然可用的。深度学习本质上是在学一个从混合信号到干净语音的映射，而阵列信号处理是在用几何关系直接构造空间滤波器，后者不需要训练、不需要GPU、参数少且全部可解释。

1.2 ReTM算法到底是什么，它如何解决问题

ReTM不是IEEE论文里的某个标准命名，它是我在这类项目中沉淀出来的一套工程化流程的统称。核心思路可以拆成三步。

第一步，先定位。利用五通道麦克风信号，通过算法实时估计当前有几个人在说话、每个人在哪个方向。这一步在阵列信号处理里叫DOA估计，也就是Direction of Arrival。第二步，按方向“定向收音”。只要确定了说话人方向，就可以把五路信号按该方向做时间对齐后叠加，这就是波束形成。目标方向来的声音会因为同相叠加而增强，其他方向来的声音会因为不同相而减弱。第三步，做时频掩蔽。波束形成之后还会残留干扰，ReTM的做法是对每个时频点，根据该点的空间响应方向，出一个0到1的软掩蔽，把“不像是目标方向的能量”压下去，把“像目标方向的能量”保留下来。

为什么叫“时空掩蔽”？因为整个过程用的线索是每个时频点对应的空间方位，同时又在时间轴上做平滑处理，避免掩蔽值跳变导致音乐噪声。整套流程跑下来，不需要任何训练数据，也不需要装深度学习框架，一个Python脚本加一个麦克风阵列就能落地。

1.3 五麦克风比单、双麦克风强在哪

如果你手头只有一个麦克风，那理论上几乎无法做多说话人分离，因为单通道只记录了混合信号的波形，空间信息完全丢失，只能靠声纹、音高之类的非空间特征去猜，这恰恰是深度学习模型的领域。两个麦克风能提供一条基线方向信息，但它有个先天缺陷：左右对称模糊。两个人一个在阵列正前方、一个在正后方，双麦克风很难分辨，因为两者的到达时间差相同。

五麦克风如果按均匀圆阵来摆，可以做到360度无模糊定位。会议场景最常见的布局就是几个人围着一张桌子坐，阵列放在桌子中间，人分布在四面八方。如果用线阵或者双麦，后排说话人方向估计容易翻车，而五元圆阵天然就是为这种场景设计的。另外从自由度上讲，5个麦克风理论上可以形成4个零陷，足以同时压制多个干扰源，实际工程中压两路干扰最稳。

2. 硬件准备与信号采集要点

2.1 五麦克风阵列的三种选型方案

硬件是整套方案的地基。我试过三种路线，各自适用不同阶段，列个表给你对比一下。

我自己从快速验证到产品落地都走了一遍。最开始用ReSpeaker v2.0，插入电脑就能被系统识别成标准USB声卡，Windows和Linux都能直接录多轨音频，很适合先把算法流程跑通。后面要做小型化设备，换成了自研的五麦圆阵，用一颗带TDM接口的音频编解码芯片做同步采样，再通过USB把原始PCM数据传给上位机。

需要注意，如果你只是想学习算法，ReSpeaker性价比最高；如果你是在做量产设计，那要仔细评估麦克风单体一致性，最好选数字MEMS麦克风，比如INMP441或者ICS-43434，数字输出抗干扰能力强，一致性也会比驻极体好一个档次。

2.2 多通道同步采样与数据采集

多通道时间同步是整个波束形成的命根子。如果各路信号的时间偏差超过几十微秒，做时延补偿时误差会被直接放大，定位和波束都会出问题。以16kHz采样率为例，一个采样点的周期是62.5微秒，如果你的采集链路里路与路之间相差了三五个采样点，那定位角度很可能偏出十度以上。

所以不要图省事，用多块USB声卡去同时录音，那种方案几乎没有样本级同步能力。正确做法是用支持TDM模式的音频编解码器，比如ES8311、SGTL5000或者TLV320AIC3254，把五路麦克风的PDM或I2S数据在硬件层合并成一条同步数据流。像ESP32-S3的部分开发板，I2S外设就支持TDM模式，一帧能带多通道的数据，拿来直接采集五路麦克风非常合适。

软件采集层面，最简单的验证路径是用Python的sounddevice库，它可以读取多通道输入流。伪代码如下：

import sounddevice as sd # 6通道都录下来，取前5路作为阵列输入 duration = 10 # 录音秒数 samplerate = 48000 # 48kHz采样 channels = 6 recording = sd.rec(int(duration * samplerate), samplerate=samplerate, channels=channels, dtype="float32") sd.wait()

录完之后保存成WAV文件即可，推荐用24bit格式存原始采样，避免量化噪声干扰后续的时延估计。我自己在实验里还喜欢在阵列正前方约1米处拍一下巴掌，用来做离线延迟校验，后续如果发现各路信号起始点有偏差，就能一眼看出来。

2.3 阵列几何参数与空间混叠约束

麦克风阵列的摆放半径不是拍脑袋定的，它受空间混叠条件约束。均匀圆阵中，相邻麦克风的间距d决定了阵能够无歧义处理的最大频率：

f_max = c / (2d)

其中c是声速，约343m/s。五元圆阵中，半径r与相邻间距的关系是：

d = 2r · sin(36°) ≈ 1.1756r

我按不同半径算了一组数据，对应关系如下：

人说话的频率范围大约是80Hz到8kHz，其中有大部分语音能量集中在300Hz到3kHz。所以从表格看，半径3cm到4cm的阵列是最优解，能保证3kHz以上频段基本不产生空间混叠。当然，阵列半径越大，低频指向性越好，波束越窄，所以如果你主要处理的是男声低频段，4cm半径也会用，只是8kHz附近的定位会变差。我的建议是优先无混叠，选半径3.5cm到4cm，再在算法里把8kHz以上频段做低通衰减，反正人耳对高频分离误差的容忍度也低。

3. ReTM算法原理与Python实现

3.1 整体信号处理流程

进入算法核心之前，先建立完整流程的认知，免得陷在细节里出不来。ReTM的完整信号链如下：

多通道采集 -> 分帧加窗 -> STFT变换 -> DOA估计（SRP-PHAT）-> 波束形成（DAS加零陷）-> 时频掩蔽后处理 -> ISTFT -> 输出分离语音

每一级输出的数据形态是：采集后是5路时域波形，STFT后变成5个复频谱矩阵，DOA估计输出若干方向角，波束形成得到一个复频谱矩阵，掩蔽后还是一个复频谱矩阵，最后ISTFT还原成一路时域语音。整个过程用Python的numpy和scipy就能实现，不需要任何深度学习框架。

工程实现上我建议把STFT参数固定下来，不要每帧都重新分配内存。我常用的参数是采样率16kHz、帧长2048点（128ms）、帧移512点（32ms）、FFT点数2048、窗口函数用汉宁窗。帧长为什么取这么长？因为低频信号需要足够长的窗才分得清，比如100Hz的信号周期是10ms，如果你用20ms的窗，低频分辨率就很差；但帧长太长又会牺牲时间分辨率，导致说话人方向变化时反应迟钝。128ms是一个均衡值。

3.2 DOA估计：SRP-PHAT定位说话人方向

DOA估计的经典方法有很多，比如MUSIC、ESPRIT，但它们在工程上需要准确估计协方差矩阵，而且对麦克风幅相一致性敏感。ReTM里我推荐用SRP-PHAT，即Steered Response Power with Phase Transform，它本质上是把阵列“扫描”每一个候选方向，计算如果声音从该方向来，各路信号经过时延补偿后加起来能量有多大。能量最大的方向就是声源方向。

PHAT加权的作用是去掉各通道信号的幅度影响，只保留相位信息，这样在混响环境下更鲁棒。SRP-PHAT的离散实现可以不用显式计算每个候选方向的“导向向量”，而是直接用广义互相关累加：

P(θ) = Σ_i Σ_j R_ij(τ_ij(θ))

其中R_ij(τ)是通道i和通道j之间经过PHAT加权的广义互相关函数，τ_ij(θ)是假设声源在θ方向时两个通道之间的时间差。由于我们每帧都要实时估计，全遍历360度会有一定计算压力，我一般分粗搜和细搜两步：粗搜步长5度，锁定峰值附近区域，再以0.5度步长细化，实时性完全够用。

给一段核心代码，输入是当前帧的频域数据，输出是能量最高方向角：

import numpy as np def srp_phat_doa(X, mic_pos, theta_grid, fs, c=343.0): """ X: 多通道频域数据，shape (channels, freqs) mic_pos: 麦克风坐标，shape (channels, 2) theta_grid: 候选角度数组 """ n_channels = X.shape[0] freqs = np.fft.rfftfreq(2 * (X.shape[1] - 1), 1 / fs) omega = 2 * np.pi * freqs powers = np.zeros(len(theta_grid)) for i, theta in enumerate(theta_grid): direction = np.array([np.cos(np.deg2rad(theta)), np.sin(np.deg2rad(theta))]) tau = mic_pos @ direction / c # 每个麦相对原点的时延 # 相位补偿后累加 Y = X * np.exp(1j * omega * tau[:, None]) # (channels, freqs) powers[i] = np.abs(np.sum(Y, axis=0)).sum() best_idx = np.argmax(powers) return theta_grid[best_idx]

注意，这里的omega * tau是按每个通道的绝对时延来补偿的，如果两个声源同时说话，谱峰上可能会有多个峰。我的做法是：先找到全局最大值对应的角度作为第一说话人，然后把该方向附近的响应区域清零，再找下一个峰作为第二说话人。实际效果比直接聚类更简单可靠。

3.3 波束形成与干扰零陷抑制

DOA估计得到目标方向和干扰方向之后，就可以设计空间滤波器。ReTM用一个加权向量w对5个通道做线性组合：

y(k,n) = w^H x(k,n)

其中x(k,n)是频率点k、时间帧n的5维频域向量。为了让目标方向增益为1、干扰方向增益为0，我们解一个约束最小二乘问题：

w^H a(θ_target) = 1w^H a(θ_interf1) = 0w^H a(θ_interf2) = 0

这里a(θ)是对应方向的导向向量，即各通道在该方向上的相位延迟。5个麦克风给5个自由度，除了满足上述3个约束，还有2个自由度可以被用于最小化背景噪声输出，可以用np.linalg.pinv直接求最小范数解。

从实现上看，你甚至不需要每次都重新算线性方程组，可以直接用“延迟求和波束 + 零陷投影”的方式：

def compute_beamformer(steer_target, steer_interf): """ steer_target: 目标方向导向向量 steer_interf: 干扰方向导向向量矩阵，shape (n_interf, channels) """ n_mic = steer_target.shape[0] # 初始化目标方向的常规延迟求和波束 w = steer_target / n_mic # 对干扰方向施加正交投影，削出零陷 if len(steer_interf) > 0: A = np.stack(steer_interf, axis=0) # (n_interf, channels) # 将w投影到A的行空间零空间 # 先用QR分解求A^H的零空间基，这一步要保证矩阵满秩 Q, R = np.linalg.qr(A.conj().T, mode="reduced") w_zero = np.eye(n_mic) - Q @ Q.conj().T w = w_zero @ w return w

实测下来，两个干扰源距离目标方向20度以上时，这种零陷波束能把干扰压掉6到10dB。如果干扰方向离目标方向太近，比如小于15度，零陷会吃掉目标信号本身的很多能量，这时候我宁可放弃削零陷，只做基本的延迟求和，把分离任务交给后面的时频掩蔽。

3.4 时频掩蔽后处理：ReTM的核心

波束形成输出之后，实际上还没有彻底完成分离，因为波束主瓣不够窄，干扰方向仍会漏进来。ReTM的最后一个关键步骤是时频掩蔽。

思路是这样的：每一个时频点，都可以看成是某个方向的“局部声源”贡献的。如果能估计出这个时频点的主方向，就能判断它属于目标说话人还是干扰说话人。具体做法是，对每个时频bin，遍历候选角度，找出该bin在哪个方向上“响应最强”，然后把响应方向与目标方向比较。

我实际使用的掩蔽计算比上一节整体DOA更精细，不过为了效率，并不需要对所有频点都做全角度搜索。工程实现上可以采用“相位差查表”的办法：预先计算每个频点对应每个候选角度的理想相位差，然后直接用各通道相位差和理想值做余弦相似度，相似度越高，该时频点越可能来自该方向。

掩蔽值不取二值的0或1，而是取软掩蔽：

mask(k,n) = exp(-dist(θ_peak(k,n), θ_target)^2 / (2σ^2))

其中dist是循环角度差，σ控制软掩蔽的锐度，通常取15到30度。这个公式的作用是，当某个时频点的主导方向正好是目标方向，掩蔽值接近1；偏离目标方向越远，掩蔽值越小。干扰方向即使被波束漏进来，也会被这个掩蔽再压一刀。

软掩蔽生成之后，还要在时间轴上做平滑，这一步是消除音乐噪声的关键。我常用一个长度约5帧的中值滤波：

from scipy.ndimage import median_filter mask_smooth = median_filter(mask, size=(1, 5), mode="nearest")

中值滤波能去掉掩蔽值中孤立的异常跳点，让增益变化变得平缓。最后把平滑后的掩蔽乘到波束输出上：

y_clean(k,n) = mask_smooth(k,n) · y_beam(k,n)

再经过ISTFT，就能得到一路相对干净的语音。需要说明的是，这里对每一个目标方向都要走一遍“波束形成 + 掩蔽”流程，所以最终会输出两路甚至三路独立的语音文件。掩蔽要按说话人各自的DOA分开计算，否则两个说话人的信号会互相穿帮。

3.5 从STFT到完整分离代码骨架

把上面几个模块串起来，一个最小可运行的分离流程大概是这个样子：

import numpy as np def separate_speakers(multichannel_signal, thetas, n_fft=2048, hop=512, fs=16000): """ multichannel_signal: (channels, samples) thetas: 需要分离的目标方向列表，例如 [theta1, theta2] """ n_channels, n_samples = multichannel_signal.shape # 1. STFT X = [] for ch in range(n_channels): _, _, Z = stft(multichannel_signal[ch], n_fft, hop) X.append(Z) X = np.stack(X, axis=0) # (channels, freq, frames) outputs = [] for target in thetas: # 2. 波束形成，干扰方向取thetas中除target之外的 interf = [t for t in thetas if t != target] # 导向向量计算省略具体代码 w = compute_beamformer(steer(target), [steer(t) for t in interf]) beam_out = np.einsum("c,cfn->fn", w.conj(), X) # 3. 时频掩蔽，用SRP-PHAT按频点对每个时频点做方向估计 mask = compute_time_frequency_mask(X, target, thetas) mask = median_filter(mask, size=(1, 5), mode="nearest") cleaned = beam_out * mask # 4. ISTFT t = istft(cleaned, n_fft, hop) outputs.append(t) return outputs

你在真正实现时，还需要把STFT封装好，注意分析窗和合成窗的综合窗函数，公共的做法是使用scipy.signal.stft和scipy.signal.istft，或者自己用汉宁窗做重叠相加。我在开发时就踩过窗函数的坑，如果分析窗和合成窗不匹配，输出波形会有明显的幅值起伏，听起来像喘气声。

4. 仿真验证与真机调参

4.1 用pyroomacoustics快速验证算法

在真机上反复试错成本高，变量也多。我习惯先在仿真环境里把算法跑通，再上真机。这里推荐用pyroomacoustics库，它可以生成任意房间尺寸、混响时间、多声源和多麦克风的语音混合信号。

仿真流程很简单：定义房间大小、麦克风阵列位置、声源位置、混响时间，然后调用库函数生成多通道录音。我自己常用一个6m×5m×3m的房间，两个说话人分别在阵列左侧60度和右侧-40度，距离都是1.5米，T60设置为0.3秒，这样仿真数据能对齐算法预期，调试起来非常顺手。

用仿真数据调试的好处是，你可以直接拿到真实的DOA标签和干净的分离目标，直接计算SDR、STOI之类的量化指标。如果你在仿真里就已经分离得很差，就不要上真机浪费时间了。只有仿真效果合格，才需要考虑麦克风幅相不一致、底噪、环境混响等真机问题。

4.2 麦克风一致性校准

真机上最坑人的一个问题是各麦克风的幅度和相位响应不一致。即使是同一批次的MEMS麦克风，幅频响应也会有±1dB左右的偏差，相位偏差在高频段尤其明显。这种不一致会让“导向向量”和实际不符，DOA估计出现系统偏移，波束形成的零陷深度也会下降。

我的校准方法是：在离阵列1米左右的正前方播放一个白噪声或线性扫频信号，记录5路信号，然后以第一个麦克风为参考，计算每一路的频域传递函数：

H_ch(f) = X_ch(f) / X_ref(f)

然后把这个传递函数的倒数做成一个频域补偿滤波器，在算法预处理阶段乘到对应通道上。这个校准做一遍就行，只要麦克风位置不发生机械变化，结果可以长期使用。注意校准环境尽量安静，混响越小越好，否则校准滤波器会把房间混响也补偿进去，反而弄巧成拙。

4.3 关键参数表与调参经验

我把ReTM这套流程里最影响效果的参数整理成一个表，方便你对照排查问题。

调参时我的经验是“先粗后细”。先用大帧长、大平滑窗，确保分离结果不炸，再逐步减小平滑窗和σ，提升清晰度。如果你一开始就追求“通透”的感觉，把掩蔽做得太锐利，极大概率会得到一堆吱吱响的音乐噪声。

5. 常见问题与排查技巧实录

5.1 分离输出有“音乐噪声”怎么办

音乐噪声是时频掩蔽最常见的副作用，它的听感是背后有一种“水声”或者“铃声”一样忽强忽弱的怪响，原因是掩蔽增益在相邻时频帧之间剧烈跳变，产生人为的谱线闪烁。

排查和解决顺序如下：先确认掩蔽值是否做了时间轴平滑，没有平滑基本必出音乐噪声；其次把软掩蔽的σ调大一点，让掩蔽不要下探到0附近的深谷，一般给一个下限，比如0.1到0.3，不要完全消掉噪声；最后可以在STFT域加一个低强度的谱减法做噪声地板估计，把残留噪声抹平一些。

我给一个经验判断标准：如果分离后的语音听起来“干净但发闷”，说明掩蔽压得过头了，适当放松σ；如果“自然但背后有吱吱声”，就是平滑不够，加大中值滤波帧数。

5.2 两个说话人方向检测经常跳变

DOA跳变常见于两种场景：一是帧长太短，帧间噪声波动导致SRP-PHAT峰值在几个方向间乱跳；二是混响严重，反射声在某几帧里压过了直达声，峰值点被吸到墙面方向。

处理方法熟能生巧：第一步，把帧长从1024提到2048，让每一帧的频域估计更稳定；第二步，对DOA序列做时间域的平滑，不要直接用单帧的估计结果，我做法是维护一个最近10帧的方向观测，用滑动窗口取众数，或者做一个简单的卡尔曼滤波；第三步，结合语音活动检测，只在检测到语音的帧更新DOA，静音帧保持原值，这样能避免在无人说话时定位到随机噪声源。

5.3 混响和低信噪比环境效果差

混响和低信噪比是传统阵列方案的天敌。混响会让阵列收到大量来自墙壁的反射声，这些反射声方向杂乱，会干扰DOA估计，也会让时频掩蔽产生误判。SNR低时，掩蔽会把噪声误当成目标信号保留，或者把目标信号误当成噪声压掉。

我能给的建议比较实在：第一，优化设备摆放，阵列尽量远离墙面，至少离墙0.5米以上，说话人尽量靠近阵列，2米以内效果最好，超过3米效果断崖式下降；第二，在算法前端加一个多通道维纳滤波或者简单的谱减法，先把底噪压低再去估计DOA；第三，不要指望纯后处理能解决一切，如果房间T60超过1秒，建议先在物理上做吸音处理。

混响时间T60与分离效果的关系，我实测过一组数据，参考价值如下：

这里的SDR提升指的是目标说话人相比混合输入信干比提升的分贝数，数值大代表分离更彻底。如果你的实测环境比这张表差很多，通常先排查麦克风校准和DOA稳定性问题，不要急着改算法。

5.4 实际效果测试数据参考

最后给一组我自己在办公室环境下的测试数据，房间尺寸约5m×4m×2.8m，混响时间约0.4s，说话人距阵列1.2米，两人同时朗读新闻稿，采样率48kHz。

从数据能看出来，两个说话人角度差保持在30度以上，ReTM的效果对实际会议记录场景是够用的。如果角度差只有15度，任何传统的纯空间分离方法都会遇到瓶颈，这时候才需要真正考虑深度学习模型来补刀。

个人体会是，这个方案最大的价值不是把分离效果做到极致，而是让你能掌控每一个环节。项目交付时，客户问“为什么分离效果不好”，你能直接量化回答“因为两个人坐得太近，角度差只有12度，超出了阵列物理极限”。这种可控、可解释的工程方案，在实际落地中比一股脑堆模型更让人安心。如果你后面想继续扩展，可以在这个框架上加入回声消除、自动增益控制和声纹识别，把它做成一个完整的语音前端系统。