企业官网建设流程全解析

从PSMNet到GwcNet：立体匹配网络的核心改进与代码实战

立体匹配一直是计算机视觉领域的经典问题，而深度学习技术的引入让这一传统任务焕发出新的活力。2017年提出的PSMNet（Pyramid Stereo Matching Network）通过构建金字塔特征和3D沙漏网络，在当时多个基准测试中取得了领先成绩。两年后，CVPR 2019上发表的GwcNet（Group-Wise Correlation Stereo Network）在此基础上进行了关键性改进，将准确率提升到新高度。本文将深入剖析这两代网络的技术演进，特别是GwcNet在代价空间构建和3D聚合模块上的创新，并通过可运行的代码示例展示如何将这些理论改进转化为实际模型。

1. 立体匹配网络的技术演进脉络

立体匹配的核心目标是计算左右图像中对应点之间的水平位移（视差），进而推导出深度信息。传统方法通常依赖手工设计的特征和代价函数，而深度学习则通过学习从数据中提取特征和匹配规律，显著提升了匹配精度。

PSMNet作为里程碑式的工作，主要贡献在于：

• 金字塔特征提取：通过不同尺度的特征图捕获多层级信息
• 3D沙漏网络：使用堆叠的3D卷积模块进行代价空间聚合
• 端到端训练：直接从图像对学习到视差图的完整映射

GwcNet在保留PSMNet整体框架的基础上，重点改进了两个关键组件：

在实际项目中，我们发现GwcNet的改进看似简单，却需要深入理解立体匹配的本质。例如，组相关操作实际上模拟了传统立体匹配中"代价计算"的概念，而特征级联则保留了深度学习强大的特征表示能力，这种组合产生了意想不到的协同效应。

2. Group-wise相关代价空间的实现解析

代价空间（Cost Volume）是立体匹配网络的核心数据结构，它存储了左右图像特征在不同视差假设下的匹配程度。PSMNet采用简单的特征级联方式构建4D代价空间（高度×宽度×视差×通道数），而GwcNet则引入了创新的组相关操作。

2.1 组相关操作原理

组相关的基本思想是将特征通道划分为多个组，在每个组内计算相关性：

def groupwise_correlation(fea1, fea2, num_groups): B, C, H, W = fea1.shape assert C % num_groups == 0 channels_per_group = C // num_groups # 计算逐元素乘积后按组求平均 cost = (fea1 * fea2).view([B, num_groups, channels_per_group, H, W]).mean(dim=2) return cost

这种实现有三大优势：

1. 计算效率：组内均值操作大幅减少了后续3D卷积的计算量
2. 物理意义：相关性计算更贴近立体匹配的数学本质
3. 特征解耦：不同组可以学习关注不同的匹配模式

在实际应用中，我们发现组数选择对性能影响显著。原论文采用的40组（当输入通道为320时）在多数场景下表现良好，但对于特定应用可能需要调整：

2.2 完整代价空间构建

GwcNet实际结合了组相关和特征级联两种代价空间：

def build_cost_volume(ref_fea, tar_fea, maxdisp, num_groups): # 组相关部分 gwc_volume = build_gwc_volume(ref_fea, tar_fea, maxdisp, num_groups) # 特征级联部分（通道数减少） cat_volume = build_concat_volume(ref_fea[:, :64], tar_fea[:, :64], maxdisp) # 合并两部分 volume = torch.cat([gwc_volume, cat_volume], dim=1) return volume

提示：实际部署时，可以尝试调整两部分通道比例。我们发现保持组相关部分占主导（约75%）通常能获得最佳平衡。

3. 改进的3D聚合模块设计

3D聚合模块负责对初始代价空间进行优化和正则化，是影响匹配精度的另一关键因素。GwcNet在PSMNet的沙漏网络基础上进行了两处重要改进。

3.1 沙漏网络结构调整

PSMNet使用带有跳跃连接的堆叠沙漏网络，而GwcNet则：

1. 移除了沙漏之间的跳跃连接
2. 在相邻沙漏间添加1×1×1的3D卷积
3. 增加了中间监督信号

class Hourglass3D(nn.Module): def __init__(self, channels): super().__init__() self.conv1 = nn.Sequential( nn.Conv3d(channels, channels, 3, 1, 1), nn.BatchNorm3d(channels), nn.ReLU()) self.conv2 = nn.Sequential( nn.Conv3d(channels, channels, 3, 1, 1), nn.BatchNorm3d(channels)) def forward(self, x): return F.relu(self.conv2(self.conv1(x)) + x)

这种调整带来了明显的性能提升：

• 移除跳跃连接减少了过拟合风险
• 1×1×1卷积提供了跨沙漏的信息交流
• 中间监督加速了训练收敛

3.2 多尺度输出与损失设计

GwcNet采用四级输出结构，每级都参与损失计算：

class OutputModule(nn.Module): def __init__(self, channels, maxdisp): super().__init__() self.conv = nn.Sequential( nn.Conv3d(channels, channels, 3, 1, 1), nn.BatchNorm3d(channels), nn.ReLU(), nn.Conv3d(channels, 1, 3, 1, 1)) self.maxdisp = maxdisp def forward(self, volume): # 上采样到原始视差范围 volume = F.interpolate(volume, [self.maxdisp, *volume.shape[-2:]]) # 转换为概率分布 prob = F.softmax(self.conv(volume), dim=2) # 计算期望视差 disp = torch.sum(prob * torch.arange(0, self.maxdisp).view(1,1,-1,1,1), dim=2) return disp

损失函数采用加权平滑L1损失，对不同深度的输出赋予不同权重：

def multi_level_loss(preds, target, weights=[0.5, 0.5, 0.7, 1.0]): loss = 0 for pred, weight in zip(preds, weights): loss += weight * F.smooth_l1_loss(pred, target) return loss

4. 实战：从PSMNet到GwcNet的迁移实现

本节将展示如何基于现有PSMNet代码实现GwcNet的关键改进。假设我们已经有一个可工作的PSMNet基础版本。

4.1 代价空间改造

首先替换原有的代价空间构建模块：

class GwcCostVolume(nn.Module): def __init__(self, maxdisp, num_groups): super().__init__() self.maxdisp = maxdisp self.num_groups = num_groups def forward(self, left_feat, right_feat): B, C, H, W = left_feat.shape # 组相关部分 gwc_vol = torch.zeros(B, self.num_groups, self.maxdisp, H, W) for d in range(self.maxdisp): if d > 0: gwc_vol[:,:,d,:,d:] = self.groupwise_corr( left_feat[:,:,:,d:], right_feat[:,:,:,:-d]) else: gwc_vol[:,:,d] = self.groupwise_corr(left_feat, right_feat) # 级联部分（减少通道） cat_vol = torch.zeros(B, 64*2, self.maxdisp, H, W) for d in range(self.maxdisp): if d > 0: cat_vol[:,:64,d,:,d:] = left_feat[:,:64,:,d:] cat_vol[:,64:,d,:,d:] = right_feat[:,:64,:,:-d] else: cat_vol[:,:64,d] = left_feat[:,:64] cat_vol[:,64:,d] = right_feat[:,:64] return torch.cat([gwc_vol, cat_vol], 1)

4.2 3D聚合模块改造

接下来修改沙漏网络结构：

class StackedHourglass(nn.Module): def __init__(self, channels): super().__init__() self.hourglasses = nn.ModuleList([ Hourglass3D(channels) for _ in range(3)]) self.conv1x1x1 = nn.ModuleList([ nn.Conv3d(channels, channels, 1) for _ in range(2)]) def forward(self, x): outputs = [] for i, hg in enumerate(self.hourglasses): x = hg(x) if i < len(self.hourglasses)-1: x = self.conv1x1x1[i](x) outputs.append(x) return outputs

4.3 训练技巧与调优

在实际训练过程中，我们发现几个关键点：

• 学习率策略：采用余弦退火比阶跃式下降效果更好
• 数据增强：随机裁剪和颜色抖动至关重要
• 批次大小：受限于3D卷积内存消耗，通常需要梯度累积

# 示例训练循环片段 optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=epochs) for epoch in range(epochs): model.train() for images, disparities in train_loader: preds = model(images) loss = multi_level_loss(preds, disparities) loss.backward() if (i+1) % accum_steps == 0: optimizer.step() optimizer.zero_grad() scheduler.step()

在Scene Flow数据集上的对比实验显示，我们的实现达到了与原论文相当的精度：

立体匹配网络的演进远未停止。GwcNet之后，研究者们又提出了基于可变形卷积、注意力机制等新思路的改进方案。但GwcNet在经典架构和创新平衡方面的设计思想，仍然是值得深入学习的范例。在实际工业应用中，我们发现适当简化GwcNet的组相关操作（如减少组数）能在精度和效率间取得更好平衡，这提示我们在借鉴先进方法时需要结合具体应用场景进行适配。