企业官网建设流程全解析

论文题目：An efficient and lightweight pyramid attention for image deblurring（用于图像去模糊的高效轻量级金字塔注意力）
期刊：Pattern Recognition，2026

摘要：有效利用多尺度信息能够提升图像去模糊性能。尽管已有多种多尺度注意力机制被提出，但这些注意力机制引入的较大开销限制了其在图像去模糊网络中的广泛应用。本文提出一种高效轻量级金字塔注意力（Efficient Pyramid Attention，EPA），仅增加少量参数和计算成本。具体而言，EPA 首先采用轻量级通道注意力（LCA）模块捕获全局信息，随后使用轻量级深度卷积提取多尺度特征，最后通过一种简化的通道自注意力模块——动态双尺度特征融合（DTFF）——聚合不同尺度的信息。与传统通道自注意力不同，DTFF 采用两项独特技术：以原始输入替代查询 Q 或键 K，并利用通道锚定注意力动态聚合不同尺度的信息。为了进一步展示 EPA 的潜力，本文还设计了一种基于 EPA 的高效网络 EPA-Net。实验结果表明，EPA 能以较小的额外开销持续改善已有去模糊网络的性能，而 EPA-Net 在有效性与效率之间取得了良好的平衡。源代码已公开：https://github.com/xglllll/EPA-Net。

一、研究背景与核心问题

图像去模糊（Image Deblurring）的难点，不只是把一张模糊图像变清晰，而是现实图像往往存在空间非均匀模糊：相机抖动、物体运动以及曝光时间等因素，会让同一张图像的不同区域出现强度和方向各异的模糊。某些位置只需要恢复细小纹理，另一些位置却需要利用大范围上下文判断运动轨迹。因此，单一尺度的特征难以兼顾局部细节与大范围模糊信息。

已有多尺度注意力提供了两类思路，但各有局限。PSA、MSPA 使用不同卷积核提取多尺度信息，再主要根据通道维度调整权重；对同一通道而言，权重在不同空间位置上相同，不够适应非均匀模糊。PA 等方法进一步构建具有空间自适应性的金字塔注意力，却显著增加计算量，使得注意力难以高频插入网络各层。

所以，这篇论文真正聚焦的是两个问题：如何让不同空间位置利用不同尺度的模糊信息？又如何在实现这一点时，把额外的参数量和 FLOPs 控制得足够低？作者的回答并不是设计更复杂的全局注意力，而是将通道压缩、深度卷积和跨尺度轻量交互组合起来。

二、整体思路：把昂贵的多尺度建模拆成三个轻量步骤

论文 Figure 2：LCA、EPA 与 DTFF 的模块结构

从 Figure 2 可以按三个层次理解 EPA：左上角的 LCA 负责先筛选有价值的通道信息；左下角的 EPA 在不同分辨率上使用深度卷积捕获空间特征；右下角的 DTFF 负责将相邻尺度的结果逐级融合。注意，这不是在每个尺度分别执行一套昂贵的完整自注意力，而是让注意力建模主要发生在压缩后的通道描述上，将空间结构交给更便宜的卷积保留。

整体过程可以概括为：

输入特征 → LCA 通道聚合 → 多尺度下采样与深度卷积 → DTFF 从粗到细融合 → Sigmoid 生成注意力图 → 重标定原始特征。

给定尺寸为 C × H × W 的输入特征 F，经过多尺度融合与 Sigmoid 得到空间权重，EPA 的最终输出为 F′ = F ⊙，其中 ⊙ 表示逐元素相乘。保留空间维度，因此不同位置可获得不同权重。

论文 Figure 4：EPA-Net 的 U 形架构与带注意力流的 EPA Block

Figure 4 展示了 EPA 的两种用法：既能插入现有主干，也能构建完整网络。EPA-Net 采用四级编码器—解码器，在各层堆叠 EPA-based Block，并保留跳跃连接。跨 Block 的注意力流还让前一层金字塔特征参与当前层的权重生成，以延续已经捕获的模糊线索。

三、LCA：先压缩通道，再以低成本提取全局信息

3.1 为什么不直接做标准注意力？

图像恢复网络内部存在冗余特征。直接对高维特征构造 Q、K、V，不仅增加投影开销，也可能把并非关键的通道信息一起送入注意力计算。LCA（Lightweight Channel Attention）首先通过 1 × 1 卷积，将 C 通道压缩到 C/4，随后使用全局平均池化（GAP）得到通道描述 F₀。通道描述的空间维度已经是 1 × 1，因此后续交互不需要在整张 H × W 特征图上执行。

3.2 轻量化体现在哪里？

在 Figure 2(a) 中，LCA 仅从 F₀ 生成 Q 和 V，而直接使用 F₀ 充当 K，省去一次独立的键投影。其核心计算可写为：

其中，和是通过 1 × 1 卷积实现的投影，d 表示注意力头内的通道维度，Z 是对通道描述交互后的响应。接下来，作者将 Sigmoid(Z) 作为通道选择权重，与压缩后的特征相乘并保留残差：=⊙ Sigmoid(Z) +，最后使用 1 × 1 卷积恢复原始通道数。

直观来看，LCA 解决的是在进入金字塔之前，先以很低成本筛选全局有用信息。它本身主要进行通道交互，并不单独负责空间自适应；后面的多尺度卷积与 DTFF 才把不同位置的空间线索逐步带入最终注意力图。

四、DTFF：借助通道锚点，从粗尺度逐级融合到细尺度

4.1 多尺度特征提取为什么采用深度卷积？

EPA 将 LCA 的输出下采样到不同分辨率，再在每个尺度执行深度卷积（Depthwise Convolution）。与标准卷积同时混合所有输入、输出通道不同，深度卷积逐通道处理空间邻域，可以较低成本得到不同感受野的模糊与纹理响应。低分辨率分支更容易整合大范围信息，高分辨率分支则保留局部细节。

但真正的难题在于：简单相加无法根据输入内容决定更应该相信哪个尺度；直接拼接后再卷积又会增加通道数和计算量。DTFF（Dynamic Twoscale Feature Fusion）就是作者为相邻两个尺度之间的信息选择设计的模块。

4.2 通道锚定注意力如何工作？

设 X₁ 为低分辨率特征、X₂ 为高分辨率特征。首先将 X₁ 上采样到 X₂ 的尺寸并相加，得到 X₁₂ = Upsample(X₁) + X₂。接着对 X₁₂ 使用 GAP 与具有 16 倍通道压缩比例的投影，产生共享的通道锚点 A。两条尺度分支分别生成自己的 Qᵢ、Vᵢ，但都通过同一个 A 建立跨尺度联系：

这里的 A 相当于由两个尺度共同决定的参考描述；λ 是注意力温度参数，Z₁、Z₂ 则分别给出两个尺度的选择响应。与分别构建完整跨尺度注意力矩阵相比，共享且压缩的锚点减少了交互成本。同时，作者进一步用原始描述替代常规注意力中的部分投影，简化 Q/K/V 的构造。

得到权重后，DTFF 使用 Sigmoid 进行动态加权，并叠加原本的跨尺度相加结果：

这条公式的核心不是把两个尺度机械相加，而是先选择有用信息，再通过残差保留原有表征。DTFF 的锚定交互主要发生在通道描述层面；空间变化来自多尺度卷积特征与逐级融合，并非逐像素执行完整 Transformer 注意力。

4.3 为什么从粗到细，而不是全部并行融合？

在 EPA 中，多个 DTFF 按照低分辨率到高分辨率的方向串联。粗尺度先提供大范围模糊信息，再逐级引导细尺度重建，最后生成金字塔注意力图。这一设计使高分辨率分支不必独自重新发现大范围结构，特别适合存在多种模糊范围的图像。

EPA-Net 在此基础上引入跨 Block 的 Attention Flow：当前层与前一层的金字塔特征共同生成注意力，即= Sigmoid()。Block 内再结合 FFN、深度卷积与 Post-LN 完成特征更新。网络末端预测残差图 R，与模糊输入 I 相加得到清晰图像 Ir = I + R；训练时结合像素 L1 损失和频域损失，整体形式为。

五、实验结果与消融分析

5.1 实验设置

论文使用 GoPro、HIDE 和 RealBlur（RealBlur-J、RealBlur-R）评估不同模糊条件下的恢复表现。主要去模糊模型在 GoPro 上训练，并将模型直接用于 HIDE、RealBlur 的测试，以观察跨数据集表现。恢复质量采用 PSNR、SSIM 衡量；模型效率通过参数量（Params）和浮点计算量（FLOPs）衡量，论文中的 FLOPs 基于 256 × 256 输入计算。

5.2 即插即用：EPA 能否稳定改进已有网络？

论文 Table 1：将 EPA 插入不同主干网络后的去模糊结果与额外开销

Table 1 重点看同一个主干在插入 EPA 前后的变化。UNet 在 GoPro 上从 31.40 dB 提升到 32.08 dB，在 HIDE 上从 29.13 dB 提升到 30.16 dB，而 FLOPs 仅由 34.84G 增至 36.95G。对更强的 MIMO-UNet+，GoPro 从 32.45 dB 提升到 33.01 dB，HIDE 从 29.99 dB 提升到 31.04 dB，FLOPs 从 154.41G 增至 158.01G。两组结果都支持作者的核心判断：多尺度信息的引入不必付出很高的额外计算成本。

这里验证的是 EPA 的模块增益，而非所有网络均有相同增益：不同主干的插入位置与模型容量不同，实际收益也不同。

5.3 完整 EPA-Net：精度与计算量之间的取舍

论文 Table 2：EPA-Net 与代表性去模糊模型在多个数据集上的比较

EPA-Net 在 GoPro 上取得33.22 dB PSNR、0.963 SSIM，对应59.06G FLOPs、19.2M 参数。相比 Restormer 的 32.92 dB 与 141G，EPA-Net 的 PSNR 高 0.30 dB，而计算量约为其 42%。不过，Restormer 在 HIDE、RealBlur-J 上分别达到 31.22 dB、28.96 dB，仍略高于 EPA-Net 的 31.10 dB、28.82 dB，这意味着 EPA-Net 的优势应主要理解为效率与质量的平衡，而不是所有数据集的绝对领先。

与追求更高恢复精度的 GRL-B 相比，这一取舍更加明显：GRL-B 在 GoPro 上达到 33.93 dB，但 FLOPs 达到 1285.28G；EPA-Net 的 PSNR 较低，却显著减少了计算需求。论文因此更有说服力的结论是：EPA-Net 以较低算力获得了有竞争力的去模糊表现。

论文 Figure 1：GoPro 数据集上的恢复精度与计算量关系

Figure 1 进一步把 PSNR、FLOPs 和参数量放到同一张图中：越靠左表示计算开销越低，越靠上表示 PSNR 越高，圆圈大小代表参数量。EPA-Net 与插入 EPA 后的模型整体位于较有吸引力的性能—效率区域。图中部分模型带有全分辨率推理标记，因此比较时仍需结合具体测试策略理解，不能只凭散点位置认定某模型在所有条件下占优。

5.4 消融实验：作者验证了哪些设计？

消融部分主要围绕以下设置展开，目的是区分不同模块与融合策略各自承担的作用：

• 组件组合：分别使用或组合 LCA、深度卷积、DTFF，检验通道全局聚合、多尺度空间提取与动态融合的必要性。
• 注意力类型替换：与单尺度通道注意力及 PSA、MSPA、PA、BA、MLKA 等多尺度注意力进行对比，验证 EPA 的开销与性能取舍。
• 跨尺度融合策略：比较逐元素相加、拼接后 1 × 1 卷积、逐元素相乘和 DTFF，同时比较并行融合与渐进融合。
• 金字塔层数：改变尺度级数，考察增加尺度覆盖后带来的表征与复杂度变化。
• EPA-based Block：移除 EPA 或跨层 Attention Flow，分析完整网络中各部分的必要性。

5.5 泛化与适用边界

除常规去模糊结果外，论文还在真实雨滴去除数据集 SPA-Data 上测试 EPA-Net，并展示将去模糊结果用于目标检测的案例，说明该结构有向其他低层视觉任务扩展的潜力。但作者也明确指出：当测试图像的模糊类型与 GoPro 训练分布差异较大、退化情况更复杂时，预训练模型仍可能无法充分恢复清晰细节。换言之，轻量化的多尺度建模并不能自动解决所有跨域退化问题。

六、总结与思考

如果把这篇论文压缩成一句话，就是：用廉价的空间多尺度提取，加上压缩后的跨尺度通道交互，替代高开销的金字塔注意力。LCA 先筛选全局有用通道，深度卷积保留不同感受野的空间信息，DTFF 借助共享锚点完成相邻尺度选择，最终由粗到细生成具有空间适应性的注意力图。EPA-Net 则证明了这些模块可以进一步组合为完整的高效恢复网络。

这篇论文值得借鉴的并非单纯“把模型做小”，而是先判断哪类信息必须动态建模，再把不必使用全量注意力完成的工作交给轻量算子。从工程角度看，EPA 的即插即用特性也让它适合作为现有去模糊主干的增强模块；但具体收益仍应结合目标数据的模糊分布、推理分辨率以及设备限制重新评估。

开源代码：https://github.com/xglllll/EPA-Net