企业官网建设流程全解析

BatchNormalizationGrad

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

产品支持情况

功能说明

• 算子功能：完成 BatchNormalization 反向梯度计算。

• 计算公式：

$$ grad_input = \frac{weight \cdot save_invstd}{\sqrt{m}} \cdot (m \cdot grad_output - sum(grad_output) - xhat \cdot sum(grad_output \cdot xhat)) $$

$$ grad_weight = sum(grad_output \cdot xhat) $$

$$ grad_bias = sum(grad_output) $$

其中 $xhat = (input - save_mean) \cdot save_invstd$，$m = N \times H \times W \times ...$（每个通道的元素数）。

参数说明

约束说明

• 输入张量维度至少为 2 维（N, C, ...）。
• 支持多核并行计算（按通道维度划分）。
• save_mean、save_invstd、weight、bias、grad_weight、grad_bias 的第一维大小等于通道数 C。

调用说明

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn