CANN/ops-nn 去量化SwiGLU量化算子-酒店常州论坛

DequantSwigluQuant

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

算子功能：在Swish门控线性单元激活函数前后添加dequant和quant操作，实现x的DequantSwigluQuant计算。
swiglu_mode为0时的计算公式：
$$ dequantOut_i = Dequant(x_i) $$
$$ swigluOut_i = Swiglu(dequantOut_i)=Swish(A_i)*B_i $$
$$ out_i = Quant(swigluOut_i) $$
其中，A_i表示dequantOut_i的前半部分，B_i表示dequantOut_i的后半部分。
swiglu_mode为1时的计算公式：
$$ dequantOut_i = Dequant(x_i) $$
$$ x_glu = x_glu.clamp(min=None, max=clamp_limit) $$
$$ x_linear = x_linear.clamp(min=-clamp_limit, max=clamp_limit) $$
$$ out_glu = x_glu * sigmoid(glu_alpha * x_glu) $$
$$ swigluOut_i = out_glu * (x_linear + glu_bias) $$
$$ out_i = Quant(swigluOut_i) $$
其中，x_glu表示dequantOut_i的偶数索引部分，x_linear表示dequantOut_i的奇数索引部分。

参数名	输入/输出/属性	描述	数据类型	数据格式
x	输入	输入待处理的数据，公式中的x。	FLOAT16、BFLOAT16、INT32	ND
weight_scale	输入	-	FLOAT	ND
activation_scale	输入	激活函数的反量化scale。	FLOAT	ND
bias	输入	Matmul的bias，公式中的bias。	FLOAT、FLOAT16、BFLOAT16、INT32	ND
quant_scale	输入	量化的scale，公式中的quant_scale。	FLOAT、FLOAT16	ND
quant_offset	输入	量化的offset。	FLOAT	ND
group_index	输入	MoE分组需要的group_index。	INT64	ND
activate_left	属性	表示是否对输入的左半部分做swiglu激活。	BOOL	-
quant_mode	属性	表示使用动态量化。	STRING	-
dst_type	属性	表示指定输出y的数据类型。	INT64	-
round_mode	属性	表示对输出y结果的舍入模式。	STRING	-
activate_dim	属性	表示进行swish计算时，选择的指定切分轴。	INT64	-
swiglu_mode	属性	表示swiglu的计算模式。	INT64	-
clamp_limit	属性	表示变体swiglu使用的门限值。	FLOAT	-
glu_alpha	属性	表示变体swiglu使用的参数。	FLOAT	-
glu_bias	属性	表示变体swiglu使用的偏差参数。	FLOAT	-
y	输出	-	INT8、FLOAT8_E5M2、FLOAT8_E4M3FN、FLOAT4_E2M1、FLOAT4_E1M2	ND
scale	输出	-	FLOAT	ND

Kirin X90/Kirin 9030 处理器系列产品:
- 输入x：数据类型不支持BFLOAT16。
- 输入bias：数据类型不支持BFLOAT16。
- 输入quant_scale：数据类型不支持FLOAT16。
- 输出y：数据类型不支持FLOAT8_E5M2、FLOAT8_E4M3FN、FLOAT4_E2M1、FLOAT4_E1M2。

Ascend 950PR/Ascend 950DT ：
- 输入x对应activate_dim的维度需要是2的倍数，且x的维数必须大于1维。
- 当输入x的数据类型为INT32时，weight_scale不能为空；当输入x的数据类型不为INT32时，weight_scale不允许输入，传入空指针。
- 当输入x的数据类型不为INT32时，activation_scale不允许输入，参数置为空指针。
- 当输入x的数据类型不为INT32时，bias不允许输入，参数置为空指针。
- 当输出y的数据类型为FLOAT4_E2M1、FLOAT4_E1M2时，y的最后一维需要是2的倍数。
- 输出y的尾轴不超过5120.
Atlas A2 训练系列产品/Atlas A2 推理系列产品、 Atlas A3 训练系列产品/Atlas A3 推理系列产品：
- swiglu_mode、clamp_limit、glu_alpha和glu_bias四个参数用于GPT-OSS变体SwiGLU的使用。
- x的最后一维需要是2的倍数，且x的维数必须大于1维。
- 当quant_mode为static时，quant_scale和quant_offset为1维，值为1；quant_mode为dynamic时，quant_scale和quant_offset
- 算子支持的输入张量的内存大小有上限，校验公式：weight_scale张量内存大小+bias张量内存大小+quant_scale张量内存大小+quant_offset张量内存大小 + （activation_scale张量内存大小 + scale张量内存大小）/40 + x张量最后一维H内存大小 * 10 < 192KB。

调用方式	调用样例	说明
aclnn调用	test_aclnn_dequant_swiglu_quant	通过aclnnDequantSwigluQuant接口方式调用DequantSwigluQuant算子。
aclnn调用	test_aclnn_dequant_swiglu_quant_v2	通过aclnnDequantSwigluQuantV2接口方式调用DequantSwigluQuant算子。
图模式调用	-	通过算子IR构图方式调用DequantSwigluQuant算子。

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考