GemmV3
【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库,实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn
产品支持情况
| 产品 | 是否支持 |
|---|---|
| 昇腾910_95 AI处理器 | √ |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ |
| Atlas 200I/500 A2推理产品 | × |
| Atlas 推理系列产品 | × |
| Atlas 训练系列产品 | × |
功能说明
算子功能:计算α乘以A与B的乘积,再与β和input C的乘积求和。
计算公式:
$$ out=α(A @ B) + βC $$ 其中,$op(A)$,$op(B)$ 和 $op(C)$ 分别是维度为 $(M, K)$, $(K, N)$ 和 $(M, N)$的矩阵。$α$,$β$是标量常数。
参数说明
| 参数名 | 输入/输出/属性 | 描述 | 数据类型 | 数据格式 |
|---|---|---|---|---|
| a | 输入 | 矩阵乘运算中的左矩阵。 | FLOAT16, BFLOAT16 | ND |
| b | 输入 | 矩阵乘运算中的右矩阵。 | FLOAT16, BFLOAT16 | ND |
| alpha | 输入 | 与a、b矩阵乘结果相乘的标量常数。 | FLOAT16, BFLOAT16 | ND |
| beta | 输入 | 与input c相乘的标量常数。 | FLOAT16, BFLOAT16 | ND |
| c | 输出 | 输入input和输出,进行原地累加。 | FLOAT32 | ND |
约束说明
- 不支持空tensor。
- 支持连续tensor,非连续tensor只支持转置场景。
调用说明
| 调用方式 | 样例代码 | 说明 |
|---|---|---|
| aclnn接口 | test_aclnn_gemmv3 | 参考示例算子调用aclnnGemmv3接口方式调用Gemmv3算子 |
【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库,实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考