函数:hgemv
关于A、B、C矩阵的Shape及内存大小计算公式
-
A、B、C矩阵是否转置的标记如果设置为ACL_TRANS_N或ACL_TRANS_T,则用户在申请内存存放A、B、C矩阵数据时,实际申请的内存要和实际数据大小匹配,Shape及内存大小的计算公式如下:
- A矩阵:shape = (m, k);内存大小 = m * k * acl.data_type_size(data_type_a)
- B矩阵:shape = (k, n);内存大小 = k * n * acl.data_type_size(data_type_b)
- C矩阵:shape = (m, n);内存大小 = m * n * acl.data_type_size(data_type_c)
-
A、B、C矩阵是否转置的标记如果设置为ACL_TRANS_NZ,表示采用内部数据格式,矩阵Shape为4维,Shape及内存大小的计算公式如下(假设m,k,n分别为原始轴):
- 当矩阵A和矩阵B中数据的类型为aclFloat16,在计算实际内存大小时,m、k、n均按16对齐向上取整计算:
- A矩阵:shape = (⌈k/16⌉, ⌈m/16⌉, 16, 16);内存大小 = ⌈m/16⌉ * 16 * ⌈k/16⌉ * 16 * acl.data_type_size(data_type_a)
- B矩阵:shape = (⌈n/16⌉, ⌈k/16⌉, 16, 16);内存大小 = ⌈k/16⌉ * 16 * ⌈n/16⌉ * 16 * acl.data_type_size(data_type_b)
- C矩阵:shape = (⌈n/16⌉, ⌈m/16⌉, 16, 16);内存大小 = ⌈m/16⌉ * 16 * ⌈n/16⌉ * 16 * acl.data_type_size(data_type_c)
- 当矩阵A和矩阵B中数据的类型为int8_t,在计算实际内存大小时,reduce轴按32对齐向上取整计算,非reduce轴按16对齐向上取整计算:
- A矩阵:shape = (⌈k/32⌉, ⌈m/16⌉, 16, 32);内存大小 = ⌈m/16⌉ * 16 * ⌈k/32⌉ * 32 * acl.data_type_size(data_type_a)
- B矩阵:shape = (⌈k/32⌉, ⌈n/16⌉, 32, 16);内存大小 = ⌈k/32⌉ * 32 * ⌈n/16⌉ * 16 * acl.data_type_size(data_type_b)
- C矩阵:shape = (⌈n/16⌉, ⌈m/16⌉, 16, 16);内存大小 = ⌈m/16⌉ * 16 * ⌈n/16⌉ * 16 * acl.data_type_size(data_type_c)
:::note 说明 ⌈ ⌉表示向上对齐。 :::
- 当矩阵A和矩阵B中数据的类型为aclFloat16,在计算实际内存大小时,m、k、n均按16对齐向上取整计算:
父主题: CBLAS接口(blas)
函数:gemv_ex
| C函数原型 | aclError aclblasGemvEx(aclTransType transA, int m, int n, const void *alpha, const void *a, int lda, aclDataType dataTypeA, const void *x, int incx, aclDataType dataTypeX, const void *beta, void *y, int incy, aclDataType dataTypeY, aclComputeType type, aclrtStream stream); |
|---|---|
| Python函数 | ret = acl.blas.gemv_ex(trans_a, m, n,alpha, a, lda, data_type_a, x, incx, data_type_x, beta, y, incy, data_type_y, type, stream ) |
| 函数功能 | 执行矩阵-向量的乘法,y = αAx + βy,输入数据、输出数据的数据类型通过入参设置,异步接口。 |
| 输入说明 | trans_a:int,矩阵A是否转置的标记。 m:int,矩阵A的行数,存储矩阵乘数据时,行优先。 n:int,矩阵A的列数。 alpha:int, 用于执行乘操作的标量alpha数据指针地址。 a:int,矩阵A的数据指针地址。 lda:int,A矩阵的主位,此时选择转置,按行优先,则lda为A的列数。 data_type_a:int,矩阵A的数据类型。 x:int,向量x的数据指针地址。 incx:int,x连续元素之间的步长。 data_type_x:int,向量x的数据类型。 beta:int,用于执行乘操作的标量beta的数据指针地址。 y:int,向量y的数据指针地址。 incy:int,y连续元素之间的步长。 data_type_y:int,向量y的数据类型。 type:int,计算精度。 stream:int,执行算子所在的Stream。 |
| 返回值说明 | ret:int,错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | A、x、y的数据类型支持仅支持以下组合, α和β的数据类型与y一致。 A的数据类型 x的数据类型 y的数据类型 aclFloat16 aclFloat16 aclFloat16 aclFloat16 aclFloat16 float(float32) int8_t int8_t float(float32) int8_t int8_t int32_t |
| 参考资源 | 接口调用流程,参见接口调用流程。 |
父主题: CBLAS接口(blas)
函数:create_handle_for_gemv_ex
| C函数原型 | aclError **aclblasCreateHandleForGemvEx(**aclTransType transA, int m, int n, aclDataType dataTypeA, aclDataType dataTypeX, aclDataType dataTypeY, aclComputeType type, aclopHandle **handle) |
|---|---|
| Python函数 | handle, ret = acl.blas.create_handle_for_gemv_ex(trans_a, m, n, data_type_a, data_type_x, data_type_y, type) |
| 函数功能 | 创建矩阵-向量乘的handle,输入数据、输出数据的数据类型通过入参设置,同步接口。 创建handle成功后,需调用acl.op.execute_with_handle接口执行算子。 |
| 输入说明 | trans_a:int,矩阵A是否转置的标记。 m:int,矩阵A的行数,存储矩阵乘数据时,行优先。 n:int,矩阵A的列数。 data_type_a:int,矩阵A的数据类型。 data_type_x:int,向量x的数据类型。 data_type_y:int,向量y的数据类型。 type:int,计算精度。 |
| 返回值说明 | handle:int,执行算子的handle数据的指针地址。 ret:int,错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | A、x、y的数据类型支持仅支持以下组合: A的数据类型 x的数据类型 y的数据类型 aclFloat16 aclFloat16 aclFloat16 aclFloat16 aclFloat16 float(float32) int8_t int8_t float(float32) int8_t int8_t int32_t |
父主题: CBLAS接口(blas)
函数:hgemv
| C函数原型 | aclError **aclblasHgemv(**aclTransType transA, int m, int n, const aclFloat16 *alpha, const aclFloat16 *a, int lda, const aclFloat16 *x, int incx, const aclFloat16 *beta, aclFloat16 *y, int incy, aclComputeType type, aclrtStream stream) |
|---|---|
| Python函数 | ret = acl.blas.hgemv(trans_a, m, n, alpha, a, lda, x, incx, beta, y, incy, type, stream) |
| 函数功能 | 执行矩阵-向量的乘法,y = αAx + βy,输入数据和输出数据的数据类型为aclFloat16,异步接口。 |
| 输入说明 | trans_a:int,矩阵A是否转置的标记。 m:int,矩阵A的行数,存储矩阵乘数据时,行优先。 n:int,矩阵A的列数。 alpha:int,用于执行乘操作的标量alpha数据指针地址。 a:int,矩阵A的数据指针地址。 lda:int,A矩阵的主位,此时选择转置,按行优先,则lda为A的列数。 x:int,向量x的数据指针地址。 incx:int,x连续元素之间的步长。 beta:int,用于执行乘操作的标量beta的数据指针地址。 y:int,向量y的数据指针地址。 incy:int,y连续元素之间的步长。 type:int,计算精度。 stream:int,执行算子所在的Stream。 |
| 返回值说明 | ret:int,错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | 无 |
| 参考资源 | 接口调用流程,参见接口调用流程。 |
父主题: CBLAS接口(blas)
函数:create_handle_for_hgemv
| C函数原型 | aclError **aclblasCreateHandleForHgemv(**aclTransType transA, int m, int n, aclComputeType type, aclopHandle **handle) |
|---|---|
| Python函数 | handle, ret = acl.blas.create_handle_for_hgemv(trans_a, m, n, type) |
| 函数功能 | 创建矩阵-向量乘的handle,输入数据和输出数据的数据类型为aclFloat16,同步接口。 创建handle成功后,需调用acl.op.execute_with_handle接口执行算子。 |
| 输入说明 | trans_a:int,矩阵A是否转置的标记。 m:int,矩阵A的行数,存储矩阵乘数据时,行优先。 n:int,矩阵A的列数。 type:int,计算精度。 |
| 返回值说明 | handle:int,执行算子的handle数据的指针地址。 ret:int,错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | 无 |
父主题: CBLAS接口(blas)
函数:s8gemv
| C函数原型 | aclError **aclblasS8gemv(**aclTransType transA, int m, int n, const int32_t *alpha, const int8_t *a, int lda, const int8_t *x, int incx, const int32_t *beta, int32_t *y, int incy, aclComputeType type, aclrtStream stream) |
|---|---|
| Python函数 | ret = acl.blas.s8gemv(trans_a, m, n, alpha, a, lda, x, incx, beta, y, incy, type, stream) |
| 函数功能 | 执行矩阵-向量的乘法,y = αAx + βy,输入数据的数据类型为int8_t,输出数据的数据类型为int32_t,异步接口。 |
| 输入说明 | trans_a:int,矩阵A是否转置的标记。 m:int,矩阵A的行数,存储矩阵乘数据时,行优先。 n:int,矩阵A的列数。 alpha:int, 用于执行乘操作的标量alpha数据指针地址。 a:int,矩阵A的数据指针地址。 lda:int,A矩阵的主位,此时选择转置,按行优先,则lda为A的列数。 x:int,向量x的数据指针地址。 incx:int,x连续元素之间的步长。 beta:int,用于执行乘操作的标量beta的数据指针地址。 y:int,向量y的数据指针地址。 incy:int,y连续元素之间的步长。 type:int,计算精度。 stream:int,执行算子所在的Stream。 |
| 返回值说明 | ret:int,错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | 无 |
| 参考资源 | 接口调用流程,参见接口调用流程。 |
父主题: CBLAS接口(blas)
函数:create_handle_for_s8gemv
| C函数原型 | aclError **aclblasCreateHandleForS8gemv(**aclTransType transA, int m, int n, aclComputeType type, aclopHandle **handle) |
|---|---|
| Python函数 | handle, ret = acl.blas.create_handle_for_s8gemv(trans_a, m, n, type) |
| 函数功能 | 创建矩阵-向量乘的handle,输入数据的数据类型为int8_t,输出数据的数据类型为int32_t,同步接口。 创建handle成功后,需调用acl.op.execute_with_handle接口执行算子。 |
| 输入说明 | trans_a:int,矩阵A是否转置的标记。 m:int,矩阵A的行数,存储矩阵乘数据时,行优先。 n:int,矩阵A的列数。 type:int,计算精度。 |
| 返回值说明 | handle:int,执行算子的handle数据的指针地址。 ret:int,错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | 无 |
父主题: CBLAS接口(blas)
在线提单