Skip to main content

aclblasGemvEx

aclopStopDumpArgs​

函数功能​

调用本接口关闭算子信息统计功能，并需与aclopStartDumpArgs接口配合使用，将算子信息文件输出到path参数指定的目录，一个shape对应一个算子信息文件，文件中包含算子类型、算子属性、算子输入&输出的format/数据类型/shape等信息。

**使用场景：**例如要统计某个模型执行涉及哪些算子，可在模型执行之前调用aclopStartDumpArgs接口，在模型执行之后调用aclopStopDumpArgs接口，接口调用成功后，在path参数指定的目录下生成每个算子shape的算子信息文件。

Atlas 200/500 A2推理产品。不支持该接口。

函数原型​

aclError aclopStopDumpArgs(uint32_t dumpType)

参数说明​

参数名输入/输出说明
dumpType输入指定dump信息的类型。 当前仅支持ACL_OP_DUMP_OP_AICORE_ARGS，表示统计算子信息。
text<br>#define ACL_OP_DUMP_OP_AICORE_ARGS 0x00000001U<br>

返回值说明​

返回0表示成功，返回其它值表示失败。

父主题： 算子加载与执行

总体说明​

调用本章节接口实现“矩阵-矩阵”或“矩阵-向量”相乘的运算，本章中的接口内部封装了系统内置的矩阵乘算子GEMM，接口调用流程参见单算子调用流程。

按照单算子调用流程，在使用本章节的接口前，需要先使用ATC（Ascend Tensor Compiler）工具将内置的矩阵乘算子GEMM的算子描述信息（包括输入输出Tensor描述、算子属性等）编译成适配昇腾AI处理器的离线模型（*.om文件），用于验证矩阵乘算子GEMM的运行结果。

父主题： CBLAS接口

关于A、B、C矩阵的Shape及内存大小计算公式​

  • A、B、C矩阵是否转置的标记如果设置为ACL_TRANS_N或ACL_TRANS_T，则用户在申请内存存放A、B、C矩阵数据时，实际申请的内存要和实际数据大小匹配，Shape及内存大小的计算公式如下：

    • A矩阵：shape = (m, k)；内存大小 = m*k*sizeof(dataTypeA)
    • B矩阵：shape = (k, n)；内存大小 = k*n*sizeof(dataTypeB)
    • C矩阵：shape = (m, n)；内存大小 = m*n*sizeof(dataTypeC)

  • A、B、C矩阵是否转置的标记如果设置为ACL_TRANS_NZ，表示采用内部数据格式，矩阵Shape为4维，Shape及内存大小的计算公式如下（假设m,k,n分别为原始轴）：

    • 当矩阵A和矩阵B中数据的类型为aclFloat16，在计算实际内存大小时，m、k、n均按16对齐向上取整计算：
      • A矩阵：shape = (⌈k/16⌉, ⌈m/16⌉, 16, 16)；内存大小 = ⌈m/16⌉*16*⌈k/16⌉*16*sizeof(dataTypeA)
      • B矩阵：shape = (⌈n/16⌉, ⌈k/16⌉, 16, 16)；内存大小 = ⌈k/16⌉*16*⌈n/16⌉*16*sizeof(dataTypeB)
      • C矩阵：shape = (⌈n/16⌉, ⌈m/16⌉, 16, 16)；内存大小 = ⌈m/16⌉*16*⌈n/16⌉*16*sizeof(dataTypeC)
    • 当矩阵A和矩阵B中数据的类型为int8_t，在计算实际内存大小时，reduce轴按32对齐向上取整计算，非reduce轴按16对齐向上取整计算：
      • A矩阵：shape = (⌈k/32⌉, ⌈m/16⌉, 16, 32)；内存大小 = ⌈m/16⌉*16*⌈k/32⌉*32*sizeof(dataTypeA)
      • B矩阵：shape = (⌈k/32⌉, ⌈n/16⌉, 32, 16)；内存大小 = ⌈k/32⌉*32*⌈n/16⌉*16*sizeof(dataTypeB)
      • C矩阵：shape = (⌈n/16⌉, ⌈m/16⌉, 16, 16)；内存大小 = ⌈m/16⌉*16*⌈n/16⌉*16*sizeof(dataTypeC)

    :::note 说明 ⌈ ⌉表示向上对齐。 :::

父主题： CBLAS接口

aclblasGemvEx​

函数功能​

执行矩阵-向量的乘法，y = αAx + βy，输入数据、输出数据的数据类型通过入参设置，异步接口。

约束说明​

A、x、y的数据类型支持仅支持以下组合， α和β的数据类型与y一致。

A的数据类型x的数据类型y的数据类型
aclFloat16aclFloat16aclFloat16
aclFloat16aclFloat16float(float32)
int8_tint8_tfloat(float32)
int8_tint8_tint32_t

函数原型​

aclError aclblasGemvEx(aclTransType transA,

int m,

int n,

const void *alpha,

const void *a,

int lda,

aclDataType dataTypeA,

const void *x,

int incx,

aclDataType dataTypeX,

const void *beta,

void *y,

int incy,

aclDataType dataTypeY,

aclComputeType type,

aclrtStream stream);

参数说明​

参数名输入/输出说明
transA输入A矩阵是否转置的标记。
m输入矩阵A的行数，存储矩阵乘数据时，行优先。
n输入矩阵A的列数。
alpha输入用于执行乘操作的标量α的指针。
a输入矩阵A的指针。
lda输入A矩阵的主维，此时选择转置，按行优先，则lda为A的列数。预留参数，当前只能设置为-1。
dataTypeA输入矩阵A的数据类型。
x输入向量x的指针。
incx输入x连续元素之间的步长。 预留参数，当前只能设置为-1。
dataTypeX输入向量x的数据类型。
beta输入用于执行乘操作的标量β的指针。
y输入&输出向量y的指针。
incy输入y连续元素之间的步长。 预留参数，当前只能设置为-1。
dataTypeY输入向量y的数据类型。
type输入计算精度，默认高精度。
stream输入执行算子所在的Stream。

返回值说明​

返回0表示成功，返回其它值表示失败。

参考资源​

接口调用流程，参见单算子调用流程。

父主题： CBLAS接口

aclblasCreateHandleForGemvEx​

函数功能​

创建矩阵-向量乘的handle，输入数据、输出数据的数据类型通过入参设置，同步接口。

创建handle成功后，需调用aclopExecWithHandle接口执行算子。

约束说明​

A、x、y的数据类型支持仅支持以下组合：

A的数据类型x的数据类型y的数据类型
aclFloat16aclFloat16aclFloat16
aclFloat16aclFloat16float(float32)
int8_tint8_tfloat(float32)
int8_tint8_tint32_t

函数原型​

aclError aclblasCreateHandleForGemvEx(****aclTransType transA,

int m,

int n,

aclDataType dataTypeA,

aclDataType dataTypeX,

aclDataType dataTypeY,

aclComputeType type,

aclopHandle **handle)

参数说明​

参数名输入/输出说明
transA输入A矩阵是否转置的标记。
m输入矩阵A的行数，存储矩阵乘数据时，行优先。
n输入矩阵A的列数。
dataTypeA输入矩阵A的数据类型。
dataTypeX输入向量x的数据类型。
dataTypeY输入向量y的数据类型。
type输入计算精度，默认高精度。
handle输出“算子执行handle的指针”的指针。

返回值说明​

返回0表示成功，返回其它值表示失败。

父主题： CBLAS接口

aclblasHgemv​

函数功能​

执行矩阵-向量的乘法，y = αAx + βy，输入数据和输出数据的数据类型为**aclFloat16**，异步接口：

函数原型​

aclError aclblasHgemv(****aclTransType transA,

int m,

int n,

const aclFloat16 *alpha,

const aclFloat16 *a,

int lda,

const aclFloat16 *x,

int incx,

const aclFloat16 *beta,

aclFloat16 *y,

int incy,

aclComputeType type,

aclrtStream stream)

参数说明​

参数名输入/输出说明
transA输入A矩阵是否转置的标记。
m输入矩阵A的行数，存储矩阵乘数据时，行优先。
n输入矩阵A的列数。
alpha输入用于执行乘操作的标量α的指针。
a输入矩阵A的指针。
lda输入A矩阵的主维，此时选择转置，按行优先，则lda为A的列数。预留参数，当前只能设置为-1。
x输入向量x的指针。
incx输入x连续元素之间的步长。 预留参数，当前只能设置为-1。
beta输入用于执行乘操作的标量β的指针。
y输入&输出向量y的指针。
incy输入y连续元素之间的步长。 预留参数，当前只能设置为-1。
type输入计算精度，默认高精度。
stream输入执行算子所在的Stream。

返回值说明​

返回0表示成功，返回其它值表示失败。

参考资源​

接口调用流程，参见单算子调用流程。

父主题： CBLAS接口

aclblasCreateHandleForHgemv​

函数功能​

创建矩阵-向量乘的handle，输入数据和输出数据的数据类型为aclFloat16，同步接口。

创建handle成功后，需调用aclopExecWithHandle接口执行算子。

函数原型​

aclError aclblasCreateHandleForHgemv(****aclTransType transA,

int m,

int n,

aclComputeType type,

aclopHandle **handle)

参数说明​

参数名输入/输出说明
transA输入A矩阵是否转置的标记。
m输入矩阵A的行数，存储矩阵乘数据时，行优先。
n输入矩阵A的列数。
type输入计算精度，默认高精度。
handle输出“算子执行handle的指针”的指针。

返回值说明​

返回0表示成功，返回其它值表示失败。

父主题： CBLAS接口

在线提单