Skip to main content

aclopStartDumpArgs

aclopInferShape

函数功能

根据算子的输入Shape、输入值推导出算子的输出Shape。

约束说明

  • 推导算子的输出Shape包含三种场景:

    • 根据Shape推导,可以得到算子的准确输出Shape,则返回准确输出Shape;
    • 根据Shape推导,无法得到算子的准确输出Shape,但可以得到输出Shape的范围,则在输出参数outputDesc中将算子输出tensor描述中的动态维度的维度值记为-1。该场景下,用户可调用aclGetTensorDescDimRange接口获取tensor描述中指定维度的范围值。
    • (该场景预留)根据Shape推导,无法得到算子的准确输出Shape以及Shape范围,则在输出参数outputDesc中将算子输出tensor描述中的动态维度的维度值记为-2。
  • 如果算子有动态输入DYNAMIC_INPUT或动态输出DYNAMIC_OUTPUT,在调用aclopInferShape接口推导算子的输出Shape前,需先调用aclSetTensorDescName接口设置所有输入和输出的tensor描述的名称,且名称必须按照如下要求(算子IR原型中定义的输入/输出名称请参见《算子清单》。)

    • 对于必选输入、可选输入、必选输出,名称必须与算子IR原型中定义的输入/输出名称保持一致。
    • 对于动态输入、动态输出,名称必须是:算子IR原型中定义的输入/输出名称+编号。编号根据动态输入/输出的个数确定,从0开始,0对应第一个动态输入/输出,1对应第二个动态输入/输出,以此类推。

    例如某个算子有2个输入(第1个是必选输入x,第二个是动态输入y且输入个数为2)、1个必选输出z,则调用aclSetTensorDescName接口设置名称的代码示例如下:

    aclSetTensorDescName(inputTensorDesc[0], "x");
    aclSetTensorDescName(inputTensorDesc[1], "y0");
    aclSetTensorDescName(inputTensorDesc[2], "y1");
    aclSetTensorDescName(outputTensorDesc[0], "z");

函数原型

aclError aclopInferShape(const char *opType,

int numInputs,

aclTensorDesc *inputDesc[],

aclDataBuffer *inputs[],

int numOutputs,

aclTensorDesc *outputDesc[],

aclopAttr *attr**)**

参数说明

参数名输入/输出说明
opType输入算子类型名称的指针。
numInputs输入算子输入tensor的数量。
inputDesc输入算子输入tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 inputDesc数组中的元素个数必须与numInputs参数值保持一致。
inputs输入算子输入tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。
numOutputs输入算子输出tensor的数量。
outputDesc输出算子输出tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 outputDesc数组中的元素个数必须与numOutputs参数值保持一致
attr输入算子属性。

返回值说明

返回0表示成功,返回其它值表示失败。

参考资源

接口调用示例,参见执行动态Shape算子示例代码

父主题: 算子加载与执行

aclrtSetOpExecuteTimeOut

函数功能

设置算子执行的超时时间。同步接口。

约束说明

  • 不调用本接口,算子执行的默认超时时间如下:

    版本AI Core算子的默认超时时间AI CPU算子的默认超时时间
    Atlas 200/500 A2推理产品1091秒30秒
  • 一个进程内多次调用本接口,则以最后一次设置的时间为准,允许设置的最大时间如下:

    版本AI Core算子的最大超时时间AI CPU算子的最大超时时间
    Atlas 200/500 A2推理产品1091秒1091秒

函数原型

aclError aclrtSetOpExecuteTimeOut(uint32_t timeout)

参数说明

参数名输入/输出说明
timeout输入设置超时时间,单位为秒。 将该参数设置为0时,表示使用默认超时时间。

返回值说明

返回0表示成功,返回其它值表示失败。

父主题: 算子加载与执行

aclopStartDumpArgs

函数功能

调用本接口开启算子信息统计功能,并需与aclopStopDumpArgs接口配合使用,将算子信息文件输出到path参数指定的目录,一个shape对应一个算子信息文件,文件中包含算子类型、算子属性、算子输入&输出的format/数据类型/shape等信息。

**使用场景:**例如要统计某个模型执行涉及哪些算子,可在模型执行之前调用aclopStartDumpArgs接口,在模型执行之后调用aclopStopDumpArgs接口,接口调用成功后,在path参数指定的目录下生成每个算子shape的算子信息文件。

Atlas 200/500 A2推理产品。不支持该接口。

函数原型

aclError aclopStartDumpArgs(uint32_t dumpType, const char *path)

参数说明

参数名输入/输出说明
dumpType输入指定dump信息的类型。 当前仅支持ACL_OP_DUMP_OP_AICORE_ARGS,表示统计所有算子信息。 text<br>#define ACL_OP_DUMP_OP_AICORE_ARGS 0x00000001U<br>
path输入指定dump文件的保存路径,支持绝对路径(指相对应用可执行文件所在的目录)或相对路径,但用户需确保路径存在或者该路径可以被创建。

返回值说明

返回0表示成功,返回其它值表示失败。

父主题: 算子加载与执行

aclopStopDumpArgs

函数功能

调用本接口关闭算子信息统计功能,并需与aclopStartDumpArgs接口配合使用,将算子信息文件输出到path参数指定的目录,一个shape对应一个算子信息文件,文件中包含算子类型、算子属性、算子输入&输出的format/数据类型/shape等信息。

**使用场景:**例如要统计某个模型执行涉及哪些算子,可在模型执行之前调用aclopStartDumpArgs接口,在模型执行之后调用aclopStopDumpArgs接口,接口调用成功后,在path参数指定的目录下生成每个算子shape的算子信息文件。

Atlas 200/500 A2推理产品。不支持该接口。

函数原型

aclError aclopStopDumpArgs(uint32_t dumpType)

参数说明

参数名输入/输出说明
dumpType输入指定dump信息的类型。 当前仅支持ACL_OP_DUMP_OP_AICORE_ARGS,表示统计算子信息。
text<br>#define ACL_OP_DUMP_OP_AICORE_ARGS 0x00000001U<br>

返回值说明

返回0表示成功,返回其它值表示失败。

父主题: 算子加载与执行

总体说明

调用本章节接口实现“矩阵-矩阵”或“矩阵-向量”相乘的运算,本章中的接口内部封装了系统内置的矩阵乘算子GEMM,接口调用流程参见单算子调用流程

按照单算子调用流程,在使用本章节的接口前,需要先使用ATC(Ascend Tensor Compiler)工具将内置的矩阵乘算子GEMM的算子描述信息(包括输入输出Tensor描述、算子属性等)编译成适配昇腾AI处理器的离线模型(*.om文件),用于验证矩阵乘算子GEMM的运行结果。

父主题: CBLAS接口

在线提单