aclopInferShape
aclopCompileAndExecuteV2
函数功能
编译并执行指定的算子，当前只支持固定Shape的算子，同步或异步接口。在编译执行算子前，可以调用aclSetCompileopt接口设置编译选项。
约束说明
-
多线程场景下，不支持调用本接口时指定同一个Stream或使用默认Stream，否则可能任务执行异常。
-
每个算子的输入、输出组织不同，需要应用在调用时严格按照算子输入、输出参数来组织算子，用户在调用aclopCompileAndExecuteV2时，AscendCL根据optype、输入tensor的描述、输出tensor的描述、attr等信息查找对应的任务，再编译、执行算子。
-
编译、执行有可选输入的算子时，如果可选输入不使用，则：
- 需按此种方式创建aclTensorDesc类型的数据：aclCreateTensorDesc(ACL_DT_UNDEFINED, 0, nullptr, ACL_FORMAT_UNDEFINED)，表示数据类型设置为ACL_DT_UNDEFINED，Format设置为ACL_FORMAT_UNDEFINED，Shape信息为nullptr；
- 需按此种方式创建aclDataBuffer类型的数据：aclCreateDataBuffer(nullptr, 0)，同时aclDataBuffer中的数据不需要释放，因为是空指针。
-
编译、执行有constant输入的算子时，需要先调用aclSetTensorConst接口设置constant输入。
对于算子有constant输入的场景，如果未调用aclSetTensorConst接口设置constant输入，则需调用aclSetTensorPlaceMent设置TensorDesc的placement属性，将memType设置为Host内存。
-
在执行单算子时，一般要求用户传入的输入/输出tensor数据是存放在Device内存的，比如两个tensor相加的场景。但是，也存在部分算子，除了将featureMap、weight等Device内存中的tensor数据作为输入外，还需tensor shape信息、learningRate、tensor的dims信息等通常在Host内存中的tensor数据也作为输入，此时，用户不需要额外将这些Host内存中的tensor数据拷贝到Device上作为输入，只需要调用aclSetTensorPlaceMent接口设置对应TensorDesc的placement属性为Host内存，在执行单算子时，设置了placement属性为Host内存的TensorDesc，其对应的tensor数据必须存放在Host内存中，AscendCL内部会自动将Host上的tensor数据拷贝到Device上。
-
对于动态Shape的算子，无法明确算子输出Shape时，可调用aclopInferShape接口获取算子的输出Shape：
- 若可获取到准确的输出Shape，则使用准确的输出Shape来构造outputDesc参数，作为aclopCompileAndExecuteV2的输入。该场景下，aclopCompileAndExecuteV2接口是异步接口。
- 若无法获取准确的输出Shape，仅能获取输出Shape范围，则使用Shape最大值来构造outputDesc参数，作为aclopCompileAndExecuteV2的输入。该场景下，在调用aclopCompileAndExecuteV2接口执行算子后，系统内部会计算出准确的输出Shape，通过aclopCompileAndExecuteV2接口的outputDesc参数输出，此时aclopCompileAndExecuteV2接口是同步接口。
- （该场景预留）若无法获取准确的输出Shape以及Shape范围，则需由用户预估一个最大的Shape来构造outputDesc参数，作为aclopCompileAndExecuteV2的输入。该场景下，在调用aclopCompileAndExecuteV2接口执行算子后，系统内部会计算出准确的输出Shape，通过aclopCompileAndExecuteV2接口的outputDesc参数输出，此时aclopCompileAndExecuteV2接口是同步接口。
函数原型
aclError aclopCompileAndExecuteV2(const char *opType,
int numInputs,
aclTensorDesc *inputDesc[],
aclDataBuffer *inputs[],
int numOutputs,
aclTensorDesc *outputDesc[],
aclDataBuffer *outputs[],
aclopAttr *attr,
aclopEngineType engineType,
aclopCompileType compileFlag,
const char *opPath,
aclrtStream stream)
参数说明
| 参数名 | 输入/输出 | 说明 |
|---|---|---|
| opType | 输入 | 算子类型名称的指针。 |
| numInputs | 输入 | 算子输入tensor的数量。 |
| inputDesc | 输入 | 算子输入tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 inputDesc数组中的元素个数必须与numInputs参数值保持一致，且inputs数组与inputDesc数组中的元素必须一一对应。 |
| inputs | 输入 | 算子输入tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 inputs数组中的元素个数必须与numInputs参数值保持一致，且inputs数组与inputDesc数组中的元素必须一一对应。 |
| numOutputs | 输入 | 算子输出tensor的数量。 |
| outputDesc | 输入&输出 | 算子输出tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 outputDesc数组中的元素个数必须与numOutputs参数值保持一致，且outputs数组与outputDesc数组中的元素必须一一对应。 |
| outputs | 输入&输出 | 算子输出tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 outputs数组中的元素个数必须与numOutputs参数值保持一致，且outputs数组与outputDesc数组中的元素必须一一对应。 |
| attr | 输入 | 算子属性的指针。 需提前调用aclopCreateAttr接口创建aclopAttr类型。 |
| engineType | 输入 | 算子执行引擎。 |
| compileFlag | 输入 | 算子编译标识。 |
| opPath | 输入 | 算子实现文件（*.py）路径的指针，不包含文件名。 如果将compileFlag设置为ACL_COMPILE_UNREGISTERED 时，需要设置opPath。 |
| stream | 输入 | 该算子需要加载的stream。 |
返回值说明
返回0表示成功，返回其它值表示失败。
父主题： 算子加载与执行
aclopExecWithHandle
函数功能
以Handle方式调用一个算子，不支持动态Shape算子，动态Shape算子请使用aclopExecuteV2。异步接口。
约束说明
- 多线程场景下，不支持调用本接口时指定同一个Stream或使用默认Stream，否则可能任务执行异常。
- 执行有可选输入的算子时，如果可选输入不使用，则需按此种方式创建aclDataBuffer类型的数据：aclCreateDataBuffer(nullptr, 0)，同时aclDataBuffer中的数据不需要释放，因为是空指针。
函数原型
aclError aclopExecWithHandle(****aclopHandle *handle,
int numInputs,
const aclDataBuffer *const inputs[],
int numOutputs,
aclDataBuffer *const outputs[],
aclrtStream stream);
参数说明
| 参数名 | 输入/输出 | 说明 |
|---|---|---|
| handle | 输入 | 算子执行算子handle的指针。 需提前调用aclopCreateHandle接口创建aclopHandle类型的数据。 |
| numInputs | 输入 | 算子输入tensor的数量。 |
| inputs | 输入 | 算子输入tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 inputs数组中的元素个数必须与numInputs参数值保持一致。 |
| numOutputs | 输入 | 算子输出tensor的数量。 |
| outputs | 输出 | 算子输出tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 outputs数组中的元素个数必须与numOutputs参数值保持一致 |
| stream | 输入 | 该算子需要加载的stream。 |
返回值说明
返回0表示成功，返回其它值表示失败。
父主题： 算子加载与执行
aclopInferShape
函数功能
根据算子的输入Shape、输入值推导出算子的输出Shape。
约束说明
-
推导算子的输出Shape包含三种场景：
- 根据Shape推导，可以得到算子的准确输出Shape，则返回准确输出Shape；
- 根据Shape推导，无法得到算子的准确输出Shape，但可以得到输出Shape的范围，则在输出参数outputDesc中将算子输出tensor描述中的动态维度的维度值记为-1。该场景下，用户可调用aclGetTensorDescDimRange接口获取tensor描述中指定维度的范围值。
- （该场景预留）根据Shape推导，无法得到算子的准确输出Shape以及Shape范围，则在输出参数outputDesc中将算子输出tensor描述中的动态维度的维度值记为-2。
-
如果算子有动态输入DYNAMIC_INPUT或动态输出DYNAMIC_OUTPUT，在调用aclopInferShape接口推导算子的输出Shape前，需先调用aclSetTensorDescName接口设置所有输入和输出的tensor描述的名称，且名称必须按照如下要求（算子IR原型中定义的输入/输出名称请参见《算子清单》。）
- 对于必选输入、可选输入、必选输出，名称必须与算子IR原型中定义的输入/输出名称保持一致。
- 对于动态输入、动态输出，名称必须是：算子IR原型中定义的输入/输出名称+编号。编号根据动态输入/输出的个数确定，从0开始，0对应第一个动态输入/输出，1对应第二个动态输入/输出，以此类推。
例如某个算子有2个输入（第1个是必选输入x，第二个是动态输入y且输入个数为2）、1个必选输出z，则调用aclSetTensorDescName接口设置名称的代码示例如下：
aclSetTensorDescName(inputTensorDesc[0], "x");aclSetTensorDescName(inputTensorDesc[1], "y0");aclSetTensorDescName(inputTensorDesc[2], "y1");aclSetTensorDescName(outputTensorDesc[0], "z");
函数原型
aclError aclopInferShape(const char *opType,
int numInputs,
aclTensorDesc *inputDesc[],
aclDataBuffer *inputs[],
int numOutputs,
aclTensorDesc *outputDesc[],
aclopAttr *attr**)**
参数说明
| 参数名 | 输入/输出 | 说明 |
|---|---|---|
| opType | 输入 | 算子类型名称的指针。 |
| numInputs | 输入 | 算子输入tensor的数量。 |
| inputDesc | 输入 | 算子输入tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 inputDesc数组中的元素个数必须与numInputs参数值保持一致。 |
| inputs | 输入 | 算子输入tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 |
| numOutputs | 输入 | 算子输出tensor的数量。 |
| outputDesc | 输出 | 算子输出tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 outputDesc数组中的元素个数必须与numOutputs参数值保持一致 |
| attr | 输入 | 算子属性。 |
返回值说明
返回0表示成功，返回其它值表示失败。
参考资源
接口调用示例，参见执行动态Shape算子示例代码。
父主题： 算子加载与执行
aclrtSetOpExecuteTimeOut
函数功能
设置算子执行的超时时间。同步接口。
约束说明
-
不调用本接口，算子执行的默认超时时间如下：
版本 AI Core算子的默认超时时间 AI CPU算子的默认超时时间 Atlas 200/500 A2推理产品 1091秒 30秒 -
一个进程内多次调用本接口，则以最后一次设置的时间为准，允许设置的最大时间如下：
版本 AI Core算子的最大超时时间 AI CPU算子的最大超时时间 Atlas 200/500 A2推理产品 1091秒 1091秒
函数原型
aclError aclrtSetOpExecuteTimeOut(uint32_t timeout)
参数说明
| 参数名 | 输入/输出 | 说明 |
|---|---|---|
| timeout | 输入 | 设置超时时间，单位为秒。 将该参数设置为0时，表示使用默认超时时间。 |
返回值说明
返回0表示成功，返回其它值表示失败。
父主题： 算子加载与执行
aclopStartDumpArgs
函数功能
调用本接口开启算子信息统计功能，并需与aclopStopDumpArgs接口配合使用，将算子信息文件输出到path参数指定的目录，一个shape对应一个算子信息文件，文件中包含算子类型、算子属性、算子输入&输出的format/数据类型/shape等信息。
**使用场景：**例如要统计某个模型执行涉及哪些算子，可在模型执行之前调用aclopStartDumpArgs接口，在模型执行之后调用aclopStopDumpArgs接口，接口调用成功后，在path参数指定的目录下生成每个算子shape的算子信息文件。
Atlas 200/500 A2推理产品。不支持该接口。
函数原型
aclError aclopStartDumpArgs(uint32_t dumpType, const char *path)
参数说明
| 参数名 | 输入/输出 | 说明 |
|---|---|---|
| dumpType | 输入 | 指定dump信息的类型。 当前仅支持ACL_OP_DUMP_OP_AICORE_ARGS，表示统计所有算子信息。 text<br>#define ACL_OP_DUMP_OP_AICORE_ARGS 0x00000001U<br> |
| path | 输入 | 指定dump文件的保存路径，支持绝对路径（指相对应用可执行文件所在的目录）或相对路径，但用户需确保路径存在或者该路径可以被创建。 |
返回值说明
返回0表示成功，返回其它值表示失败。
父主题： 算子加载与执行
在线提单