aclopLoad
aclGenGraphAndDumpForOp
函数功能
构建单个算子的图并Dump，生成.txt文件。此处的图是指表达算子IR（Intermediate Representation）的结构，图编译过程中由于融合、拆分等原因会导致图不断变换、进而生成新的图，这些变换的目的是为了将用户表达的图适配到昇腾AI处理器上，获得更高性能。
使用场景：算子调优场景下，调用本接口构建单个算子的图并Dump，生成.txt文件，作为算子调优的输入数据之一。
函数原型
aclError aclGenGraphAndDumpForOp(const char *opType,
int numInputs,
const aclTensorDesc *const inputDesc[],
const aclDataBuffer *const inputs[],
int numOutputs,
const aclTensorDesc *const outputDesc[],
aclDataBuffer *const outputs[],
const aclopAttr *attr,
aclopEngineType engineType,
const char *graphDumpPath,
const aclGraphDumpOption *graphDumpOpt)
参数说明
| 参数名 | 输入/输出 | 说明 |
|---|---|---|
| opType | 输入 | 指定算子类型名称的指针。 |
| numInputs | 输入 | 算子输入tensor的数量。 |
| inputDesc | 输入 | 算子输入tensor的描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 inputDesc数组中的元素个数必须与numInputs参数值保持一致，且inputs数组与inputDesc数组中的元素必须一一对应。 |
| inputs | 输入 | 算子输入tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 inputs数组中的元素个数必须与numInputs参数值保持一致，且inputs数组与inputDesc数组中的元素必须一一对应。 |
| numOutputs | 输入 | 算子输出tensor的数量。 |
| outputDesc | 输入 | 算子输出tensor的描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 outputDesc数组中的元素个数必须与numOutputs参数值保持一致，且outputs数组与outputDesc数组中的元素必须一一对应。 |
| outputs | 输入 | 算子输出tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 outputs数组中的元素个数必须与numOutputs参数值保持一致，且outputs数组与outputDesc数组中的元素必须一一对应。 |
| attr | 输入 | 算子属性的指针。 需提前调用aclopCreateAttr接口创建aclopAttr类型。 |
| engineType | 输入 | 算子执行引擎。 |
| graphDumpPath | 输入 | Dump单算子图所生成的文件（文件名后缀为.txt）的保存路径的指针。 路径需要由用户提前创建，路径中如果不指定文件名，则由AscendCL内部指定文件名。 如果多次Dump时，指定同一个路径，且文件名相同，则最新一次的文件会覆盖之前的文件。 |
| graphDumpOpt | 输入 | 单算子图的dump选项的指针。 当前该参数预留，仅支持传入nullptr。 |
返回值说明
返回0表示成功，返回其它值表示失败。
父主题： 算子编译
aclopSetModelDir
函数功能
设置加载模型文件的目录，该模型文件是由单算子编译成的*.om文件，同步接口。
约束说明
在加载前，请先根据单算子om文件的大小评估内存空间是否足够，内存空间不足，会导致应用程序异常。
Atlas 200/500 A2推理产品，在Host上运行应用时，一个进程内正在执行的算子的最大个数上限是40000000。
函数原型
aclError aclopSetModelDir(const char *modelDir)
参数说明
| 参数名 | 输入/输出 | 说明 |
|---|---|---|
| modelDir | 输入 | 模型文件路径的指针。 此处可设置多级目录，但系统最多从多级目录的最后一级开始，读取三级目录下的模型文件。 例如，将modelDir设置为"dir0/dir1"，dir1下的目录层级为“dir2/dir3/dir4”，这时系统只支持读取“dir1”、“dir1/dir2”、“dir1/dir2/dir3”目录下的模型文件。 |
返回值说明
返回0表示成功，返回其它值表示失败。
参考资源
接口调用流程及示例，参见单算子调用。
父主题： 算子加载与执行
aclopLoad
函数功能
从内存中加载单算子模型数据（单算子模型数据是指“单算子编译成*.om文件后，再将om文件读取到内存中”的数据），由用户管理内存。同步接口。
约束说明
Atlas 200/500 A2推理产品，在Host上运行应用时，一个进程内正在执行的算子的最大个数上限是40000000。
函数原型
aclError aclopLoad(const void *model, size_t modelSize)
参数说明
| 参数名 | 输入/输出 | 说明 |
|---|---|---|
| model | 输入 | 单算子模型数据的内存地址指针。 |
| modelSize | 输入 | 内存中的模型数据长度，单位Byte。 |
返回值说明
返回0表示成功，返回其它值表示失败。
参考资源
接口调用流程及示例，参见单算子调用。
父主题： 算子加载与执行
aclopExecute
须知
此接口后续版本会废弃，请使用aclopExecuteV2接口。
函数功能
异步执行指定的算子。
约束说明
多线程场景下，不支持调用本接口时指定同一个Stream或使用默认Stream，否则可能任务执行异常。
每个算子的输入、输出组织不同，需要应用在调用时严格按照算子输入、输出参数来组织算子。用户在调用aclopExecute接口时，AscendCL根据optype、输入tensor的描述、输出tensor的描述、attr等信息查找对应的任务，并下发执行。
函数原型
aclError aclopExecute(const char *opType,
int numInputs,
const aclTensorDesc *const inputDesc[],
const aclDataBuffer *const inputs[],
int numOutputs,
const aclTensorDesc *const outputDesc[],
aclDataBuffer *const outputs[],
const aclopAttr *attr,
aclrtStream stream)
参数说明
| 参数名 | 输入/输出 | 说明 |
|---|---|---|
| opType | 输入 | 算子类型名称的指针。 |
| numInputs | 输入 | 算子输入tensor的数量。 |
| inputDesc | 输入 | 算子输入tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 inputDesc数组中的元素个数必须与numInputs参数值保持一致，且inputs数组与inputDesc数组中的元素必须一一对应。 |
| inputs | 输入 | 算子输入tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 inputs数组中的元素个数必须与numInputs参数值保持一致，且inputs数组与inputDesc数组中的元素必须一一对应。 |
| numOutputs | 输入 | 算子输出tensor的数量。 outputDesc数组中的元素个数必须与numOutputs参数值保持一致。 |
| outputDesc | 输入 | 算子输出tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 outputDesc数组中的元素个数必须与numOutputs参数值保持一致，且outputs数组与outputDesc数组中的元素必须一一对应。 |
| outputs | 输出 | 算子输出tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 outputs数组中的元素个数必须与numOutputs参数值保持一致，且outputs数组与outputDesc数组中的元素必须一一对应。 |
| attr | 输入 | 算子属性的指针。 需提前调用aclopCreateAttr接口创建aclopAttr类型。 |
| stream | 输入 | 该算子需要加载的stream。 |
返回值说明
返回0表示成功，返回其它值表示失败。
父主题： 算子加载与执行
aclopExecuteV2
函数功能
同步或者异步执行指定的算子。
约束说明
多线程场景下，不支持调用本接口时指定同一个Stream或使用默认Stream，否则可能任务执行异常。
每个算子的输入、输出组织不同，需要应用在调用时严格按照算子输入、输出参数来组织算子。用户在调用aclopExecuteV2接口时，AscendCL根据optype、输入tensor的描述、输出tensor的描述、attr等信息查找对应的任务，并下发执行。
-
对于支持动态Shape的算子，无法明确算子输出Shape时，可调用aclopInferShape接口获取算子的输出Shape：
- 若可获取到准确的输出Shape，则使用准确的输出Shape来构造outputDesc参数，作为aclopExecuteV2的输入。该场景下，aclopExecuteV2接口是异步接口。
- 若无法获取准确的输出Shape，仅能获取输出Shape范围，则使用Shape最大值来构造outputDesc参数，作为aclopExecuteV2的输入。该场景下，在调用aclopExecuteV2接口执行算子后，系统内部会计算出准确的输出Shape，通过aclopExecuteV2接口的outputDesc参数输出，此时aclopExecuteV2接口是同步接口。
- （该场景预留）若无法获取准确的输出Shape以及Shape范围，则需由用户预估一个最大的Shape来构造outputDesc参数，作为aclopExecuteV2的输入。该场景下，在调用aclopExecuteV2接口执行算子后，系统内部会计算出准确的输出Shape，通过aclopExecuteV2接口的outputDesc参数输出，此时aclopExecuteV2接口是同步接口。
-
执行有可选输入的算子时，如果可选输入不使用：
- 则需按此种方式创建aclTensorDesc类型的数据：aclCreateTensorDesc(ACL_DT_UNDEFINED, 0, nullptr, ACL_FORMAT_UNDEFINED)，表示数据类型设置为ACL_DT_UNDEFINED，Format设置为ACL_FORMAT_UNDEFINED，Shape信息为nullptr。
- 则需按此种方式创建aclDataBuffer类型的数据：aclCreateDataBuffer(nullptr, 0)，同时aclDataBuffer中的数据不需要释放，因为是空指针。
-
执行有constant输入的算子时，需要先调用aclSetTensorConst接口设置constant输入。
调用aclopCompile接口、aclopExecuteV2接口时，设置的constant输入数据必须保持一致。
对于算子有constant输入的场景，如果未调用aclSetTensorConst接口设置constant输入，则需调用aclSetTensorPlaceMent设置TensorDesc的placement属性，将memType设置为Host内存。
-
在执行单算子时，一般要求用户传入的输入/输出tensor数据是存放在Device内存的，比如两个tensor相加的场景。但是，也存在部分算子，除了将featureMap、weight等Device内存中的tensor数据作为输入外，还需tensor shape信息、learningRate、tensor的dims信息等通常在Host内存中的tensor数据也作为输入，此时，用户不需要额外将这些Host内存中的tensor数据拷贝到Device上作为输入，只需要调用aclSetTensorPlaceMent接口设置对应TensorDesc的placement属性为Host内存，在执行单算子时，设置了placement属性为Host内存的TensorDesc，其对应的tensor数据必须存放在Host内存中，AscendCL内部会自动将Host上的tensor数据拷贝到Device上。
函数原型
aclError aclopExecuteV2(const char *opType,
int numInputs,
aclTensorDesc *inputDesc[],
aclDataBuffer *inputs[],
int numOutputs,
aclTensorDesc *outputDesc[],
aclDataBuffer *outputs[],
aclopAttr *attr,
aclrtStream stream)
参数说明
| 参数名 | 输入/输出 | 说明 |
|---|---|---|
| opType | 输入 | 算子类型名称的指针。 |
| numInputs | 输入 | 算子输入tensor的数量。 |
| inputDesc | 输入 | 算子输入tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 inputDesc数组中的元素个数必须与numInputs参数值保持一致，且inputs数组与inputDesc数组中的元素必须一一对应。 |
| inputs | 输入 | 算子输入tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 inputs数组中的元素个数必须与numInputs参数值保持一致，且inputs数组与inputDesc数组中的元素必须一一对应。 |
| numOutputs | 输入 | 算子输出tensor的数量。 |
| outputDesc | 输入&输出 | 算子输出tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 outputDesc数组中的元素个数必须与numOutputs参数值保持一致，且outputs数组与outputDesc数组中的元素必须一一对应。 |
| outputs | 输出 | 算子输出tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 outputs数组中的元素个数必须与numOutputs参数值保持一致，且outputs数组与outputDesc数组中的元素必须一一对应。 |
| attr | 输入 | 算子属性的指针。 需提前调用aclopCreateAttr接口创建aclopAttr类型。 |
| stream | 输入 | 该算子需要加载的stream。 |
返回值说明
返回0表示成功，返回其它值表示失败。
参考资源
接口调用流程及示例，参见单算子调用。
父主题： 算子加载与执行
aclopCompileAndExecute
函数功能
编译并执行指定的算子，当前只支持固定Shape的算子，异步接口。在编译执行算子前，可以调用aclSetCompileopt接口设置编译选项。
约束说明
-
多线程场景下，不支持调用本接口时指定同一个Stream或使用默认Stream，否则可能任务执行异常。
-
每个算子的输入、输出组织不同，需要应用在调用时严格按照算子输入、输出参数来组织算子，用户在调用aclopCompileAndExecute时，AscendCL根据optype、输入tensor的描述、输出tensor的描述、attr等信息查找对应的任务，再编译、执行算子。
-
编译、执行有可选输入的算子时，如果可选输入不使用，则：
- 需按此种方式创建aclTensorDesc类型的数据：aclCreateTensorDesc(ACL_DT_UNDEFINED, 0, nullptr, ACL_FORMAT_UNDEFINED)，表示数据类型设置为ACL_DT_UNDEFINED，Format设置为ACL_FORMAT_UNDEFINED，Shape信息为nullptr；
- 需按此种方式创建aclDataBuffer类型的数据：aclCreateDataBuffer(nullptr, 0)，同时aclDataBuffer中的数据不需要释放，因为是空指针。
-
编译、执行有constant输入的算子时，需要先调用aclSetTensorConst接口设置constant输入。
对于算子有constant输入的场景，如果未调用aclSetTensorConst接口设置constant输入，则需调用aclSetTensorPlaceMent设置TensorDesc的placement属性，将memType设置为Host内存。
-
在执行单算子时，一般要求用户传入的输入/输出tensor数据是存放在Device内存的，比如两个tensor相加的场景。但是，也存在部分算子，除了将featureMap、weight等Device内存中的tensor数据作为输入外，还需tensor shape信息、learningRate、tensor的dims信息等通常在Host内存中的tensor数据也作为输入，此时，用户不需要额外将这些Host内存中的tensor数据拷贝到Device上作为输入，只需要调用aclSetTensorPlaceMent接口设置对应TensorDesc的placement属性为Host内存，在执行单算子时，设置了placement属性为Host内存的TensorDesc，其对应的tensor数据必须存放在Host内存中，AscendCL内部会自动将Host上的tensor数据拷贝到Device上。
函数原型
aclError aclopCompileAndExecute(const char *opType,
int numInputs,
const aclTensorDesc *const inputDesc[],
const aclDataBuffer *const inputs[],
int numOutputs,
const aclTensorDesc *const outputDesc[],
aclDataBuffer *const outputs[],
const aclopAttr *attr,
aclopEngineType engineType,
aclopCompileType compileFlag,
const char *opPath,
aclrtStream stream)
参数说明
| 参数名 | 输入/输出 | 说明 |
|---|---|---|
| opType | 输入 | 算子类型名称的指针。 |
| numInputs | 输入 | 算子输入tensor的数量。 |
| inputDesc | 输入 | 算子输入tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 inputDesc数组中的元素个数必须与numInputs参数值保持一致，且inputs数组与inputDesc数组中的元素必须一一对应。 |
| inputs | 输入 | 算子输入tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 inputs数组中的元素个数必须与numInputs参数值保持一致，且inputs数组与inputDesc数组中的元素必须一一对应。 |
| numOutputs | 输入 | 算子输出tensor的数量。 |
| outputDesc | 输入 | 算子输出tensor描述的指针数组。 需提前调用aclCreateTensorDesc接口创建aclTensorDesc类型。 outputDesc数组中的元素个数必须与numOutputs参数值保持一致，且outputs数组与outputDesc数组中的元素必须一一对应。 |
| outputs | 输入&输出 | 算子输出tensor的指针数组。 需提前调用aclCreateDataBuffer接口创建aclDataBuffer类型的数据。 outputs数组中的元素个数必须与numOutputs参数值保持一致，且outputs数组与outputDesc数组中的元素必须一一对应。 |
| attr | 输入 | 算子属性的指针。 需提前调用aclopCreateAttr接口创建aclopAttr类型。 |
| engineType | 输入 | 算子执行引擎。 |
| compileFlag | 输入 | 算子编译标识。 |
| opPath | 输入 | 算子实现文件（*.py）路径的指针，不包含文件名。 如果将compileFlag设置为ACL_COMPILE_UNREGISTERED 时，需要设置opPath。 |
| stream | 输入 | 该算子需要加载的stream。 |
返回值说明
返回0表示成功，返回其它值表示失败。
父主题： 算子加载与执行
在线提单