函数：execute
函数：load_from_mem_with_mem
| C函数原型 | aclError aclmdlLoadFromMemWithMem(const void *model, size_t modelSize, uint32_t *modelId, void *workPtr, size_t workSize, void *weightPtr, size_t weightSize) |
|---|---|
| Python函数 | model_id，ret = acl.mdl.load_from_mem_with_mem(model, model_size, work_ptr, work_size, weight_ptr, weight_size) |
| 函数功能 | 从内存加载离线模型数据，由用户自行管理模型运行的内存，同步接口。 系统完成模型加载后，返回的模型ID，作为后续操作时用于识别模型的标志。 |
| 输入说明 | model：int，模型数据的内存地址。 - 应用运行在Host时，此处需申请Host上的内存。 - 应用运行在Device时，此处需申请Device上的内存。 - 应用的运行模式可使用acl.rt.get_run_mode接口获取。 model_size：int，模型数据长度，单位Byte。 work_ptr：int，Device上模型所需工作内存（存放模型输入/输出等数据）的指针地址，由用户自行管理。 work_size：int，模型所需工作内存的大小，单位Byte。 weight_ptr：int，Device上模型权值内存（存放权值数据）的指针地址，由用户自行管理。 weight_size：int，模型所需权值内存的大小，单位Byte。 |
| 返回值说明 | model_id：int，系统完成模型加载后生成的模型ID。 ret：int，错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | 模型加载、模型执行、模型卸载的操作必须在同一个Context下（关于Context的创建请参见acl.rt.create_context）。 |
| 相关接口 | 当前pyACL还提供了acl.mdl.set_config_opt接口、acl.mdl.load_with_config接口来实现模型加载，通过配置对象中的属性来区分，在加载模型时是从文件加载，还是从内存加载，以及内存是由系统内部管理，还是由用户管理。 |
| 参考资源 | 接口调用流程，参见模型加载。 |
父主题： 模型加载与执行
函数：execute
| C函数原型 | aclError aclmdlExecute(uint32_t modelId, const aclmdlDataset *input, aclmdlDataset *output) |
|---|---|
| Python函数 | ret = acl.mdl.execute(model_id, input, output) |
| 函数功能 | 执行模型推理，直到返回推理结果，同步接口。 |
| 输入说明 | model_id：int，指定需要执行推理的模型的ID。 input：int，模型推理的输入数据对应的指针地址。 output：int，模型推理的输出数据对应的指针地址。 |
| 返回值说明 | ret：int，错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | - 若由于业务需求，必须在多线程中使用同一个“model_id”，则用户线程间需加锁，保证刷新输入输出内存、保证执行是连续操作，例如： text<br> // 线程A的接口调用顺序：<br> lock(handle1) -> acl.rt.memcpy刷新输入输出内存 -> acl.mdl.execute执行推理 -> unlock(handle1)<br> // 线程B的接口调用顺序：<br> lock(handle1) -> acl.rt.memcpy刷新输入输出内存 -> acl.mdl.execute执行推理 -> unlock(handle1)<br> - 模型加载、模型执行、模型卸载的操作必须在同一个Context下（关于Context的创建请参见acl.rt.create_context）。 - 存放模型输入/输出数据的内存，可以使用以下接口申请：acl.rt.malloc、或acl.rt.malloc_host、或acl.rt.malloc_cached接口、或acl.media.dvpp_malloc接口、或acl.himpi.dvpp_malloc接口。 其中： - 对于Atlas 200/500 A2推理产品，acl.rt.malloc_host接口支持在RC模式下申请Device内存。 - acl.media.dvpp_malloc接口和acl.himpi.dvpp_malloc接口是媒体数据处理功能专用的内存申请接口，一般从性能角度，为了减少拷贝，媒体数据处理的输出作为模型推理的输入，实现内存复用。 - 由于硬件对内存有对齐和补齐要求，若用户使用这些接口申请大块内存并自行划分、管理内存时，需满足对应接口的对齐和补齐约束，请参见内存二次分配管理。 |
| 参考资源 | 接口调用流程及示例代码，参见模型执行。 |
父主题： 模型加载与执行
函数：execute_v2
| C函数原型 | aclError aclmdlExecuteV2(uint32_t modelId, const aclmdlDataset *input, aclmdlDataset *output, aclrtStream stream，const aclmdlExecConfigHandle* handle) |
|---|---|
| Python函数 | ret = acl.mdl.execute_v2(model_id, input, output, stream, handle) |
| 函数功能 | 根据acl.mdl.set_exec_config_opt接口所配置的属性，执行模型推理，直到返回推理结果。该接口是在acl.mdl.execute接口基础上进行了增强，支持在执行模型推理时控制Stream任务的超时时间、Event任务的超时时间。 |
| 输入说明 | model_id：int，指定需要执行推理的模型的ID。调用acl.mdl.load_from_file接口/acl.mdl.load_from_mem接口/acl.mdl.load_from_file_with_mem接口/acl.mdl.load_from_mem_with_mem接口加载模型成功后，会返回模型ID。 input：int，模型推理的输入数据的指针地址。 **output：**int，模型推理的输出数据的指针地址。 stream：int，指定已创建的Stream指针地址，如需指定新的Stream，可通过acl.rt.create_stream等接口创建并获取Stream指针地址。 handle：int，模型执行的配置对象的指针地址。与acl.mdl.set_exec_config_opt中的handle保持一致。 |
| 返回值说明 | ret：int，错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | - 本接口需要配合其它接口一起使用，实现模型执行，接口调用顺序如下： 1. 调用acl.mdl.create_exec_config_handle接口创建模型执行的配置对象的指针地址。 2. 多次调用acl.mdl.set_exec_config_opt接口设置配置对象中每个属性的值。 3. 调用acl.mdl.execute_v2接口指定模型执行时需要的配置信息，并进行模型执行。 4. 模型加载成功后，调用acl.mdl.destroy_exec_config_handle接口销毁。 - 其他约束与acl.mdl.execute一致。 |
| 参考资源 | - 接口调用流程及示例代码，参见模型执行。 - Stream创建与管理，请参见Stream管理。 |
父主题： 模型加载与执行
函数：execute_async
| C函数原型 | aclError aclmdlExecuteAsync(uint32_t modelId, const aclmdlDataset *input, aclmdlDataset *output, aclrtStream stream) |
|---|---|
| Python函数 | ret = acl.mdl.execute_async(model_id, input, output_, stream) |
| 函数功能 | 执行模型推理，异步接口。 |
| 输入说明 | model_id：int，指定需要执行推理的模型的ID。 input：int，模型推理的输入数据的指针地址。 output：int，模型推理的输出数据的指针地址。 stream：int，指定已创建的Stream指针地址，如需指定新的Stream，可通过acl.rt.create_stream等接口创建并获取Stream指针地址。 |
| 返回值说明 | ret：int，错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
| 约束说明 | - 对同一个“model_id”的模型，不能调用acl.mdl.execute_async接口执行多Stream并发场景下的模型推理。 - 若由于业务需求，必须在多线程中使用同一个“model_id”，则用户线程间需加锁，保证刷新输入输出内存、保证执行是连续操作，例如： text<br> // 线程A的接口调用顺序：<br> lock(handle1) -> acl.rt.memcpy_async(stream1)刷新输入输出内存 -> acl.mdl.execute_async(modelId1,stream1)执行推理 -> unlock(handle1)<br> // 线程B的接口调用顺序：<br> lock(handle1) -> acl.rt.memcpy_async(stream1)刷新输入输出内存 -> acl.mdl.execute_async(modelId1,stream1)执行推理 -> unlock(handle1)<br> - 模型加载、模型执行、模型卸载的操作必须在同一个Context下（关于Context的创建请参见acl.rt.create_context）。 - 存放模型输入/输出数据的内存，可以使用以下接口申请：acl.rt.malloc、或acl.rt.malloc_host、或acl.rt.malloc_cached接口、或acl.media.dvpp_malloc接口、或acl.himpi.dvpp_malloc接口。 其中，acl.media.dvpp_malloc接口和acl.himpi.dvpp_malloc接口是媒体数据处理功能专用的内存申请接口，一般从性能角度，为了减少拷贝，媒体数据处理的输出作为模型推理的输入，实现内存复用。 由于硬件对内存有对齐和补齐要求，若用户使用这些接口申请大块内存并自行划分、管理内存时，需满足对应接口的对齐和补齐约束，请参见内存二次分配管理。 |
| 参考资源 | - 接口调用流程，参见接口调用流程。 - 接口调用示例，参见示例代码。 - Stream创建与管理，请参见Stream管理。 |
父主题： 模型加载与执行
在线提单