多Stream接口调用流程

动态AIPP（多个动态AIPP输入）

基本原理

模型有多个动态AIPP输入时的推理基本流程与单个动态AIPP输入类似，请参见动态AIPP（单个动态AIPP输入）。

多个动态AIPP输入与单个动态AIPP输入的不同点如下：

需调用acl.mdl.get_aipp_type接口查询指定模型的指定输入是否有关联的动态AIPP输入，若有，则输出标识动态AIPP输入的index，该参数值可作为acl.mdl.set_aipp_by_input_index接口的入参之一，来设置对应输入上的动态AIPP参数值。
为避免在错误的输入上设置动态AIPP参数，用户可调用acl.mdl.get_input_name_by_index接口先获取指定输入index的输入名称，根据输入名称所对应的index设置动态AIPP参数。

示例代码

调用接口后，需增加异常处理的分支，示例代码中不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考。

 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62  python import acl # ...... ACL_DATA_WITH_DYNAMIC_AIPP = 2 ACL_YUV420SP_U8 = 1 # 1.模型加载，加载成功后，再设置动态AIPP参数值。 # ...... # 2.准备模型描述信息model_desc，准备模型的输入数据input_dataset和模型的输出数据output_dataset。 # ...... # 3.自定义函数，设置动态AIPP参数值。 def model_set_dynamic_aipp(): # 3.1 获取标识动态AIPP输入的index。 need_dynamic_aipp = [] input_num = acl.mdl.get_num_inputs(model_desc) for index in range(input_num): aipp_type, dynamic_attached_index, ret = acl.mdl.get_aipp_type(model_id, index) if aipp_type == ACL_DATA_WITH_DYNAMIC_AIPP: need_dynamic_aipp.append(index) # 3.2 当前示例中以2个动态AIPP输入为例，用户可根据实际情况修改。 if len(need_dynamic_aipp) != 2: return 1 # 创建第一个动态aipp配置参数。 batch_number_first = 1 aipp_dynamic_set_first = acl.mdl.create_aipp(batch_number_first) ret = acl.mdl.set_aipp_src_image_size(aipp_dynamic_set_first, 256, 224) ret = acl.mdl.set_aipp_input_format(aipp_dynamic_set_first, ACL_YUV420SP_U8) ret = acl.mdl.set_aipp_csc_params(aipp_dynamic_set_first, 1, 256, 443, 0, 256, -86, -178, 256, 0, 350, 0, 0, 0, 0, 128, 128) ret = acl.mdl.set_aipp_rbuv_swap_switch(aipp_dynamic_set_first, 0) ret = acl.mdl.set_aipp_dtc_pixel_mean(aipp_dynamic_set_first, 0, 0, 0, 0, 0) ret = acl.mdl.set_aipp_dtc_pixel_min(aipp_dynamic_set_first, 0, 0, 0, 0, 0) ret = acl.mdl.set_aipp_pixel_var_reci(aipp_dynamic_set_first, 1.0, 1.0, 1.0, 1.0, 0) ret = acl.mdl.set_aipp_crop_params(aipp_dynamic_set_first, 1, 2, 2, 224, 224, 0) # 设置模型推理时的动态aipp参数值。 ret = acl.mdl.set_aipp_by_input_index(model_id, input_dataset, need_dynamic_aipp[0], aipp_dynamic_set_first) ret = acl.mdl.destroy_aipp(aipp_dynamic_set_first) # 创建第二个动态aipp配置参数。 batch_number_second = 2 aipp_dynamic_set_second = acl.mdl.create_aipp(batch_number_second) ret = acl.mdl.set_aipp_src_image_size(aipp_dynamic_set_second, 224, 224) # 此处可以继续调用其它AIPP参数设置接口。 # 设置模型推理时的动态aipp参数值。 ret = acl.mdl.set_aipp_by_input_index(model_id, input_dataset, need_dynamic_aipp[1], aipp_dynamic_set_second) ret = acl.mdl.destroy_aipp(aipp_dynamic_set_second) return ret # 4.自定义函数，执行模型。 def ModelExecute(int index): # 4.1 调用自定义函数，设置动态AIPP参数值。 ret = model_set_dynamic_aipp() # 4.2 执行模型，modelId_表示加载成功的模型的ID，input_dataset和output_dataset分别表示模型的输入和输出。 ret = acl.mdl.execute(model_id, input_dataset, output_dataset) # ...... # 5.处理模型推理结果。 # ......

父主题： 模型动态AIPP推理

原理介绍

在pyACL中，Stream是一个任务队列，应用程序通过Stream来管理任务的并行，一个Stream内部的任务保序执行，即Stream根据发送过来的任务依次执行；不同Stream中的任务并行执行。一个默认Context下会挂一个默认Stream，如果不显式创建Stream，可使用默认Stream。默认Stream作为接口入参时，直接传0。

父主题： Stream管理

多Stream接口调用流程

开发应用时，如果涉及多Stream之间的任务等待，则应用程序中必须包含相关的代码逻辑，关于该场景的接口调用流程，请依次参见pyACL接口调用流程以及本节中的说明。

图1 同步等待流程_多Stream场景

多Stream之间任务的同步等待可以利用Event实现，调用acl.rt.stream_wait_event接口阻塞指定Stream的运行，直到指定的Event完成。需在调用acl.rt.stream_wait_event接口前，先调用acl.rt.record_event接口。调用示例请参见关于Stream间任务的同步等待。

模型加载与执行的流程请参见开发基础推理应用。

算子加载与执行的流程请参见单算子调用。

父主题： Stream管理

单线程单Stream

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考。

 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15  python import acl # ...... ACL_MEMCPY_HOST_TO_DEVICE = 1 # 显式创建一个Stream。 stream, ret = acl.rt.create_stream() # 调用触发任务的接口，传入stream参数。 ret = acl.rt.memcpy_async(dev_ptr, dev_size, host_ptr, host_size, ACL_MEMCPY_HOST_TO_DEVICE, stream) # 调用acl.rt.synchronize_stream接口，阻塞应用程序运行，直到指定Stream中的所有任务都完成。 ret = acl.rt.synchronize_stream(stream) # Stream使用结束后，显式销毁Stream。 ret = acl.rt.destroy_stream(stream) # ......

父主题： Stream管理

单线程多Stream

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考。

import acl
## ......

device_id = 0
model_id_1 = 0
model_id_2 = 1

## 如果只创建了一个Context，线程默认将这个Context作为线程当前的Context。
## 如果是多个Context，则需要调用acl.rt.create_context接口设置当前线程的Context。
context, ret = acl.rt.create_context(device_id)

stream1, ret = acl.rt.create_stream()
## 调用触发任务的接口，例如异步模型推理，任务下发在stream1。
ret = acl.mdl.execute_async(model_id_1, dataset_in_1, dataset_out_1, stream1)

stream2, ret = acl.rt.create_stream()
## 调用触发任务的接口，例如异步模型推理， 任务下发在stream2。
ret = acl.mdl.execute_async(model_id_2, dataset_in_2, dataset_out_2, stream2)

## 流同步。
ret = acl.rt.synchronize_stream(stream1)
ret = acl.rt.synchronize_stream(stream2)

## 释放资源。
ret = acl.rt.destroy_stream(stream2)
ret = acl.rt.destroy_stream(stream1)
ret = acl.rt.destroy_context(context)

## ....

父主题： Stream管理

多线程多Stream

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考。

 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24  python import acl # ...... def run_thread(stream): device_id = 0 # 如果只创建了一个Context，线程默认将这个Context作为线程当前的Context。 # 如果是多个Context，则需要调用acl.rt.set_context接口设置当前线程的Context。 context, ret = acl.rt.create_context(device_id) stream, ret = acl.rt.create_stream() # 调用触发任务的接口。 # .... # 释放资源。 ret = acl.rt.destroy_stream(stream) ret = acl.rt.destroy_context(context) # 创建2个线程，每个线程对应一个Stream。 thread_id1, ret = acl.util.start_thread(run_thread, stream1) thread_id2, ret = acl.util.start_thread(run_thread, stream2) # 显式调用join函数确保结束线程。 ret = acl.util.stop_thread(thread_id1) ret = acl.util.stop_thread(thread_id2)

父主题： Stream管理

在线提单

动态AIPP（多个动态AIPP输入）​

基本原理​

示例代码​

原理介绍​

多Stream接口调用流程​

单线程单Stream​

单线程多Stream​

多线程多Stream​

动态AIPP（多个动态AIPP输入）

基本原理

示例代码

原理介绍

多Stream接口调用流程

单线程单Stream

单线程多Stream

多线程多Stream