JPEGE图片编码

VPC图像处理典型功能

VPC（Vision Preprocessing Core）负责图像处理功能，支持对图片做抠图、缩放、格式转换等操作。关于VPC功能的详细介绍请参见功能说明，关于VPC功能对输入、输出的约束要求，请参见约束说明。

本节以抠图、缩放为例说明VPC图像处理时的接口调用流程，同时配合以下典型功能的示例代码辅助理解该接口调用流程：

图片缩放示例代码
格式转换示例代码
抠图（一图一框）示例代码
抠图缩放（一图一框）示例代码
抠图贴图（一图一框）示例代码
抠图贴图缩放（一图一框）示例代码
抠图贴图（一图多框）示例代码

接口调用流程（以抠图、缩放为例）

开发应用时，如果涉及抠图、缩放等图片处理，则应用程序中必须包含图片处理的代码逻辑，关于图片处理的接口调用流程，请先参见pyACL接口调用流程了解整体流程，再查看本节中的流程说明。

图1 抠图缩放流程

关键接口的说明如下（以抠图、缩放处理为例）：

调用acl.media.dvpp_create_channel_desc接口创建通道描述信息。
调用acl.media.dvpp_create_channel接口创建图片数据处理的通道。
调用acl.media.dvpp_create_roi_config接口、acl.media.dvpp_create_resize_config接口分别创建抠图区域位置的配置、缩放配置。
实现抠图、缩放功能前，若需要申请Device上的内存存放输入或输出数据，需调用acl.media.dvpp_malloc申请内存。
执行抠图、缩放。
- 关于抠图：
  - 调用acl.media.dvpp_vpc_crop_async异步接口，按指定区域从输入图片中抠图，再将抠的图片存放到输出内存中，作为输出图片。
    
    输出图片区域与抠图区域“crop_area”不一致时会对图片再做一次缩放操作。
  - 当前系统还提供了acl.media.dvpp_vpc_crop_and_paste_async异步接口，支持按指定区域从输入图片中抠图，再将抠的图片贴到目标图片的指定位置，作为输出图片。
    - 抠图区域“crop_area”的宽高与贴图区域“paste_area”宽高不一致时会对图片再做一次缩放操作。
    - 如果用户需要将目标图片读入内存用于存放输出图片，将贴图区域叠加在目标图片上，则需要编写代码逻辑：在申请输出内存后，将目标图片读入输出内存。
- 关于缩放：
  - 调用acl.media.dvpp_vpc_resize_async异步接口，将输入图片缩放到输出图片大小。
  - 缩放后输出图片内存根据YUV420SP格式计算，计算公式：对齐后的宽 * 对齐后的高 * 3 / 2。
- 对于异步接口，还需调用acl.rt.synchronize_stream接口阻塞程序运行，直到指定Stream中的所有任务都完成。
调用acl.media.dvpp_free接口释放输入、输出内存。
调用acl.media.dvpp_destroy_roi_config接口、acl.media.dvpp_destroy_resize_config接口分别销毁抠图区域位置的配置、缩放配置。
调用acl.media.dvpp_destroy_channel接口销毁图片数据处理的通道。

销毁图片数据处理的通道后，再调用acl.media.dvpp_destroy_channel_desc接口销毁通道描述信息。

图片缩放示例代码

调用acl.media.dvpp_create_channel接口创建图片数据处理的通道、调用acl.media.dvpp_destroy_channel接口销毁图片数据处理的通道。
调用acl.media.dvpp_vpc_resize_async异步接口，将输入图片缩放到输出图片大小。对于异步接口，还需调用acl.rt.synchronize_stream接口阻塞程序运行，直到指定Stream中的所有任务都完成。
调用acl.media.dvpp_create_resize_config接口创建图片缩放配置数据。

如果不想使用默认缩放算法，也可以调用acl.media.dvpp_set_resize_config_interpolation接口指定缩放算法。

您可以从获取样例中获取完整样例代码。

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考。

 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76  python import acl # ...... # 1.ACL初始化。 ret = acl.init() # 2.运行管理资源申请,包括Device、Context、Stream。 self.device_id = 0 ret = acl.rt.set_device(self.device_id) self.context, ret = acl.rt.create_context(self.device_id) self.stream, ret = acl.rt.create_stream() # 3.创建图片缩放配置数据，不支持指定缩放算法，默认缩放算法为“最近邻插值”。 # self.resize_config是acldvppResizeConfig类型。 self.resize_config = acl.media.dvpp_create_resize_config() # 4.创建图片数据处理通道时的通道描述信息，self.dvpp_channel_desc是acldvppChannelDesc类型。 self.dvpp_channel_desc = acl.media.dvpp_create_channel_desc() # 5.创建图片数据处理的通道。 ret = acl.media.dvpp_create_channel(self.dvpp_channel_desc) # 6.申请缩放输入内存，内存大小根据计算公式得出; w和h是输入图片的实际尺寸。 width_stride = ((w + 15) // 16) * 16 height_stride = ((h + 1) // 2) * 2 buffer_size = (width_stride * height_stride * 3) // 2 dev_in, ret = acl.media.dvpp_malloc(buffer_size ) self.dev_buffer['input_0'] = dev # 7.申请缩放输出内存，内存大小根据计算公式得出; w和h是输入图片的缩放尺寸。 width_stride = ((w + 15) // 16) * 16 height_stride = ((h + 1) // 2) * 2 buffer_size = (width_stride * height_stride * 3) // 2 dev_out, ret = acl.media.dvpp_malloc(buffer_size ) self.dev_buffer['output_0'] = dev # 8.创建缩放输入图片的描述信息，并设置各属性值。 # self.input_desc是acldvppPicDesc类型。 self.input_desc = acl.media.dvpp_create_pic_desc() ret = acl.media.dvpp_set_pic_desc_data(self.input_desc, buffer) ret = acl.media.dvpp_set_pic_desc_format(self.input_desc, YUV420) ret = acl.media.dvpp_set_pic_desc_width(self.input_desc, width) ret = acl.media.dvpp_set_pic_desc_height(self.input_desc, height) ret = acl.media.dvpp_set_pic_desc_width_stride(self.input_desc, wstride) ret = acl.media.dvpp_set_pic_desc_height_stride(self.input_desc, hstride) ret = acl.media.dvpp_set_pic_desc_size(self.input_desc, size) # 9.创建缩放输出图片的描述信息，并设置各属性值。 # 如果缩放的输出图片作为模型推理的输入，则输出图片的宽高要与模型要求的宽高保持一致。 # self.output_desc是acldvppPicDesc类型。 self.output_desc= acl.media.dvpp_create_pic_desc() ret = acl.media.dvpp_set_pic_desc_data(self.output_desc, buffer) ret = acl.media.dvpp_set_pic_desc_format(self.output_desc, YUV420) ret = acl.media.dvpp_set_pic_desc_width(self.output_desc, width) ret = acl.media.dvpp_set_pic_desc_height(self.output_desc, height) ret = acl.media.dvpp_set_pic_desc_width_stride(self.output_desc, wstride) ret = acl.media.dvpp_set_pic_desc_height_stride(self.output_desc, hstride) ret = acl.media.dvpp_set_pic_desc_size(self.output_desc, size) # 10.执行异步缩放，再调用acl.rt.synchronize_stream接口阻塞Host运行，直到指定Stream中的所有任务都完成。 ret = acl.media.dvpp_vpc_resize_async(self.dvpp_channel_desc, self.input_desc, self.output_desc, self.resize_config, self.stream) ret = acl.rt.synchronize_stream(self.stream) # 11.缩放结束后，释放资源，包括缩放输入/输出图片的描述信息、缩放输入/输出内存。 ret = acl.media.dvpp_destroy_pic_desc(self.output_desc) ret = acl.media.dvpp_destroy_pic_desc(self.input_desc) ret = acl.media.dvpp_free(self.dev_buffer['input_0'] ) ret = acl.media.dvpp_free(self.dev_buffer['output_0'] ) # 12.释放运行管理资源。 ret = acl.rt.destroy_stream(self.stream) ret = acl.rt.destroy_context(self.context) ret = acl.rt.reset_device(self.device_id) ret = acl.finalize() # ......

格式转换示例代码

格式转换支持以下两种实现方式：

在实现抠图、缩放等功能时，调用对应的接口（例如acl.media.dvpp_vpc_crop_async接口）时，通过将输入图片和输出图片的格式设置成不同的，达到转换图片格式的目的。
如果仅进行图片格式转换，也可以直接调用acl.media.dvpp_vpc_convert_color_async接口。

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝编译运行，仅供参考。

抠图（一图一框）示例代码

调用acl.media.dvpp_vpc_crop_async异步接口，按指定区域从输入图片中抠图，再将抠的图片存放到输出内存中，作为输出图片。

您可以从获取样例中获取完整样例代码。

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考。

抠图缩放（一图一框）示例代码

调用acl.media.dvpp_vpc_crop_resize_async异步接口，按指定区域从输入图片中抠图，再将抠的图片存放到输出内存中，作为输出图片。对于异步接口，还需调用acl.rt.synchronize_stream接口阻塞程序运行，直到指定Stream中的所有任务都完成。

调用acl.media.dvpp_vpc_crop_resize_async接口实现抠图缩放时，支持指定缩放算法。
输出图片区域与抠图区域“crop_area”不一致时会对图片再做一次缩放操作。

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考。

 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64  python import acl # ...... # 1.pyACL初始化。 ret = acl.init() # 2.运行管理资源申请,包括Device、Context、Stream。 self.device_id = 0 ret = acl.rt.set_device(self.device_id) self.context, ret = acl.rt.create_context(self.device_id) self.stream, ret = acl.rt.create_stream() # 3.指定抠图区域的位置、指定贴图区域的位置。 # 按左上角为原点做偏移。w，h为图片原始宽高。 self.crop_area = acl.media.dvpp_create_roi_config(w // 2, w - 1, h // 2, h - 1) # 4.创建图片数据处理通道时的通道描述信息，dvpp_channel_desc 是acldvppChannelDesc类型。 self.dvpp_channel_desc = acl.media.dvpp_create_channel_desc() # 5.创建图片数据处理的通道。 ret = acl.media.dvpp_create_channel(self.dvpp_channel_desc) # 6.创建输入输出图片的描述信息，并设置各属性值。 self.input_desc = acl.media.dvpp_create_pic_desc() assert self.input_desc is not None # 6.1 自定义方法 set_picture_desc 设置输入图片描述。 # 根据计算公式计算内存大小存储图片数据，并设置到图片描述，同时设置其他属性。 self.set_picture_desc(self.input_desc, w, h, "input", 0) self.output_desc = acl.media.dvpp_create_pic_desc() assert self.output_desc is not None # 6.2 自定义方法 set_picture_desc 设置输出图片描述。 resize_width = w // 4 resize_height = h // 4 out_buffer_size = self.set_picture_desc(self.output_desc, resize_width, resize_height, "output", 0) # 7.执行异步抠图，再调用acl.rt.synchronize_stream接口阻塞Host运行，直到指定Stream中的所有任务都完成。 self.resize_config = acl.media.dvpp_create_resize_config() ret = acl.media.dvpp_vpc_crop_resize_async(self.dvpp_channel_desc, self.input_desc, self.output_desc, self.crop_area, self.resize_config, self.stream) ret = acl.rt.synchronize_stream(self.stream) # 8.释放资源，包括输入/输出图片的描述信息、输入/输出内存、通道描述信息、通道等。 ret = acl.media.dvpp_destroy_pic_desc(self.input_desc) ret = acl.media.dvpp_destroy_pic_desc(self.output_desc) # dev_buffer是字典对象，存储device侧申请内存。 for key in self.dev_buffer.keys(): if self.dev_buffer[key]: ret = acl.media.dvpp_free(self.dev_buffer[key]) if self.dvpp_channel_desc: ret = acl.media.dvpp_destroy_channel(self.dvpp_channel_desc) assert ret == 0 ret = acl.media.dvpp_destroy_channel_desc(self.dvpp_channel_desc) assert ret == 0 # 9.释放运行管理资源。 ret = acl.rt.destroy_stream(self.stream) ret = acl.rt.destroy_context(self.context) ret = acl.rt.reset_device(self.device_id) # 10.pyACL去初始化。 ret = acl.finalize() # ......

抠图贴图（一图一框）示例代码

调用acl.media.dvpp_vpc_crop_and_paste_async异步接口，按指定区域从输入图片中抠图，再将抠的图片贴到目标图片的指定位置，作为输出图片。对于异步接口，还需调用acl.rt.synchronize_stream接口阻塞程序运行，直到指定Stream中的所有任务都完成。
抠图区域“crop_area”的宽高与贴图区域“paste_area”宽高不一致时会对图片再做一次缩放操作。
如果用户需要将目标图片读入内存用于存放输出图片，将贴图区域叠加在目标图片上，则需要编写代码逻辑：在申请输出内存后，将目标图片读入输出内存。

您可以从获取样例中获取完整样例代码。

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考。

 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63  python import acl # ...... # 1.pyACL初始化。 ret = acl.init() # 2.运行管理资源申请，包括Device、Context、Stream。 self.device_id = 0 ret = acl.rt.set_device(self.device_id) self.context, ret = acl.rt.create_context(self.device_id) self.stream, ret = acl.rt.create_stream() # 3.指定抠图区域的位置、指定贴图区域的位置。 # 按左上角为原点做偏移。w，h为图片原始宽高。 self.crop_area = acl.media.dvpp_create_roi_config(w // 2, w - 1, h // 2, h - 1) self.paste_area = acl.media.dvpp_create_roi_config(w // 2, w - 1, h // 2, h - 1) # 4.创建图片数据处理通道时的通道描述信息，dvpp_channel_desc 是acldvppChannelDesc类型。 self.dvpp_channel_desc = acl.media.dvpp_create_channel_desc() # 5.创建图片数据处理的通道。 ret = acl.media.dvpp_create_channel(self.dvpp_channel_desc) # 6.创建输入输出图片的描述信息，并设置各属性值。 self.input_desc = acl.media.dvpp_create_pic_desc() assert self.input_desc is not None # 6.1 自定义方法 set_picture_desc 设置输入图片描述。 # 根据计算公式计算内存大小存储图片数据，并设置到图片描述，同时设置其他属性。 self.set_picture_desc(self.input_desc, w, h, "input", 0) self.output_desc = acl.media.dvpp_create_pic_desc() assert self.output_desc is not None # 6.2 自定义方法 set_picture_desc 设置输出图片描述。 out_buffer_size = self.set_picture_desc(self.output_desc, w, h, "output", 0) # 7.执行异步抠图粘贴，再调用acl.rt.synchronize_stream接口阻塞Host运行，直到指定Stream中的所有任务都完成。 ret = acl.media.dvpp_vpc_crop_and_paste_async(self.dvpp_channel_desc, self.input_desc, self.output_desc, self.crop_area, self.paste_area, self.stream) ret = acl.rt.synchronize_stream(self.stream) # 8.释放资源，包括输入/输出图片的描述信息、输入/输出内存、通道描述信息、通道等。 ret = acl.media.dvpp_destroy_pic_desc(self.input_desc) ret = acl.media.dvpp_destroy_pic_desc(self.output_desc) # dev_buffer是字典对象，存储device侧申请内存。 for key in self.dev_buffer.keys(): if self.dev_buffer[key]: ret = acl.media.dvpp_free(self.dev_buffer[key]) if self.dvpp_channel_desc: ret = acl.media.dvpp_destroy_channel(self.dvpp_channel_desc) assert ret == 0 ret = acl.media.dvpp_destroy_channel_desc(self.dvpp_channel_desc) assert ret == 0 # 9.释放运行管理资源。 ret = acl.rt.destroy_stream(self.stream) ret = acl.rt.destroy_context(self.context) ret = acl.rt.reset_device(self.device_id) # 10.pyACL去初始化。 ret = acl.finalize() # ......

抠图贴图缩放（一图一框）示例代码

调用acl.media.dvpp_vpc_crop_resize_paste_async异步接口，按指定区域从输入图片中抠图，再将抠的图片贴到目标图片的指定位置，作为输出图片。对于异步接口，还需调用acl.rt.synchronize_stream接口阻塞程序运行，直到指定Stream中的所有任务都完成。

调用acl.media.dvpp_vpc_crop_resize_paste_async实现抠图缩放贴图时，支持指定缩放算法。
抠图区域“crop_area”的宽高与贴图区域“paste_area”宽高不一致时会对图片再做一次缩放操作。
如果用户需要将目标图片读入内存用于存放输出图片，将贴图区域叠加在目标图片上，则需要编写代码逻辑：在申请输出内存后，将目标图片读入输出内存。

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考。

 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80  python import acl # ...... # 1.pyACL初始化。 ret = acl.init() # 2.运行管理资源申请，包括Device、Context、Stream。 self.device_id = 0 ret = acl.rt.set_device(self.device_id) self.context, ret = acl.rt.create_context(self.device_id) self.stream, ret = acl.rt.create_stream() # 3.创建图片数据处理通道时的通道描述信息，dvpp_channel_desc 是acldvppChannelDesc类型。 self.dvpp_channel_desc = acl.media.dvpp_create_channel_desc() # 4.创建图片数据处理的通道。 ret = acl.media.dvpp_create_channel(self.dvpp_channel_desc) # 5.创建输出图片的描述信息，并设置各属性值。 self.output_desc = acl.media.dvpp_create_pic_desc() assert self.output_desc is not None out_buffer_size = self.set_picture_desc(self.output_desc, w // 2, h // 2, "output", 0) # 6.创建输入图片的描述信息，并设置各属性值。 self.input_desc = acl.media.dvpp_create_pic_desc() assert self.input_desc is not None self.set_picture_desc(self.input_desc, w, h, "input", 0) # 7.加载图片数据，并拷贝到Device侧。 np_yuv = np.fromfile(path, dtype=np.byte) in_buffer_size = np_yuv.itemsize * np_yuv.size bytes_data = np_yuv.tobytes() np_yuv_ptr = acl.util.bytes_to_ptr(bytes_data) ret = acl.rt.memcpy(self.dev_buffer["input_0"], in_buffer_size, np_yuv_ptr, in_buffer_size, ACL_MEMCPY_HOST_TO_DEVICE) assert ret == 0 # 8.指定抠图、贴图区域的位置。 self.crop_area = acl.media.dvpp_create_roi_config(w // 2, w - 1, h // 2, h - 1) self.paste_area = acl.media.dvpp_create_roi_config(w // 4, w // 2 - 1, h // 4, h // 2 - 1) # 9.执行异步抠图贴图缩放。 self.resize_config = acl.media.dvpp_create_resize_config() ret = acl.media.dvpp_vpc_crop_resize_paste_async(self.dvpp_channel_desc, self.input_desc, self.output_desc, self.crop_area, self.paste_area, self.resize_config, self.stream) assert ret == 0 ret = acl.rt.synchronize_stream(self.stream) assert ret == 0 # 10.将输出数据拷贝到Host侧。 np_output = np.zeros(out_buffer_size, dtype=np.byte) bytes_data = np_output.tobytes() np_output_ptr = acl.util.bytes_to_ptr(bytes_data) ret = acl.rt.memcpy(np_output_ptr, out_buffer_size, self.dev_buffer["output_0"], out_buffer_size, ACL_MEMCPY_DEVICE_TO_HOST) assert ret == 0 # 11.释放资源，包括输入/输出图片的描述信息、输入/输出内存、通道描述信息、通道等。 ret = acl.media.dvpp_destroy_pic_desc(self.input_desc) ret = acl.media.dvpp_destroy_pic_desc(self.output_desc) # dev_buffer是字典对象，存储device侧申请内存。 for key in self.dev_buffer.keys(): if self.dev_buffer[key]: ret = acl.media.dvpp_free(self.dev_buffer[key]) if self.dvpp_channel_desc: ret = acl.media.dvpp_destroy_channel(self.dvpp_channel_desc) assert ret == 0 ret = acl.media.dvpp_destroy_channel_desc(self.dvpp_channel_desc) assert ret == 0 # 12.释放运行管理资源。 ret = acl.rt.destroy_stream(self.stream) ret = acl.rt.destroy_context(self.context) ret = acl.rt.reset_device(self.device_id) # 13.pyACL去初始化。 ret = acl.finalize() # ......

抠图贴图（一图多框）示例代码

调用dvpp_vpc_batch_crop_and_paste_async异步接口，按指定区域从输入图片中抠图，再将抠的图片贴到目标图片的指定位置，作为输出图片。对于异步接口，还需调用acl.rt.synchronize_stream接口阻塞程序运行，直到指定Stream中的所有任务都完成。
抠图区域“crop_area”的宽高与贴图区域“paste_area”宽高不一致时会对图片再做一次缩放操作。
如果用户需要将目标图片读入内存用于存放输出图片，将贴图区域叠加在目标图片上，则需要编写代码逻辑：在申请输出内存后，将目标图片读入输出内存。

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考。

父主题： 媒体数据处理V1

JPEGD图片解码

JPEGD（JPEG Decoder）负责完成图像解码功能，将.jpg、.jpeg、.JPG、.JPEG图片解码成YUV格式图片。关于JPEGD功能的详细介绍及约束请参见功能及约束说明。

本节介绍JPEGD图片解码的接口调用流程，同时配合示例代码辅助理解该接口调用流程。

接口调用流程

开发应用时，如果涉及对JPEG图片的解码，则应用程序中必须包含图片解码的代码逻辑，关于图片解码的接口调用流程，请先参见pyACL接口调用流程了解整体流程，再查看本节中的流程说明。

图1 JPEG图片解码

当前系统支持.jpg、.jpeg、.JPG、.JPEG图片的解码，针对不同的源图编码格式，输出不同编码格式的图片，关键接口的说明如下：

调用acl.media.dvpp_create_channel_desc接口创建通道描述信息。
调用acl.media.dvpp_create_channel接口创建图片数据处理的通道。
实现JPEG图片解码功能前，若需要申请Device上的内存存放输入或输出数据，需调用acl.media.dvpp_malloc申请内存。

在申请输出内存前，可根据存放JPEG图片数据的内存，调用acl.media.dvpp_jpeg_predict_dec_size接口预估JPEG图片解码后所需的输出内存的大小。
调用acl.media.dvpp_jpeg_decode_async异步接口进行解码。

对于异步接口，还需调用acl.rt.synchronize_stream接口阻塞程序运行，直到指定Stream中的所有任务都完成。
在解码结束后，需及时调用acl.media.dvpp_free接口释放输入、输出内存。
调用acl.media.dvpp_destroy_channel接口销毁图片数据处理的通道。

销毁图片数据处理的通道后，再调用acl.media.dvpp_destroy_channel_desc接口销毁通道描述信息。

示例代码

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考。

 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72  python import acl # ...... # 1.pyACL初始化。 ret = acl.init() # 2.运行管理资源申请,包括Device、Context、Stream。 self.device_id = 0 ret = acl.rt.set_device(self.device_id) context, ret = acl.rt.create_context(self.device_id) stream, ret = acl.rt.create_stream() # 3.创建图片数据处理通道时的通道描述信息，self.dvpp_channel_desc是acldvppChannelDesc类型。 self.dvpp_channel_desc = acl.media.dvpp_create_channel_desc() # 4.创建图片数据处理的通道。 ret = acl.media.dvpp_create_channel(self.dvpp_channel_desc) # 5.申请内存。 # 加载 YUV格式的图片数据。 # 申请Device内存inputDevBuff。 # 将通过acl.rt.memcpy接口将Host的图片数据传输到Device，数据传输完成后，需及时释放Host内存。 np_jpg = np.fromfile(self.path, dtype=np.byte) self.in_buffer_size = np_jpg.itemsize * np_jpg.size bytes_data = np_jpg.tobytes() np_jpg_ptr = acl.util.bytes_to_ptr(bytes_data) self.in_buffer_dev, ret = acl.media.dvpp_malloc(self.in_buffer_size) ret = acl.rt.memcpy(self.in_buffer_dev, self.in_buffer_size, np_jpg_ptr, self.in_buffer_size, 1) # 6 输出内存，按16对齐方式计算并申请Device内存self.out_buffer_dev,存放编码后的输出数据。 height_stride = ((h + 1) // 2) * 2 width_stride = ((w + 15) // 16) * 16 # malloc for output self.out_buffer_size = (width_stride * height_stride * 3) // 2 self.out_buffer_dev, ret = acl.media.dvpp_malloc(self.out_buffer_size) # 7. 创建解码输出图片的描述信息，设置各属性值。 # 解码设置输出内存和size到图片描述，用于数据占位。 self.pic_desc = acl.media.dvpp_create_pic_desc() ret = acl.media.dvpp_set_pic_desc_data(self.pic_desc, self.out_buffer_dev) ret = acl.media.dvpp_set_pic_desc_size(self.pic_desc, self.out_buffer_size) ret = acl.media.dvpp_set_pic_desc_format( self.pic_desc, PIXEL_FORMAT_YUV_SEMIPLANAR_420) ret = acl.media.dvpp_set_pic_desc_width(self.pic_desc, w) ret = acl.media.dvpp_set_pic_desc_height(self.pic_desc, h) ret = acl.media.dvpp_set_pic_desc_width_stride(self.pic_desc, width_stride) ret = acl.media.dvpp_set_pic_desc_height_stride(self.pic_desc, height_stride) # 8. 执行异步解码，再调用acl.rt.synchronize_stream接口阻塞Host运行，直到指定Stream中的所有任务都完成。 ret = acl.media.dvpp_jpeg_decode_async(self.dvpp_channel_desc, self.in_buffer_dev, self.in_buffer_size, self.pic_desc, self.stream) ret = acl.rt.synchronize_stream(self.stream) # 9. 解码结束后，释放资源，包括解码输出图片的描述信息、解码输出内存、通道描述信息、通道等。 ret = acl.media.dvpp_destroy_pic_desc(self.pic_desc) ret = acl.media.dvpp_free(self.in_buffer_dev) ret = acl.media.dvpp_free(self.out_buffer_dev) ret = acl.media.dvpp_destroy_channel(self.dvpp_channel_desc) ret = acl.media.dvpp_destroy_channel_desc(self.dvpp_channel_desc) # 10. 释放运行管理资源。 ret = acl.rt.destroy_stream(self.stream) ret = acl.rt.destroy_context(self.context) ret = acl.rt.reset_device(self.device_id) ret = acl.finalize() # 11. pyACL去初始化。 # ......

父主题： 媒体数据处理V1

JPEGE图片编码

JPEGE（JPEG Encoder）负责完成图像编码功能，将YUV格式图片编码成.jpg图片。关于JPEGE功能的详细介绍及约束请参见功能及约束说明。

本节介绍JPEGE图片编码的接口调用流程，同时配合示例代码辅助理解该接口调用流程。

接口调用流程

开发应用时，如果涉及将YUV格式图片编码成JPEG压缩格式的图片文件，则应用程序中必须包含图片编码的代码逻辑，关于图片编码的接口调用流程，请先参见pyACL接口调用流程了解整体流程，再查看本节中的流程说明。

图1 JPEG图片编码

当前系统支持将YUV格式图片编码成.jpg图片，关键接口的说明如下：

调用acl.media.dvpp_create_channel_desc接口创建通道描述信息。
调用acl.media.dvpp_create_channel接口创建图片数据处理的通道。
调用acl.media.dvpp_create_jpege_config接口创建图片编码配置数据。
实现JPEG图片编码功能前，若需要申请Device上的内存存放输入或输出数据，需调用acl.media.dvpp_malloc申请内存。

在申请输出内存前，可调用acl.media.dvpp_jpeg_predict_enc_size接口根据输入图片描述信息、图片编码配置数据预估图片编码后所需的输出内存的大小。
调用acl.media.dvpp_jpeg_encode_async异步接口进行编码。

对于异步接口，还需调用acl.rt.synchronize_stream接口阻塞程序运行，直到指定Stream中的所有任务都完成。
调用acl.media.dvpp_destroy_jpege_config接口销毁图片编码配置数据。
在编码结束后，需及时调用acl.media.dvpp_free接口释放输入、输出内存。
调用acl.media.dvpp_destroy_channel接口销毁图片数据处理的通道。

销毁图片数据处理的通道后，再调用acl.media.dvpp_destroy_channel_desc接口销毁通道描述信息。

示例代码

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考。

父主题： 媒体数据处理V1

PNGD图片解码

PNGD（PNG decoder）负责PNG格式图片的解码。关于PNGD功能的详细介绍及约束请参见功能及约束说明。

本节介绍PNGD图片编码的接口调用流程，同时配合示例代码辅助理解该接口调用流程。

接口调用流程

开发应用时，如果涉及对PNG图片的解码，则应用程序中必须包含图片解码的代码逻辑，关于图片解码的接口调用流程，请先参见pyACL接口调用流程了解整体流程，再查看本节中的流程说明。

图1 PNG图片解码

当前系统支持PNG图片的解码，支持输出RGB、RGBA编码格式的图片，关键接口的说明如下：

调用acl.media.dvpp_create_channel_desc接口创建通道描述信息。
调用acl.media.dvpp_create_channel接口创建图片数据处理的通道。
实现PNG图片解码功能前，若需要申请Device上的内存存放输入或输出数据，需调用acl.media.dvpp_malloc申请内存。

在申请输出内存前，可调用acl.media.dvpp_png_predict_dec_size接口根据存放PNG图片数据的内存预估出PNG图片解码后所需的输出内存的大小。
调用acl.media.dvpp_png_decode_async异步接口进行解码。

对于异步接口，还需调用acl.rt.synchronize_stream接口阻塞程序运行，直到指定Stream中的所有任务都完成。
在解码结束后，需及时调用acl.media.dvpp_free接口释放输入、输出内存。
调用acl.media.dvpp_destroy_channel接口销毁图片数据处理的通道。

销毁图片数据处理的通道后，再调用acl.media.dvpp_destroy_channel_desc接口销毁通道描述信息。

示例代码

调用接口后，需增加异常处理的分支，同时通过“ERROR_LOG”记录报错日志、通过“INFO_LOG”记录各动作的提示日志，示例代码中不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考。

 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64  python import acl # ...... # 1.pyACL初始化。 ACL_CONFIG_PATH = "../src/acl.json" ret = acl.init(ACL_CONFIG_PATH) # 2.运行管理资源申请,包括Device、Context、Stream。 device_id = 0 ret = acl.rt.set_device(device_id) context, ret = acl.rt.create_context(device_id) stream, ret = acl.rt.create_stream() # 3.创建图片数据处理通道时的通道描述信息，dvpp_channel_desc是acldvppChannelDesc类型对象。 dvpp_channel_desc = acl.media.dvpp_create_channel_desc() # 4.创建图片数据处理的通道。 ret = acl.media.dvpp_create_channel(dvpp_channel_desc) # 5.申请输入内存。 pic_name = "../data/test_png_dec.png" np_png = np.fromfile(pic_name, dtype=np.byte) in_buffer_size = np_png.itemsize * np_png.size bytes_data = np_png.tobytes() np_png_ptr = acl.util.bytes_to_ptr(bytes_data) in_dev_buffer, ret = acl.media.dvpp_malloc(in_buffer_size) ACL_MEMCPY_HOST_TO_DEVICE = 1 ret = acl.rt.memcpy(in_dev_buffer, in_buffer_size, np_png_ptr, in_buffer_size, ACL_MEMCPY_HOST_TO_DEVICE) # 6.申请解码输出内存。 PIXEL_FORMAT_RGB_888 = 12 out_buffer_size, ret = acl.media.dvpp_png_predict_dec_size(np_png_ptr, in_buffer_size, PIXEL_FORMAT_RGB_888) out_dev_buffer, ret = acl.media.dvpp_malloc(out_buffer_size) # 7.创建解码输出图片的描述信息，设置各属性值。 output_desc = acl.media.dvpp_create_pic_desc() width, height, components, ret = acl.media.dvpp_png_get_image_info(np_png_ptr, in_buffer_size) ret = acl.media.dvpp_set_pic_desc_data(output_desc, out_dev_buffer) ret = acl.media.dvpp_set_pic_desc_size(output_desc, out_buffer_size) ret = acl.media.dvpp_set_pic_desc_format(output_desc, PIXEL_FORMAT_RGB_888) # 8.执行异步解码，再调用acl.rt.synchronize_stream接口阻塞程序运行，直到指定Stream中的所有任务都完成。 ret = acl.media.dvpp_png_decode_async(dvpp_channel_desc, in_dev_buffer, in_buffer_size, output_desc, stream) ret = acl.rt.synchronize_stream(stream) # 9.解码结束后，释放资源，包括解码输出图片的描述信息、解码输出内存、通道描述信息、通道等。 ret = acl.media.dvpp_destroy_pic_desc(output_desc) ret = acl.media.dvpp_free(in_dev_buffer) ret = acl.media.dvpp_free(out_dev_buffer) ret = acl.media.dvpp_destroy_channel(dvpp_channel_desc) ret = acl.media.dvpp_destroy_channel_desc(dvpp_channel_desc) # 10.释放运行管理资源。 ret = acl.rt.destroy_stream(stream) ret = acl.rt.destroy_context(context) ret = acl.rt.reset_device(device_id) ret = acl.finalize() # 11.pyACL去初始化。 # ....

父主题： 媒体数据处理V1

VDEC视频解码

VDEC（Video Decoder）负责将H264/H265格式的视频码流解码为YUV/RGB格式的图片。关于VDEC功能的详细介绍及约束请参见功能及约束说明。

本节介绍VDEC视频编码的接口调用流程，同时配合示例代码辅助理解该接口调用流程。

接口调用流程

开发应用时，如果涉及视频解码，则应用程序中必须包含视频解码的代码逻辑，关于视频解码的接口调用流程，请先参见pyACL接口调用流程了解整体流程，再查看本节中的流程说明。

图1 视频解码流程

实现视频的解码，关键接口的说明如下：

调用acl.media.vdec_create_channel接口创建视频解码处理的通道。
- 创建视频解码处理通道前，需先执行以下操作：
  1. 调用acl.media.vdec_create_channel_desc接口创建通道描述信息。
  2. 调用acl.media.vdec_set_channel_desc系列接口设置通道描述信息的属性，包括解码通道号、线程、回调函数、视频编码协议等，其中：
    1. 回调函数需由用户提前创建，用于在视频解码后，获取解码数据，并及时释放相关资源，回调函数的原型前参见函数：vdec_set_channel_desc_callback。
      
      在回调函数内，用户需调用acl.media.dvpp_get_pic_desc_ret_code接口获取“ret_code”返回码判断是否解码成功，“ret_code”为“0”表示解码成功，为“1”表示解码失败。如果解码失败，需要根据日志中的返回码判断具体的问题，返回码请参见返回码说明。
      
      解码结束后，建议用户在回调函数内及时释放VDEC的输入码流内存、输出图片内存以及相应的视频码流描述信息、图片描述信息。
    2. 线程需由用户提前创建，并自定义线程函数，在线程函数内调用acl.rt.process_report接口，等待指定时间后，触发1.b.i中的回调函数。
    :::note 说明如果不调用acl.media.vdec_set_channel_desc_out_pic_format接口设置输出格式，则默认使用“YUV420SP NV12”。 :::
- acl.media.vdec_create_channel接口内部封装了如下接口，无需用户单独调用：
  1. acl.rt.create_stream接口：显式创建Stream，VDEC内部使用。
  2. acl.rt.subscribe_report接口：指定处理Stream上回调函数的线程，回调函数和线程是由用户调用acl.media.vdec_set_channel_desc系列接口时指定的。
调用acl.media.vdec_send_frame接口将视频码流解码成YUV420SP格式的图片。
- 视频解码前，需先执行以下操作：
  - 调用acl.media.dvpp_create_stream_desc接口创建输入视频码流描述信息，并调用acl.media.dvpp_set_stream_desc系列接口设置输入视频的内存地址、内存大小、码流格式等属性。
  - 调用acl.media.dvpp_create_pic_desc接口创建输出图片描述信息，并调用acl.media.dvpp_set_pic_desc系列接口设置输出图片的内存地址、内存大小、图片格式等属性。
- 视频解码时：
  - acl.media.vdec_send_frame接口内部封装了acl.rt.launch_callback接口，用于在Stream的任务队列中增加一个需要执行的回调函数。用户无需单独调用acl.rt.launch_callback接口。
- 视频解码后，视频解码的结果数据通过回调函数获取：
  
  获取解码数据前，先获取“ret_code”的值，判断解码是否成功，0表示解码成功，1表示解码失败。如果解码失败，需要根据日志中的返回码判断具体的问题，返回码请参见返回码说明。
  
  如果用户需要获取解码的帧序号，则可以在acl.media.vdec_send_frame接口的“user_data”参数处定义，然后解码的帧序号可以通过“user_data”参数传递给VDEC的回调函数，用于确定回调函数中处理的是第几帧数据。
  
  如果不想获取某一帧的解码结果，可以调用acl.media.vdec_send_skipped_frame接口，将待解码的码流（输入内存）传到解码器进行解码，此时，解码结果最终不会输出，解码完成的回调函数中返回的“dvpp_pic_desc”为0。
调用acl.media.vdec_destroy_channel接口销毁视频处理的通道。
- 系统会等待已发送帧解码完成且用户的回调函数处理完成后再销毁通道。
- acl.media.vdec_destroy_channel接口内部封装了如下接口，无需用户单独调用。
  - acl.rt.unsubscribe_report接口：取消线程注册（Stream上的回调函数不再由指定线程处理）。
  - acl.rt.destroy_stream接口：销毁Stream。
- 销毁通道后，需调用acl.media.vdec_destroy_channel_desc接口销毁通道描述信息。
- 销毁通道描述信息后，用户才可以销毁1.b.ii中创建的线程。

示例代码

您可以从样例介绍中获取完整样例代码。

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考。

返回码说明

表1 返回码列表

返回码	含义	可能原因及解决方法
AICPU_DVPP_KERNEL_STATE_SUCCESS = 0	解码成功。	-
AICPU_DVPP_KERNEL_STATE_FAILED = 1	其它错误。	-
AICPU_DVPP_KERNEL_STATE_DVPP_ERROR = 2	AscendCL内部调用其它模块的接口失败。	-
AICPU_DVPP_KERNEL_STATE_PARAM_INVALID = 3	参数校验失败。	请检查接口的参数是否符合接口要求。
AICPU_DVPP_KERNEL_STATE_OUTPUT_SIZE_INVALID = 4	输出内存大小校验失败。	请检查输出内存大小是否符合接口要求。
AICPU_DVPP_KERNEL_STATE_INTERNAL_ERROR = 5	系统内部错误。	-
AICPU_DVPP_KERNEL_STATE_QUEUE_FULL = 6	系统内部队列满。	-
AICPU_DVPP_KERNEL_STATE_QUEUE_EMPTY = 7	系统内部队列空。	-
AICPU_DVPP_KERNEL_STATE_QUEUE_NOT_EXIST = 8	系统内部队列不存在。	-
AICPU_DVPP_KERNEL_STATE_GET_CONTEX_FAILED = 9	获取系统内部上下文失败。	-
AICPU_DVPP_KERNEL_STATE_SUBMIT_EVENT_FAILED = 10	提交系统内部事件失败。	-
AICPU_DVPP_KERNEL_STATE_MEMORY_FAILED = 11	系统内部申请内存失败。	请检查系统是否有可用内存。
AICPU_DVPP_KERNEL_STATE_SEND_NOTIFY_FAILED = 12	发送系统内部通知失败。	-
AICPU_DVPP_KERNEL_STATE_VPC_OPERATE_FAILED = 13	系统内部接口处理失败。	-
AICPU_DVPP_KERNEL_STATE_CHANNEL_ABNORMAL = 14	当前通道异常。	-
ERR_INVALID_STATE = 0x10001	VDEC解码器状态异常错误。	-
ERR_HARDWARE = 0x10002	硬件错误，包含解码器启动、执行、停止等异常。	-
ERR_SCD_CUT_FAIL = 0x10003	将视频码流分解成多帧图片异常。	请检查输入的视频流数据是否正确。
ERR_VDM_DECODE_FAIL = 0x10004	解码某一帧异常。	请检查输入的视频流数据是否正确。
ERR_ALLOC_MEM_FAIL = 0x10005	内部申请内存失败。	请检查系统是否有可用内存，若忽略错误，则可能导致用户持续送入码流却无任何解码结果输出。
ERR_ALLOC_DYNAMIC_MEM_FAIL = 0x10006	包括输入视频分辨率超范围、内部动态申请内存失败等异常。	请检查输入视频流的分辨率、系统是否有可用内存，若忽略错误，则可能导致用户持续送入码流却无任何解码结果输出。
ERR_ALLOC_IN_OR_OUT_PORT_MEM_FAIL = 0x10007	系统内部申请VDEC的输入、输出buffer异常。	请检查系统是否有可用内存，若忽略错误，则可能导致用户持续送入码流却无任何解码结果输出。
ERR_BITSTREAM = 0x10008	码流错误（如语法解析失败、重发eos或首帧即发送eos）。	请检查输入的视频流数据是否正确。
ERR_VIDEO_FORMAT = 0x10009	输入视频格式错误。	请检查输入视频的格式是否为h264或h265。
ERR_IMAGE_FORMAT = 0x1000a	输出格式配置错误。	请检查输出图像的格式是否为nv12或nv21。
ERR_CALLBACK = 0x1000b	回调函数为空。	请检查配置的回调函数是否为空。
ERR_INPUT_BUFFER = 0x1000c	输入内存为空。	请检输入内存是否为空。
ERR_INBUF_SIZE = 0x1000d	输入内存大小<=0。	请检查输入内存大小是否小于等于0。
ERR_THREAD_CREATE_FBD_FAIL = 0x1000e	系统内部将解码结果通过回调函数返回给用户的线程异常。	请检查系统中资源（例如：线程、内存等）是否可用。
ERR_CREATE_INSTANCE_FAIL = 0x1000f	创建解码实例失败。	-
ERR_INIT_DECODER_FAIL = 0x10010	初始化解码器失败，例如解码实例个数超出范围（最大16）。	-
ERR_GET_CHANNEL_HANDLE_FAIL = 0x10011	系统内部获取某路视频流的解码句柄失败。	-
ERR_COMPONENT_SET_FAIL = 0x10012	系统内部设置解码实例异常。	请检查解码的入参值是否正确，例如输入视频格式video_format、输出帧格式image_format等。
ERR_COMPARE_NAME_FAIL = 0x10013	系统内部设置解码实例名称异常。	请检查解码的入参值是否正确，例如输入视频格式video_format、输出帧格式image_format等。
ERR_OTHER = 0x10014	其它错误。	-
ERR_DECODE_NOPIC = 0x20000	隔行码流场景下使用，隔行码流每帧发送两场，解码时其中一块无图像输出，属于正常现象，会返回该错误码；隔行码流的解码输出数据都在奇数场对应的输出buffer中。	-
0x20001	参考帧个数设置错误。	请检查码流实际参考帧个数与用户设置的参考帧个数是否一致。
0x20002	VDEC解码帧存大小设置错误。	请检查输入码流实际宽、高与用户设置的宽、高是否一致。
0xA0058001	无效的Device ID。	请检查Device ID。
0xA0058002	无效的channel ID。	请检查传入接口的通道号是否正确，或者检查通道总数是否达到上限。
0xA0058003	参数不合法，例如不合法的枚举值。	请根据日志检查出错的参数。
0xA0058004	资源已存在。	请检查是否重复创建通道。
0xA0058005	通道资源不存在。	请检查是否使用了不存在的通道号或通道句柄。
0xA0058006	函数参数中有空指针。	请根据日志检查接口的入参。
0xA0058007	使能系统、Device或通道前未配置对应的参数。	请根据日志检查接口的入参。
0xA0058008	不支持的参数或者功能。	请根据日志检查接口的入参。
0xA0058009	该操作不允许，如试图修改静态配置参数。	-
0xA005800C	分配内存失败，如系统内存不足。	请检查系统是否有可用内存，若忽略错误，则可能导致用户持续送入码流却无任何解码结果输出。
0xA005800D	分配缓存失败，如申请的数据缓冲区太大。	-
0xA005800E	缓冲区中无数据。	系统未完成解码，缓冲区中无解码结果数据，需等待缓冲区中有数据后，再尝试获取数据。
0xA005800F	缓冲区中数据满。	用户发送输入码流数据的速度太快，导致输入缓冲区数据满，请尝试降低发送输入码流数据的速度，或者在创建通道时将缓冲区大小设置为较大值。
0xA0058010	系统没有初始化或者相关依赖的模块没有加载。	请检查是否调用系统初始化接口。
0xA0058011	地址错误。	-
0xA0058012	系统忙。	请检查VDEC解码总路数是否达到上限。
0xA0058013	缓存小于实际需要的大小。	-
0xA0058014	硬件或软件处理超时。	-
0xA0058015	内部系统错误。	-
0xA005803F	最大的返回码，该模块的错误码必须小于该值。	-

父主题： 媒体数据处理V1

VENC视频编码

VENC（Video Encoder）将YUV420SP格式的图片编码成H264/H265格式的视频码流。关于VENC功能的详细介绍及约束请参见功能及约束说明。

本节介绍VENC视频编码的接口调用流程，同时配合示例代码辅助理解该接口调用流程。

接口调用流程

开发应用时，如果涉及视频编码，则应用程序中必须包含视频编码的代码逻辑，关于视频编码的接口调用流程，请先参见pyACL接口调用流程了解整体流程，再查看本节中的流程说明。

图1 视频编码流程

实现视频的编码，关键接口的说明如下：

调用acl.media.venc_create_channel接口创建视频编码处理的通道。
- 创建视频编码处理通道前，需先执行以下操作：
  1. 调用acl.media.venc_create_channel_desc接口创建通道描述信息。
  2. 调用acl.media.venc_set_channel_desc_param接口设置通道描述信息的属性，包括线程、回调函数、视频编码协议、输入图片格式等，其中：
    1. 回调函数需由用户提前创建，用于在视频编码后，获取编码数据，并及时释放相关资源，回调函数的原型前参见函数：venc_set_channel_desc_callback。
      
      视频编码结束后，建议用户在回调函数内及时释放输入图片内存、以及相应的图片描述信息。视频编码的输出内存由系统管理，不由用户管理，因此无需用户释放。
    2. 线程需由用户提前创建，并自定义线程函数，在线程函数内调用acl.rt.process_report接口，等待指定时间后，触发1.b.i中的回调函数。
    推荐使用acl.media.venc_set_channel_desc_param接口设置通道描述信息的属性，通过枚举值来选择通过该接口设置某一个属性的值。
    
    但为兼容旧版本，也可以调用acl.media.venc.set_channel_desc系列接口设置通道描述信息的属性，每个属性的设置对应一个set接口。
- acl.media.venc_create_channel接口内部封装了如下接口，无需用户单独调用：
  1. acl.rt.create_stream接口：显式创建Stream，VENC内部使用。
  2. acl.rt.subscribe_report接口：指定处理Stream上回调函数的线程，回调函数和线程是由用户调用acl.media.venc_set_channel_desc_param接口时指定的。
调用acl.media.venc_send_frame接口将YUV420SP格式的图片编码成H264/H265格式的视频码流。
- 视频编码前，需先执行以下操作：
  - 调用acl.media.dvpp_create_pic_desc接口创建输入图片描述信息，并调用acl.media.dvpp_set_pic_desc系列接口设置输入图片的内存地址、内存大小、图片格式等属性。
  - 调用acl.media.venc_create_frame_config接口创建单帧编码配置数据，并调用acl.media.venc_set_frame_config系列接口设置是否强制重新开始I帧间隔、是否结束帧。
- 视频编码时，acl.media.venc_send_frame接口内部封装了acl.rt.launch_callback接口，用于在Stream的任务队列中增加一个需要执行的回调函数。用户无需单独调用acl.rt.launch_callback接口。
- 视频编码后，视频编码的结果数据通过回调函数获取。
调用acl.media.venc_destroy_channel接口销毁视频处理的通道。
- 系统会等待已发送帧编码完成且用户的回调函数处理完成后再销毁通道。
- acl.media.venc_destroy_channel接口内部封装了如下接口，无需用户单独调用。
  - acl.rt.unsubscribe_report接口：取消线程注册（Stream上的回调函数不再由指定线程处理）。
  - acl.rt.destroy_stream接口：销毁Stream。
- 销毁通道后，需调用acl.media.venc_destroy_channel_desc接口销毁通道描述信息。
- 销毁通道描述信息后，用户才可以销毁1.b.ii中创建的线程。

示例代码

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 python import acl # ...... # 1.资源初始化: 创建 AclVenc 对象进行初始化。 # 1.1 pyACL初始化。 ret = acl.init() # 1.2 运行管理资源申请,包括Device、Context。 device_id = 0 ret = acl.rt.set_device(device_id) self.context, ret = acl.rt.create_context(device_id) # 调用acl.rt.get_run_mode接口获取软件栈的运行模式，根据运行模式来判断后续的内存申请接口调用逻辑。 runMode, ret = acl.rt.get_run_mode() # 2.创建执行回调函数的线程及线程函数。 def cb_thread_func(self, args_list): ctx = args_list[0] timeout = args_list[1] print("[info] thread args_list = ", self.ctx, timeout, self.g_callbackRunFlag, "\n") ret = acl.rt.set_context(ctx) assert ret == 0 while self.g_callbackRunFlag is True: print("[info] thread g_callbackRunFlag = ", self.g_callbackRunFlag, "\n") ret = acl.rt.process_report(timeout) print("[info] acl.rt.process_report =", ret) timeout = 1000 g_callbackRunFlag = True self.cb_thread_id, ret = acl.util.start_thread(self.cb_thread_func, [self.ctx, timeout]) # 3.创建回调函数。 # 3.1 获取流数据输出。 def get_stream_data(self, stream_desc): stream_data = acl.media.dvpp_get_stream_desc_data(stream_desc) assert stream_data is not None stream_data_size = acl.media.dvpp_get_stream_desc_size(stream_desc) print("[info] stream_data size", stream_data_size) # stream memcpy d2h np_data = np.zeros(stream_data_size, dtype=np.byte) bytes_data = np_data.tobytes() np_data_ptr = acl.util.bytes_to_ptr(bytes_data) ret = acl.rt.memcpy(np_data_ptr, stream_data_size, stream_data, stream_data_size, memcpy_kind.get("ACL_MEMCPY_DEVICE_TO_HOST")) assert ret == 0 return np_data # 3.2 回调函数将视频流保存文件。 def callback_func(self, input_pic_desc, output_stream_desc, user_data): # 获取视频编码结果数据, 转换成numpy对象。 output_numpy = self.get_stream_data(output_stream_desc) with open('./data/output.h265', 'ab') as f: f.write(output_numpy) print("[INFO] [callback_func] stream size =", acl.media.dvpp_get_stream_desc_size(output_stream_desc)) # 4.创建视频编码处理通道时的通道描述信息。 self.venc_channel_desc = acl.media.venc_create_channel_desc() # 5.设置通道描述信息的属性，其中线程、callback回调函数需要用户提前创建。 # vencChannelDesc_是aclvdecChannelDesc类型。 venc_format = 1 venc_entype = 0 input_width = 1280 input_height = 720 ret = acl.media.venc_set_channel_desc_thread_id(self.venc_channel_desc, self.cb_thread_id) ret = acl.media.venc_set_channel_desc_callback(self.venc_channel_desc, self.callback_func) ret = acl.media.venc_set_channel_desc_entype(self.venc_channel_desc, venc_entype) ret = acl.media.venc_set_channel_desc_pic_format(self.venc_channel_desc, venc_format) ret = acl.media.venc_set_channel_desc_key_frame_interval(self.venc_channel_desc, 16) ret = acl.media.venc_set_channel_desc_pic_height(self.venc_channel_desc, input_height) ret = acl.media.venc_set_channel_desc_pic_width(self.venc_channel_desc, input_width ) # 6.创建视频码流处理的通道、单帧编码配置数据。 ret = acl.media.venc_create_channel(self.venc_channel_desc) # vencFrameConfig_是aclvencFrameConfig类型。 frame_config = acl.media.venc_create_frame_config() # 7.申请Device内存dataDev，存放视频编码的输入数据。 # 7.1 读入图片数据。 output_pic_size = (input_width * input_height * 3) // 2 print("[INFO] output_pic_size:", output_pic_size, " load vdec file:", venc_file_path) file_context = np.fromfile(venc_file_path, dtype=np.byte) file_size = file_context.size bytes_data = file_context.tobytes() file_mem = acl.util.bytes_to_ptr(bytes_data) input_size = file_size # 如果调用acl.rt.get_run_mode接口获取软件栈的运行模式为ACL_HOST，则需要通过acl.rt.memcpy接口将Host的图片数据传输到Device，数据传输完成后，需及时调用acl.rt.free_host接口释放Host内存。 # 如果调用acl.rt.get_run_mode接口获取软件栈的运行模式为ACL_DEVICE，则直接申请Device内存，存放输入图片数据。 # 此处是运行模式为 ACL_HOST。 input_mem, ret = acl.media.dvpp_malloc(input_size) assert ret == 0 ret = acl.rt.memcpy(input_mem, input_size, file_mem, file_size, memcpy_kind.get("ACL_MEMCPY_HOST_TO_DEVICE")) assert ret == 0 # 8.执行视频编码。 def venc_set_frame_config(self, frame_confg, eos, iframe): ret = acl.media.venc_set_frame_config_eos(frame_confg, eos) assert ret == 0 ret = acl.media.venc_set_frame_config_force_i_frame(frame_confg, iframe) assert ret == 0 def venc_process(self, venc_channel_desc, input_mem, input_size, frame_config): # 设置为非结束帧。 self.venc_set_frame_config(frame_config, 0, 0) print("[INFO] set frame config") self.test_get_frame_config(frame_config) # set picture description dvpp_pic_desc = acl.media.dvpp_create_pic_desc() assert dvpp_pic_desc is not None ret = acl.media.dvpp_set_pic_desc_data(dvpp_pic_desc, input_mem) assert ret == 0 ret = acl.media.dvpp_set_pic_desc_size(dvpp_pic_desc, input_size) assert ret == 0 print("[INFO] set pic desc") # 发送1张图片到编码器进行编码。 venc_cnt = 16 while venc_cnt: ret = acl.media.venc_send_frame(venc_channel_desc, dvpp_pic_desc, 0, frame_config, 0) assert ret == 0 print("[INFO] venc send frame") venc_cnt -= 1 # 结束视频编码时可以发送eos为1的空图片，表示当前编码结束。 self.venc_set_frame_config(frame_config, 1, 0) ret = acl.media.venc_send_frame(venc_channel_desc, 0, 0, frame_config, 0) assert ret == 0 # 9.释放资源。 ret = acl.media.dvpp_free(input_mem) ret = acl.media.venc_destroy_frame_config(frame_config) assert ret == 0 print("[INFO] free resources") g_callbackRunFlag = False ret = acl.util.stop_thread(self.cb_thread_id) print("[INFO] thread join") # 10. 释放运行管理资源。 ret = acl.rt.destroy_stream(self.stream) ret = acl.rt.destroy_context(self.context) ret = acl.rt.reset_device(self.device_id); ret = acl.finalize() # 11.pyACL去初始化。 # ....

如果调用acl.media.venc_set_channel_desc_param接口设置通道描述信息的属性，调用acl.media.venc_get_channel_desc_param接口获取通道描述信息中的属性值，示例代码如下：

 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36  ACL_VENC_THREAD_ID_UINT64 = 0 #回调线程ID。 ACL_VENC_CALLBACK_PTR = 1 #回调函数。 ACL_VENC_PIXEL_FORMAT_UINT32 = 2 #输入图像格式。 ACL_VENC_ENCODE_TYPE_UINT32 = 3 #视频编码协议。 ACL_VENC_PIC_WIDTH_UINT32 = 4 #输入图片宽度。 ACL_VENC_PIC_HEIGHT_UINT32 = 5 #输入图片高度。 ACL_VENC_KEY_FRAME_INTERVAL_UINT32 = 6 #关键帧间隔。 ACL_VENC_BUF_ADDR_PTR = 7 #编码输出缓存地址。 ACL_VENC_BUF_SIZE_UINT32 = 8 #编码输出缓存大小。 ACL_VENC_RC_MODE_UINT32 = 9 #码率控制模式。 ACL_VENC_SRC_RATE_UINT32 = 10 #输入码流帧率。 ACL_VENC_MAX_BITRATE_UINT32 = 11 #输出码率。 ACL_VENC_MAX_IP_PROP_UINT32 = 12 #一个GOP内单个I帧bit数和单个P帧bit数的比例。 # 设置回调函数。 ret = acl.media.venc_set_channel_desc_param(self.venc_channel_desc, ACL_VENC_CALLBACK_PTR, self.callback_func) # 获取回调函数。 get_cb_func, ret = acl.media.venc_get_channel_desc_param(self.venc_channel_desc, ACL_VENC_CALLBACK_PTR) PIXEL_FORMAT_YUV_SEMIPLANAR_420 = 1 # 设置输入图片格式。 ret = acl.media.venc_set_channel_desc_param(self.venc_channel_desc, ACL_VENC_PIXEL_FORMAT_UINT32, PIXEL_FORMAT_YUV_SEMIPLANAR_420) # 获取输入图片格式。 get_pic_format, ret = acl.media.venc_get_channel_desc_param(self.venc_channel_desc, ACL_VENC_PIXEL_FORMAT_UINT32) width = 128 # 设置图片宽度。 ret = acl.media.venc_set_channel_desc_param(self.venc_channel_desc, ACL_VENC_PIC_WIDTH_UINT32, width) # 获取图片宽度。 get_width, ret = acl.media.venc_get_channel_desc_param(self.venc_channel_desc, ACL_VENC_PIC_WIDTH_UINT32) height = 128 # 设置图片高度。 ret = acl.media.venc_set_channel_desc_param(self.venc_channel_desc, ACL_VENC_PIC_HEIGHT_UINT32, height) # 获取图片高度。 get_height, ret = acl.media.venc_get_channel_desc_param(self.venc_channel_desc, ACL_VENC_PIC_HEIGHT_UINT32)

父主题： 媒体数据处理V1

在线提单

VPC图像处理典型功能​

接口调用流程（以抠图、缩放为例）​

图片缩放示例代码​

格式转换示例代码​

抠图（一图一框）示例代码​

抠图缩放（一图一框）示例代码​

抠图贴图（一图一框）示例代码​

抠图贴图缩放（一图一框）示例代码​

抠图贴图（一图多框）示例代码​

JPEGD图片解码​

接口调用流程​

示例代码​

JPEGE图片编码​

接口调用流程​

示例代码​

PNGD图片解码​

接口调用流程​

示例代码​

VDEC视频解码​

接口调用流程​

示例代码​

返回码说明​

VENC视频编码​

接口调用流程​

示例代码​

VPC图像处理典型功能

接口调用流程（以抠图、缩放为例）

图片缩放示例代码

格式转换示例代码

抠图（一图一框）示例代码

抠图缩放（一图一框）示例代码

抠图贴图（一图一框）示例代码

抠图贴图缩放（一图一框）示例代码

抠图贴图（一图多框）示例代码

JPEGD图片解码

接口调用流程

示例代码

JPEGE图片编码

接口调用流程

示例代码

PNGD图片解码

接口调用流程

示例代码

VDEC视频解码

接口调用流程

示例代码

返回码说明

VENC视频编码

接口调用流程

示例代码