函数:dvpp_png_predict_dec_size
函数:dvpp_png_decode_async
| C函数原型 | aclError acldvppPngDecodeAsync(acldvppChannelDesc *channelDesc, const void *data, uint32_t size, acldvppPicDesc *outputDesc, aclrtStream stream) |
|---|---|
| Python函数 | ret = acl.media.dvpp_png_decode_async(dvpp_channel_desc, data, size, output_desc, stream) |
| 函数功能 | 解码png图片,异步接口。 |
| 输入说明 | dvpp_channel_desc:int,指定通道描述信息。与调用acl.media.dvpp_create_channel接口创建通道时指定的dvpp_channel_desc保持一致。 data:int,输入图片的内存地址。 size:int,输入图片的实际数据大小,单位Byte。 output_desc:int,输出图片信息。 参数作为输入时,需要用户调用如下接口: - 调用acl.media.dvpp_create_pic_desc接口创建图片描述信息。 - 调用acl.media.dvpp_set_pic_desc系列接口设置输出图片的内存地址、内存大小、格式。 - 输出图片的内存大小可提前调用acl.media.dvpp_png_predict_dec_size接口获取。 - png原图信息(例如宽、高)可通过acl.media.dvpp_png_get_image_info接口获取。 - 输出图片格式、内存等要求,请参见功能及约束说明。 参数作为输出时,用户可以从内存地址中获取解码后的输出图片数据。 stream:int,指定Stream。 |
| 返回值说明 | ret:int,错误码。 - 返回0表示成功。 - 返回其它值表示失败 |
表1 支持格式
| 功能 | 输入图片格式 | 输出图片格式 |
|---|---|---|
| 调用本接口时将输出图片格式设置为PIXEL_FORMAT_UNKNOWN 表示不指定输出图片格式,输出图片格式与输入图片格式一致。 | RGB/GRAY | RGB |
| 调用本接口时将输出图片格式设置为PIXEL_FORMAT_UNKNOWN 表示不指定输出图片格式,输出图片格式与输入图片格式一致。 | RGBA/AGRAY | RGBA |
| 调用本接口时将输出图片格式设置为PIXEL_FORMAT_RGB_888,表示指定输出图片格式,将输入图片格式转换为输出图片格式。 | RGB/RGBA/GRAY/AGRAY | RGB |
父主题: PNGD功能
函数:dvpp_png_get_image_info
| C函数原型 | aclError acldvppPngGetImageInfo(const void *data, uint32_t dataSize, uint32_t *width, uint32_t *height, int32_t *components) |
|---|---|
| Python函数 | width, height, components, ret = acl.media.dvpp_png_get_image_info(data, data_size) |
| 函数功能 | 从存放png图片数据的内存中读取png图片的宽、高。 |
| 输入说明 | data:int,存放png图片数据的内存的地址。 data_size:int,内存大小,单位为Byte。 |
| 返回值说明 | width:int,图片的宽。 height:int,图片的高。 components:int,颜色通道个数。 ret:int,错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
父主题: PNGD功能
函数:dvpp_png_predict_dec_size
| C函数原型 | aclError acldvppPngPredictDecSize(const void *data, uint32_t dataSize, acldvppPixelFormat outputPixelFormat, uint32_t *decSize) |
|---|---|
| Python函数 | dec_size ,ret = acl.media.dvpp_png_predict_dec_size(data, data_size, output_pixel_format) |
| 函数功能 | 根据存放png图片数据的内存计算出png图片解码后所需的输出内存的大小。 |
| 输入说明 | data:int,存放png图片数据的内存的地址。 data_size:int,内存大小,单位为Byte。 output_pixel_format:int,解码后的输出图片的格式,支持设置如下格式: - PIXEL_FORMAT_UNKNOWN:按占用内存大小最大的PNG解码输出格式计算内存大小。 - PIXEL_FORMAT_RGB_888 - PIXEL_FORMAT_RGBA_8888 |
| 返回值说明 | dec_size:int,png图片解码后所需的输出内存的大小,单位为Byte。 ret:int,错误码。 - 返回0表示成功。 - 返回其它值表示失败。 |
父主题: PNGD功能
总体说明
多版本接口差异
本手册中媒体数据处理V1版本与媒体数据处理V2版本的接口都是描述处理媒体数据的接口,用于实现抠图、图片缩放、格式转换等功能,但两套接口不能混用。
- V2版本的功能比V1版本更多,如下:
- JPEGE:V2版本接口支持高级的参数配置,如huffman表配置。
- VENC:V2版本接口支持更加细化的码控参数配置和效果调优,如I/P帧QP、宏块码控等。
- VDEC:V2版本接口支持更细化的内存控制,如设置输入码流缓存。
- 建议使用V2版本中的接口,保证后续版本接口功能以及业务的连续演进。
- V1版本中的接口是为了兼容旧版本,保证使用该部分接口的用户能继续使用,后续版本不再演进。
功能支持度说明
昇腾AI处理器对媒体数据处理V2版本各功能的支持度如下表所示。
| 昇腾AI处理器 | VPC | JPEGD | JPEGE | PNGD | VDEC | VENC |
|---|---|---|---|---|---|---|
| Atlas 200/500 A2推理产品 | √ | √ | √ | √ | √ | √ |
整体约束说明
使用本章中介绍的接口,有以下注意点:
-
关于内存申请/释放:
- 实现媒体数据处理的VPC、JPEGD、JPEGE等功能前,若需要申请内存存放输入或输出数据,需调用acl.himpi.dvpp_malloc申请内存、调用acl.himpi.dvpp_free接口释放内存。
- 调用1申请出来的内存可以满足媒体数据处理的要求,也可以在其它任务中使用,例如,从性能角度,为了减少拷贝,媒体数据处理的输出作为模型推理的输入,实现内存复用。
- 但由于媒体数据处理访问的地址空间有限,为确保媒体数据处理时内存足够,除媒体数据处理功能外的其它功能(例如,模型加载),建议调用内存管理章节下的acl.rt.malloc接口、或acl.rt.malloc_host接口、或acl.rt.malloc_cached接口申请内存。
-
关于通道的要求:
实现媒体数据处理的各功能前,必须调用接口创建对应功能的通道,请分别参见VPC功能、VDEC视频解码/JPEGD图像解码接口、VENC视频/JPEGE图像编码接口、PNGD图像处理接口章节下的通道创建与销毁接口,查看接口说明以及通道数的最大限制。
通道的创建与销毁会涉及资源的申请与释放,反复创建与销毁通道会影响业务性能,因此建议根据实际场景管理通道,例如,如果有持续VPC图片处理,则创建VPC的通道后,等到所有VPC功能调用完成后,再销毁该VPC通道。
通道数量多,会影响Device的CPU占用率和内存占用,通道数量建议参考各功能章节下的的性能指标的路数。
父主题: 媒体数据处理V2
基本概念
表1 概念解释
| 概念 | 描述 |
|---|---|
| 宽stride(widthStride) | 指一行图像跨距,表示输入图片对齐后的宽,RGB格式和YUV格式的宽stride计算方式不一样。 各功能对宽stride的要求不同,请参见对应功能的约束说明: - VPC功能,请参见图片格式、宽高对齐、内存约束。 - JPEGD功能,请参见JPEGD功能及约束说明。 - JPEGE功能,请参见JPEGE功能及约束说明。 - PNGD功能,请参见功能及约束说明。 - VDEC功能,请参见VDEC功能及约束说明。 - VENC功能,请参见VENC功能及约束说明。 |
| 高stride(heightStride) | 指图像在内存中的行数,表示输入图片对齐后的高。 各功能对高stride的要求不同,请参见对应功能的约束说明: - VPC功能,请参见图片格式、宽高对齐、内存约束。 - JPEGD功能,请参见JPEGD功能及约束说明。 - JPEGE功能,请参见JPEGE功能及约束说明。 - PNGD功能,请参见功能及约束说明。 - VDEC功能,请参见VDEC功能及约束说明。 - VENC功能,请参见VENC功能及约束说明。 |
| 抠图区域 | 指用户指定的需抠出的图片区域。抠图起始坐标无奇数、偶数限制。 抠图区域最小分辨率为10*6,最大分辨率为8192*8192。 抠图区域的约束请参见抠图、贴图约束。 |
| 贴图区域 | 指在输出图片中用户指定的区域。 贴图区域最小分辨率为10*6,最大分辨率为4096*4096。 贴图区域的约束请参见抠图、贴图约束。 |
| 上/左偏移 | 通过配置上偏移、左偏移、抠图/贴图区域的宽和高可以指定抠图区域或贴图区域的位置。参见图1。 |
父主题: 媒体数据处理V2
acl.himpi.sys_init
| c函数原型 | hi_s32 hi_mpi_sys_init() |
|---|---|
| Python函数 | ret = acl.himpi.sys_init() |
| 函数功能 | 用户处理图像、视频等媒体数据之前,需先调用本接口对媒体数据处理系统底层进行初始化。 |
| 返回值说明 | ret:int,错误码。 返回0表示成功。 返回非0 表示失败,参见公共返回码。 |
| 约束说明 | - 需在申请pyACL运行管理资源后调用本接口。pyACL运行管理资源申请流程请参见运行管理资源申请流程。 - 多个进程同时运行情况下,每个进程都必须调用本接口初始化。 - 一个进程内,可以调用本接口反复初始化,不返回失败。 - 多Device场景下,针对每一个Device,都需要调用acl.himpi.sys_init接口进行初始化。 |
| 参考资源 | 接口调用流程示例,参见媒体数据处理V2。 |
父主题: 公共接口
在线提单