媒体数据处理视频课程

模型加载

按照模型构建中的说明构建出模型后，再加载该模型，为模型执行做准备。

接口调用流程

开发应用时，如果涉及整网模型推理，则应用程序中必须包含模型加载的代码逻辑，关于模型加载的接口调用流程，请先参见AscendCL接口调用流程了解整体流程，再查看本节中的流程说明。本节描述的是整网模型加载的接口调用流程，对于算子模型加载与执行的详细说明请参见单算子调用。

AscendCL提供两套模型加载的接口，用户可根据编程习惯、使用场景选择对应的模型加载接口：

如图1所示，针对不同的加载方式（从文件加载、从内存加载等），只需设置接口中的配置参数，适用各种加载方式，但涉及多个接口配合使用，分别用于创建配置对象、设置对象中的属性值、加载模型。
如图2所示，根据不同的加载方式（从文件加载、从内存加载等）选择不同的接口，操作相对简单，但需要记住各种方式的加载接口。

图1 模型加载流程（通过接口中的配置参数区分加载方式）

图2 模型加载流程（通过不同接口区分加载方式）

关键接口的说明如下：

在模型加载前，需要先构建出适配昇腾AI处理器的离线模型（*.om文件），构建方式请参见模型构建。
当由用户管理内存时，为确保内存不浪费，在申请工作内存、权值内存前，需要调用aclmdlQuerySize接口查询模型运行时所需工作内存、权值内存的大小。

如果模型输入数据的Shape不确定，则不能调用aclmdlQuerySize接口查询内存大小，在加载模型时，就无法由用户管理内存，因此需选择由系统管理内存的模型加载接口（例如，aclmdlLoadFromFile、aclmdlLoadFromMem）。
支持以下方式加载模型，模型加载成功后，返回标识模型的模型ID：
- 使用aclmdlSetConfigOpt接口、aclmdlLoadWithConfig接口时，是通过配置对象中的属性来区分，在加载模型时是从文件加载，还是从内存加载，以及内存是由系统内部管理，还是由用户管理。
- 使用以下接口时，是从使用的接口上区分从文件加载，还是从内存加载，以及内存是由系统内部管理，还是由用户管理。
  - aclmdlLoadFromFile：从文件加载离线模型数据，由系统内部管理内存。
  - aclmdlLoadFromMem：从内存加载离线模型数据，由系统内部管理内存。
  - aclmdlLoadFromFileWithMem：从文件加载离线模型数据，由用户自行管理模型运行的内存（包括工作内存和权值内存，工作内存用于模型执行过程中的临时数据，权值内存用于存放权值数据）。
  - aclmdlLoadFromMemWithMem：从内存加载离线模型数据，由用户自行管理模型运行的内存（包括工作内存和权值内存）。

示例代码

模型加载成功，会返回标识模型的ID，在模型执行时需要使用该ID。

您可以从样例介绍中获取完整样例代码。

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝编译运行，仅供参考。

 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20  // 1.初始化变量。 // 此处的..表示相对路径，相对可执行文件所在的目录 // 例如，编译出来的可执行文件存放在out目录下，此处的..就表示out目录的上一级目录 const char* omModelPath = "../model/resnet50.om" // ...... // 2.根据模型文件获取模型执行时所需的权值内存大小、工作内存大小。 aclError ret = aclmdlQuerySize(omModelPath, &modelMemSize_, &modelWeightSize_); // 3.根据工作内存大小，申请Device上模型执行的工作内存。 ret = aclrtMalloc(&modelMemPtr_, modelMemSize_, ACL_MEM_MALLOC_HUGE_FIRST); // 4.根据权值内存的大小，申请Device上模型执行的权值内存。 ret = aclrtMalloc(&modelWeightPtr_, modelWeightSize_, ACL_MEM_MALLOC_HUGE_FIRST); // 5.加载离线模型文件，由用户自行管理模型运行的内存(包括权值内存、工作内存)。 // 模型加载成功，返回标识模型的ID。 ret = aclmdlLoadFromFileWithMem(modelPath, &modelId_, modelMemPtr_, modelMemSize_, modelWeightPtr_, modelWeightSize_); // ......

父主题： 模型推理

模型执行

基本原理

开发应用时，如果涉及整网模型推理，则应用程序中必须包含模型执行的代码逻辑，关于模型执行的接口调用流程，请先参见AscendCL接口调用流程了解整体流程，再查看本节中的流程说明。本节描述的是整网模型执行的接口调用流程，对于算子模型加载与执行的详细说明请参见单算子调用。

在模型加载之后，模型执行之前，需要准备输入、输出数据结构，将输入数据传输到模型输入数据结构的对应内存中。
模型执行结束后，若无需使用输入数据、aclmdlDesc类型、aclmdlDataset类型、aclDataBuffer类型等相关资源，需及时释放内存、销毁对应的数据类型，防止内存异常。模型可能存在多个输入、多个输出，每个输入/输出的内存地址、内存大小用aclDataBuffer类型的数据来描述，针对每个输入/输出，需调用aclDestroyDataBuffer接口销毁相应的aclDataBuffer类型，并调用aclrtFree接口释放内存中的数据。

模型执行流程

图1 基本的模型推理流程

关键接口的说明如下：

调用aclmdlCreateDesc接口创建描述模型基本信息的数据类型。
调用aclmdlGetDesc接口根据模型加载中返回的模型ID获取模型基本信息。
准备模型执行的输入、输出数据结构，具体流程，请参见准备模型执行的输入/输出数据结构。

如果模型的输入涉及动态Batch、动态分辨率、动态AIPP、动态维度（ND格式）等特性，请参见模型动态Shape输入推理、模型动态AIPP推理。
执行模型推理。

对于固定的多Batch场景，需要满足batch size后，才能将输入数据发送给模型进行推理。不满足batch size时，用户需根据自己的实际场景处理。

当前系统支持模型的同步推理和异步推理：
- 同步推理
  
  调用aclmdlExecute接口执行同步推理。
- 异步推理
  
  调用aclmdlExecuteAsync接口执行异步推理。
  
  但对于异步接口，还需调用aclrtSynchronizeStream接口阻塞应用程序运行，直到指定Stream中的所有任务都完成。
  
  异步推理的详细介绍，请参见异步模型推理。
获取模型推理的结果，用于后续处理。
- 对于同步推理，直接获取模型推理的输出数据即可。
- 对于异步推理，在实现Callback功能时，在回调函数内获取模型推理的结果，供后续使用。
释放内存。

调用aclrtFree接口释放Device上的内存。
释放相关数据类型的数据。

在模型推理结束后，需依次调用aclDestroyDataBuffer接口、aclmdlDestroyDataset接口及时释放描述模型输入、输出数据类型的数据。如果存在多个输入、输出，需调用多次aclDestroyDataBuffer接口。

准备模型执行的输入/输出数据结构

AscendCL提供了以下数据类型来描述模型、描述其输入输出以及存放数据的内存，在模型执行前，需要构造好这些数据类型，作为模型执行的输入：

使用aclmdlDesc类型的数据描述模型基本信息（例如输入/输出的个数、名称、数据类型、Format、维度信息等）。

模型加载成功后，用户可根据模型的ID，调用aclmdlGetDesc接口获取该模型的描述信息，进而从模型的描述信息中获取模型输入/输出的个数、内存大小、维度信息、Format、数据类型等信息，可参见aclmdlDesc类型下的操作接口。
使用aclmdlDataset类型的数据描述模型的输入/输出数据，模型可能存在多个输入、多个输出。

调用aclmdlDataset类型下的操作接口添加aclDataBuffer类型的数据、获取aclDataBuffer的个数等。
每个输入/输出的内存地址、内存大小用aclDataBuffer类型的数据来描述。

调用aclDataBuffer类型下的操作接口获取内存地址、内存大小等。

图2 aclmdlDataset类型与aclDataBuffer类型的关系

了解相关的数据类型后，可以使用这些数据类型的操作接口准备模型的输入、输出数据结构，如下图所示。

图3 模型执行的输入/输出数据结构的准备流程

关键说明如下：

模型存在多个输入、输出时，用户可调用aclmdlGetNumInputs、aclmdlGetNumOutputs接口获取输入、输出的个数。
模型每个输入、输出所需的内存大小，用户可调用aclmdlGetInputSizeByIndex、aclmdlGetOutputSizeByIndex接口获取。

如果模型的输入涉及动态Batch、动态分辨率、动态维度（ND格式）等特性，输入tensor数据的Shape支持多种档位，在模型执行前才能确定，因此该输入所需的内存大小建议用户调用aclmdlGetInputSizeByIndex接口获取，该接口获取的是最大档位的内存，确保内存够用。
模型存在多个输入、输出时，用户在向aclmdlDataset中添加aclDataBuffer时，为避免顺序出错，可以先调用aclmdlGetInputNameByIndex、aclmdlGetOutputNameByIndex接口获取输入、输出的名称，根据输入、输出名称所对应的index的顺序添加。

示例代码

此处的示例代码是处理图片分类模型的输出结果，屏显每张图片的top5置信度的类别编号。用户可根据实际需求，自行实现模型推理输出数据的处理逻辑。

您可以从样例介绍中获取完整样例代码。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 cpp // 1 根据模型的ID，获取该模型的描述信息。 // modelDesc_为aclmdlDesc类型。 modelDesc_ = aclmdlCreateDesc(); ret = aclmdlGetDesc(modelDesc_, modelId_); // 2 准备模型推理的输入数据结构 // (1)申请输入内存 size_t modelInputSize; void *modelInputBuffer = nullptr; // 当前示例代码中的模型只有一个输入，所以index为0，如果模型有多个输入，则需要先调用aclmdlGetNumInputs接口获取模型输入的数量 modelInputSize = aclmdlGetInputSizeByIndex(modelDesc_, 0); aclRet = aclrtMalloc(&modelInputBuffer, modelInputSize, ACL_MEM_MALLOC_NORMAL_ONLY); // (2)准备模型的输入数据结构 // 创建aclmdlDataset类型的数据，描述模型推理的输入，input_为aclmdlDataset类型 input_ = aclmdlCreateDataset(); aclDataBuffer *inputData = aclCreateDataBuffer(modelInputBuffer, modelInputSize); ret = aclmdlAddDatasetBuffer(input_, inputData); // 3 准备模型推理的输出数据结构 // (1)创建aclmdlDataset类型的数据，描述模型推理的输出，output_为aclmdlDataset类型 output_ = aclmdlCreateDataset(); // (2)获取模型的输出个数. size_t outputSize = aclmdlGetNumOutputs(modelDesc_); // (3)循环为每个输出申请内存，并将每个输出添加到aclmdlDataset类型的数据中. for (size_t i = 0; i < outputSize; ++i) { size_t buffer_size = aclmdlGetOutputSizeByIndex(modelDesc_, i); void *outputBuffer = nullptr; aclError ret = aclrtMalloc(&outputBuffer, buffer_size, ACL_MEM_MALLOC_NORMAL_ONLY); aclDataBuffer* outputData = aclCreateDataBuffer(outputBuffer, buffer_size); ret = aclmdlAddDatasetBuffer(output_, outputData); } // 4 模型执行 string testFile[] = { "../data/dog1_1024_683.bin", "../data/dog2_1024_683.bin" }; for (size_t index = 0; index < sizeof(testFile) / sizeof(testFile[0]); ++index) { // 4.1 自定义函数ReadBinFile，调用C++标准库std::ifstream中的函数读取图片文件，输出图片文件占用的内存大小inputBuffSize以及图片文件存放在内存中的地址inputBuff void *inputBuff = nullptr; uint32_t inputBuffSize = 0; auto ret = Utils::ReadBinFile(fileName, inputBuff, inputBuffSize); // 4.2 准备模型推理的输入数据 // 在申请运行管理资源时调用aclrtGetRunMode接口获取软件栈的运行模式 // 如果运行模式为ACL_DEVICE，则g_isDevice参数值为true，表示软件栈运行在Device侧，无需传输图片数据或在Device内传输数据；否则，需要调用内存复制接口将数据传输到Device if (!g_isDevice) { // if app is running in host, need copy data from host to device // modelInputBuffer、modelInputSize分别表示模型推理输入数据的内存地址、内存大小，在输入/输出数据结构准备时申请该内存 aclError aclRet = aclrtMemcpy(modelInputBuffer, modelInputSize, inputBuff, inputBuffSize, ACL_MEMCPY_HOST_TO_DEVICE); (void)aclrtFreeHost(inputBuff); } else { // app is running in device aclError aclRet = aclrtMemcpy(modelInputBuffer, modelInputSize, inputBuff, inputBuffSize, ACL_MEMCPY_DEVICE_TO_DEVICE); (void)aclrtFree(inputBuff); } // 4.3 执行模型推理 // modelId_表示模型ID，在模型加载成功后，会返回标识模型的ID // input_、output_分别表示模型推理的输入、输出数据，在准备模型推理的输入、输出数据结构时已定义 aclError ret = aclmdlExecute(modelId_, input_, output_) // 处理模型推理的输出数据，输出top5置信度的类别编号 // output_表示模型执行的输出 for (size_t i = 0; i < aclmdlGetDatasetNumBuffers(output_); ++i) { // 获取每个输出的内存地址和内存大小 aclDataBuffer* dataBuffer = aclmdlGetDatasetBuffer(output_, i); void* data = aclGetDataBufferAddr(dataBuffer); size_t len = aclGetDataBufferSizeV2(dataBuffer); // 将内存中的数据转换为float类型 float *outData = NULL; outData = reinterpret_cast<float*>(data); // 屏显每张图片的top5置信度的类别编号 map<float, int, greater<float> > resultMap; for (int j = 0; j < len / sizeof(float); ++j) { resultMap[*outData] = j; outData++; } int cnt = 0; for (auto it = resultMap.begin(); it != resultMap.end(); ++it) { // print top 5 if (++cnt > 5) { break; } INFO_LOG("top %d: index[%d] value[%lf]", cnt, it->second, it->first); } } // 5 释放模型推理的输入、输出资源 // 释放输入资源，包括数据结构和内存 for (size_t i = 0; i < aclmdlGetDatasetNumBuffers(input_); ++i) { aclDataBuffer *dataBuffer = aclmdlGetDatasetBuffer(input_, i); (void)aclDestroyDataBuffer(dataBuffer); } (void)aclmdlDestroyDataset(input_); input_ = nullptr; aclrtFree(modelInputBuffer); // 释放输出资源，包括数据结构和内存 for (size_t i = 0; i < aclmdlGetDatasetNumBuffers(output_); ++i) { aclDataBuffer* dataBuffer = aclmdlGetDatasetBuffer(output_, i); void* data = aclGetDataBufferAddr(dataBuffer); (void)aclrtFree(data); (void)aclDestroyDataBuffer(dataBuffer); } (void)aclmdlDestroyDataset(output_); output_ = nullptr;

父主题： 模型推理

模型卸载

关于模型卸载的接口调用流程，请参见AscendCL接口调用流程。

基本原理

在模型推理结束后，还需要通过aclmdlUnload接口卸载模型，并销毁aclmdlDesc类型的模型描述信息、释放模型运行的工作内存和权值内存。

示例代码

 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22  // 1. 卸载模型 aclError ret = aclmdlUnload(modelId_); // 2. 释放模型描述信息 if (modelDesc_ != nullptr) { (void)aclmdlDestroyDesc(modelDesc_); modelDesc_ = nullptr; } // 3. 释放模型运行的工作内存 if (modelWorkPtr_ != nullptr) { (void)aclrtFree(modelWorkPtr_); modelWorkPtr_ = nullptr; modelWorkSize_ = 0; } // 4. 释放模型运行的权值内存 if (modelWeightPtr_ != nullptr) { (void)aclrtFree(modelWeightPtr_); modelWeightPtr_ = nullptr; modelWeightSize_ = 0; }

父主题： 模型推理

媒体数据处理视频课程

通过在线视频课程学习该功能，请参见AscendCL DVPP媒体数据处理。

父主题： 媒体数据处理（含图像/视频等）

媒体数据处理基础知识

本章主要介绍图像/视频/音频数据处理的具体功能、接口调用流程以及示例代码。

图像/视频/音频数据处理的典型功能介绍

图1 图像/视频数据处理

各功能的介绍如下表所示，昇腾AI处理器对这些功能的支持度请参见功能支持度说明（AIPP当前各版本均支持）。


功能	子功能模块	描述
获取视频数据	ISP（Image Signal Processing）系统控制	系统控制部分用于注册3A算法、注册Sensor驱动、初始化ISP firmware、运行ISP firmware、退出ISP firmware、配置ISP属性等功能。
	MIPI Rx ioctl命令字	MIPI Rx是一个支持多种差分视频输入接口的采集单元，通过combo-PHY接收MIPI/LVDS/sub-LVDS/HiSPi接口的数据，通过不同的功能模式配置，MIPI Rx可以支持多种速度和分辨率的数据传输需求，支持多种外部输入设备。
	VI（Vedio Input）	VI模块捕获视频图像，可对其做裁剪、防抖、颜色优化、亮度优化、噪声去除等处理，并输出YUV或RAW格式的图像数据。
展示视频数据	VO（Vedio Output）	VO模块接收VPSS处理后的输出图像，可进行播放控制等处理，最后按用户配置的输出协议（当前仅支持HDMI）输出给外围视频设备。 VO可配合TDE（Two Dimensional Engine）模块、HIFB（Hisilicon Framebuffer）模块，利用硬件分别进行图形绘制、叠加图形层管理。
	HDMI（High Definition Multimedia Interfac）	HDMI是全数字化影像和声音发送接口，可以发送未压缩的音频及视频信号。
	TDE（Two Dimensional Engine）	TDE是图形二维加速引擎，它利用硬件为 OSD（On Screen Display）和 GUI（Graphics User Interface）提供快速的图形绘制功能，主要有快速拷贝、快速色彩填充、模式填充（当前仅支持Alpha Blending操作）。
	HIFB（Hisilicon Framebuffer）	HIFB用于管理叠加图形层，它不仅提供Linux Framebuffer的基本功能，还在Linux Framebuffer的基础上增加图层显示起始位置修改、层间Alpha等扩展功能。
区域管理	Region	叠加在视频上的OSD (On Screen Display)和遮挡在视频上的色块统称为区域。区域管理模块，用于统一管理这些区域资源，用于在视频上显示一些特定信息（如通道号、时间戳等）、或在视频中填充色块用于遮挡，当前该功能需配合VPSS一起使用。
图像/视频数据处理	VPSS（Video Process Sub-System）	VPSS模块支持对输入图像进行统一预处理，如去噪、去隔行、裁剪等，然后再对各通道分别进行处理，如缩放、加边框等。
	AIPP（Artificial Intelligence Pre-Processing）	AIPP人工智能预处理，在AI Core上完成数据预处理，主要功能包括改变图像尺寸（抠图、填充等）、色域转换（转换图像格式）、减均值/乘系数（改变图像像素）等。 AIPP区分为静态AIPP和动态AIPP。您只能选择静态AIPP或动态AIPP中的一种来处理图片，不能同时配置静态AIPP和动态AIPP两种方式。静态AIPP：模型转换时设置AIPP模式为静态，同时设置AIPP参数，模型生成后，AIPP参数值被保存在离线模型（*.om）中，每次模型推理过程采用固定的AIPP预处理参数（无法修改）。如果使用静态AIPP方式，多Batch情况下共用同一份AIPP参数，AIPP参数值在使用ATC工具进行模型转换时设置，ATC工具的详细说明请《ATC工具使用指南》。动态AIPP：模型转换时仅设置AIPP模式为动态，每次模型推理前，根据需求，在执行模型前设置动态AIPP参数值，然后在模型执行时可使用不同的AIPP参数。如果使用动态AIPP方式，多Batch可使用不同的AIPP参数，各Batch所使用的AIPP参数值通过AscendCL提供的接口来设置，请参见模型动态AIPP推理中的介绍。
	DVPP（Digital Vision Pre-Processing）	DVPP是昇腾AI处理器内置的图像处理单元，通过AscendCL媒体数据处理接口提供强大的媒体处理硬加速能力，主要功能包括以下功能： VPC（Vision Preprocessing Core）：处理YUV、RGB等格式的图片，包括缩放、抠图、图像金字塔、色域转换等。 JPEGD（JPEG Decoder）：JPEG压缩格式-->YUV格式的图片解码。 JPEGE（JPEG Encoder）：YUV格式-->JPEG压缩格式的图片编码。 VDEC（Video Decoder）：H264/H265格式-->YUV/RGB格式的视频码流解码。 VENC（Video Encoder）：YUV420SP格式-->H264/H265格式的视频码流编码。 PNGD（PNG Decoder）：PNG格式-->RGB格式的图片解码。 AIPP、DVPP可以分开独立使用，也可以组合使用。组合使用场景下，一般先使用DVPP对图片/视频进行解码、抠图、缩放等基本处理，但由于DVPP硬件上的约束，DVPP处理后的图片格式、分辨率有可能不满足模型的要求，因此还需要再经过AIPP进一步做色域转换、抠图、填充等处理。
音频数据获取和输出	AI（Audio Input）	AI模块捕获音频数据。
音频数据获取和输出	AO（Audio Output）	通过ADEC模块解码后的音频数据，AO模块支持播放音频。
音频数据编解码	AENC（Audio Encoder）	通过AI模块获取的音频数据，AENC模块支持对其进行编码，输出音频码流。
音频数据编解码	ADEC（Audio Decoder）	ADEC支持解码G.711a、G.711u等协议的音频码流，再通过AO模块播放音频。

DVPP图像/视频数据处理的典型使用场景

如果源图或视频的分辨率、格式等与模型的要求不一致时，我们可以将源图或视频处理成符合模型的要求。如下为典型场景的举例。

视频解码、缩放

使用Yolov3模型实现目标检测的场景下，用户提供的输入视频为H264/H265编码格式、分辨率为1920*1080，但Yolov3模型要求的输入图片格式为RGB/YUV、分辨率为416*416，两者不一致，此时可对视频执行以下一系列处理。

图2 视频解码、缩放使用场景图
图片解码、缩放、格式转换

使用Resnet50模型实现图片分类的场景下，用户提供的输入图片为JPEG编码格式、分辨率为1280*720，但Resnet50模型要求的输入图片格式为RGB、分辨率为224*224，两者不一致，此时可对图片执行以下一系列处理。

图3 图片解码、缩放、格式转换使用场景图
抠图、缩放、格式转换

使用Resnet50模型实现图片分类的场景下，用户提供的输入图片格式为YUV420SP、分辨率为1280*720，但Resnet50模型要求的输入图片格式为RGB、分辨率为224*224，两者不一致，此时对图片执行以下一系列处理。

图4 抠图、缩放、格式转换使用场景图

媒体数据处理功能开发流程

图5 开发流程

准备环境。

请参见。

创建代码目录。

在开发应用前，您需要先创建目录，存放代码文件、编译脚本、测试图片数据、模型文件等

如下仅是示例，供参考：

├App名称
├── model                 // 该目录下存放模型文件
│   ├── xxx.json               

├── data
│   ├── xxxxxx           // 测试数据

├── inc                   // 该目录下存放声明函数的头文件
│   ├── xxx.h               

├── out                   // 该目录下存放输出结果     

├── src   
│   ├── xxx.json         // 系统初始化的配置文件
│   ├── CMakeLists.txt   // 编译脚本
│   ├── xxx.cpp          // 实现文件   

（可选）构建模型。

模型推理场景下，必须要有适配昇腾AI处理器的离线模型（*.om文件），请参见模型构建。

:::note 说明如果应用中涉及模型推理，则需要构建模型。 :::
开发应用。

依赖的头文件和库文件的说明请参见调用接口依赖的头文件和库文件说明。

如果应用中涉及模型推理，请参见模型推理、扩展更多特性编写相应的代码。
编译运行应用，请参见应用调试。

父主题： 媒体数据处理（含图像/视频等）

V1与V2版本的差别

本手册中媒体数据处理V1版本与媒体数据处理V2版本的接口都是描述处理媒体数据的接口，用于实现抠图、图片缩放、格式转换等功能，但两套接口不能混用。

V2版本的功能比V1版本更多，如下：

JPEGE：V2版本接口支持高级的参数配置，如huffman表配置。
VENC：V2版本接口支持更加细化的码控参数配置和效果调优，如I/P帧QP、宏块码控等。
VDEC：V2版本接口支持更细化的内存控制，如设置输入码流缓存。
视频数据获取功能（ISP系统控制&MIPI命令字&VI功能）：仅V2版本接口支持。
VPSS视频处理：仅V2版本接口支持。
音频相关功能，包括录音、播音、音量调节：仅V2版本接口支持。
视频数据展示功能（VO功能&HDMI外设）：仅V2版本接口支持。

昇腾AI处理器对V2版本各功能的支持度，请参见功能支持度说明。

备注

须知

Atlas 200/500 A2推理产品上，支持V1和V2两个版本的媒体数据处理接口，建议使用V2版本中的接口，保证后续版本接口功能以及业务的连续演进。

父主题： 媒体数据处理（含图像/视频等）

功能支持度说明

昇腾AI处理器对媒体数据处理V1版本各功能的支持度如下表所示。

昇腾AI处理器	VPC	JPEGD	JPEGE	PNGD	VDEC	VENC
Atlas 200/500 A2推理产品	√	√	√	√	√	√

父主题： 媒体数据处理V1

VPC图像处理典型功能

VPC（Vision Preprocessing Core）负责图像处理功能，支持对图片做抠图、缩放、格式转换等操作。关于VPC功能的详细介绍请参见功能说明，关于VPC功能对输入、输出的约束要求，请参见约束说明。

本节以抠图、缩放为例说明VPC图像处理时的接口调用流程，同时配合以下典型功能的示例代码辅助理解该接口调用流程：

图片缩放示例代码
格式转换示例代码
抠图缩放（一图一框）示例代码
抠图贴图缩放（一图一框）示例代码
抠图贴图（一图多框）示例代码

接口调用流程（以抠图、缩放为例）

开发应用时，如果涉及抠图、缩放等图片处理，则应用程序中必须包含图片处理的代码逻辑，关于图片处理的接口调用流程，请先参见AscendCL接口调用流程了解整体流程，再查看本节中的流程说明。

图1 抠图缩放流程

关键接口的说明如下（以抠图、缩放处理为例）：

调用acldvppCreateChannel接口创建图片数据处理的通道。

创建图片数据处理的通道前，需先调用acldvppCreateChannelDesc接口创建通道描述信息。
调用acldvppCreateRoiConfig接口、acldvppCreateResizeConfig接口分别创建抠图区域位置的配置、缩放配置。
实现抠图、缩放功能前，若需要申请Device上的内存存放输入或输出数据，需调用acldvppMalloc申请内存。
执行抠图、缩放。
- 关于抠图：
  - 调用acldvppVpcCropAsync异步接口，按指定区域从输入图片中抠图，再将抠的图片存放到输出内存中，作为输出图片。
    
    输出图片区域与抠图区域cropArea不一致时会对图片再做一次缩放操作。
  - 当前系统还提供了acldvppVpcCropAndPasteAsync异步接口，支持按指定区域从输入图片中抠图，再将抠的图片贴到目标图片的指定位置，作为输出图片。
    - 抠图区域cropArea的宽高与贴图区域pasteArea宽高不一致时会对图片再做一次缩放操作。
    - 如果用户需要将目标图片读入内存用于存放输出图片，将贴图区域叠加在目标图片上，则需要编写代码逻辑：在申请输出内存后，将目标图片读入输出内存。
- 关于缩放
  - 调用acldvppVpcResizeAsync异步接口，将输入图片缩放到输出图片大小。
  - 缩放后输出图片内存根据YUV420SP格式计算，计算公式：对齐后的宽*对齐后的高*3/2
- 对于异步接口，还需调用aclrtSynchronizeStream接口阻塞程序运行，直到指定Stream中的所有任务都完成。
调用acldvppFree接口释放输入、输出内存。
调用acldvppDestroyRoiConfig接口、acldvppDestroyResizeConfig接口分别销毁抠图区域位置的配置、缩放配置。
调用acldvppDestroyChannel接口销毁图片数据处理的通道。

销毁图片数据处理的通道后，再调用acldvppDestroyChannelDesc接口销毁通道描述信息。

图片缩放示例代码

调用acldvppSetResizeConfigInterpolation接口指定缩放算法，再调用acldvppVpcResizeAsync异步接口，将输入图片缩放到输出图片大小。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 // 1.AscendCL初始化 aclRet = aclInit(nullptr); // 2.运行管理资源申请（依次申请Device、Context、Stream） aclrtContext context_; aclrtStream stream_; aclrtSetDevice(0); aclrtCreateContext(&context_, 0); aclrtCreateStream(&stream_); // 3. 创建图片缩放配置数据、指定缩放算法 // resizeConfig_是acldvppResizeConfig类型 acldvppResizeConfig *resizeConfig_ = acldvppCreateResizeConfig(); aclError ret = acldvppSetResizeConfigInterpolation(resizeConfig, 0); // 4. 创建图片数据处理通道时的通道描述信息，dvppChannelDesc_是acldvppChannelDesc类型 dvppChannelDesc_ = acldvppCreateChannelDesc(); // 5. 创建图片数据处理的通道。 ret = acldvppCreateChannel(dvppChannelDesc_); // 6. 申请输入内存（区分运行状态） // 调用aclrtGetRunMode接口获取软件栈的运行模式，如果调用aclrtGetRunMode接口获取软件栈的运行模式为ACL_HOST，则需要通过aclrtMemcpy接口将输入图片数据传输到Device，数据传输完成后，需及时释放内存；否则直接申请并使用Device的内存 aclrtRunMode runMode; ret = aclrtGetRunMode(&runMode); // inputPicWidth、inputPicHeight分别表示图片的对齐后宽、对齐后高，此处以YUV420SP格式的图片为例 uint32_t resizeInBufferSize = inputPicWidth * inputPicHeight * 3 / 2; if（runMode == ACL_HOST） { void* vpcInHostBuffer = nullptr; vpcInHostBuffer = malloc(resizeInBufferSize); // 将输入图片读入内存中，该自定义函数ReadPicFile由用户实现 ReadPicFile(picName, vpcInHostBuffer, resizeInBufferSize); // 申请Device内存resizeInDevBuffer_ aclRet = acldvppMalloc(&resizeInDevBuffer_, resizeInBufferSize); // 通过aclrtMemcpy接口将输入图片数据传输到Device aclRet = aclrtMemcpy(resizeInDevBuffer_, resizeInBufferSize, vpcInHostBuffer, resizeInBufferSize, ACL_MEMCPY_HOST_TO_DEVICE); // 数据传输完成后，及时释放内存 free(vpcInHostBuffer); } else { // 申请Device输入内存resizeInDevBuffer_ ret = acldvppMalloc(&resizeInDevBuffer_, resizeInBufferSize); // 将输入图片读入内存中，该自定义函数ReadPicFile由用户实现 ReadPicFile(picName, resizeInDevBuffer_, resizeInBufferSize); } // 7. 申请缩放输出内存resizeOutBufferDev_，内存大小resizeOutBufferSize_根据计算公式得出 // outputPicWidth、outputPicHeight分别表示图片的对齐后宽、对齐后高，此处以YUV420SP格式的图片为例 uint32_t resizeOutBufferSize_ = outputPicWidth * outputPicHeight * 3 / 2; ret = acldvppMalloc(&resizeOutBufferDev_, resizeOutBufferSize_) // 8. 创建缩放输入图片的描述信息，并设置各属性值 // resizeInputDesc_是acldvppPicDesc类型 resizeInputDesc_ = acldvppCreatePicDesc(); acldvppSetPicDescData(resizeInputDesc_, resizeInDevBuffer_); acldvppSetPicDescFormat(resizeInputDesc_, PIXEL_FORMAT_YUV_SEMIPLANAR_420); acldvppSetPicDescWidth(resizeInputDesc_, inputWidth_); acldvppSetPicDescHeight(resizeInputDesc_, inputHeight_); acldvppSetPicDescWidthStride(resizeInputDesc_, inputWidthStride); acldvppSetPicDescHeightStride(resizeInputDesc_, inputHeightStride); acldvppSetPicDescSize(resizeInputDesc_, resizeInBufferSize); // 9. 创建缩放输出图片的描述信息，并设置各属性值 // 如果缩放的输出图片作为模型推理的输入，则输出图片的宽高要与模型要求的宽高保持一致 // resizeOutputDesc_是acldvppPicDesc类型 resizeOutputDesc_ = acldvppCreatePicDesc(); acldvppSetPicDescData(resizeOutputDesc_, resizeOutBufferDev_); acldvppSetPicDescFormat(resizeOutputDesc_, PIXEL_FORMAT_YUV_SEMIPLANAR_420); acldvppSetPicDescWidth(resizeOutputDesc_, resizeOutputWidth_); acldvppSetPicDescHeight(resizeOutputDesc_, resizeOutputHeight_); acldvppSetPicDescWidthStride(resizeOutputDesc_, resizeOutputWidthStride); acldvppSetPicDescHeightStride(resizeOutputDesc_, resizeOutputHeightStride); acldvppSetPicDescSize(resizeOutputDesc_, resizeOutBufferSize_); // 10. 执行异步缩放，再调用aclrtSynchronizeStream接口阻塞程序运行，直到指定Stream中的所有任务都完成 ret = acldvppVpcResizeAsync(dvppChannelDesc_, resizeInputDesc_, resizeOutputDesc_, resizeConfig_, stream_); ret = aclrtSynchronizeStream(stream_); // 11. 缩放结束后，释放资源，包括缩放输入/输出图片的描述信息、缩放输入/输出内存 acldvppDestroyPicDesc(resizeInputDesc_); acldvppDestroyPicDesc(resizeOutputDesc_); if（runMode == ACL_HOST） { // 该模式下，由于处理结果在Device侧，因此需要调用内存复制接口传输结果数据后，再释放Device侧内存 void* vpcOutHostBuffer = nullptr; vpcOutHostBuffer = malloc(resizeOutBufferSize_); aclRet = aclrtMemcpy(vpcOutHostBuffer, resizeOutBufferSize_, resizeOutBufferDev_, resizeOutBufferSize_, ACL_MEMCPY_DEVICE_TO_HOST); // 释放掉输入输出的device内存 (void)acldvppFree(resizeInDevBuffer_); (void)acldvppFree(resizeOutBufferDev_); // 数据使用完成后，释放内存 free(vpcOutHostBuffer); } else { // 此时运行在device侧，处理结果也在Device侧，可以根据需要操作处理结果后，释放Device侧内存 (void)acldvppFree(resizeInDevBuffer_); (void)acldvppFree(resizeOutBufferDev_); } acldvppDestroyChannel(dvppChannelDesc_); (void)acldvppDestroyChannelDesc(dvppChannelDesc_); dvppChannelDesc_ = nullptr; // 12. 释放运行管理资源（依次释放Stream、Context、Device） aclrtDestroyStream(stream_); aclrtDestroyContext(context_); aclrtResetDevice(0); // 13.AscendCL去初始化 aclRet = aclFinalize(); // ....

格式转换示例代码

格式转换支持以下两种实现方式：

在实现抠图、缩放等功能时，调用对应的接口（例如acldvppVpcCropAsync接口）时，通过将输入图片和输出图片的格式设置成不同的，达到转换图片格式的目的。
如果仅仅做图片格式转换，也可以直接调用acldvppVpcConvertColorAsync接口。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 // 1.AscendCL初始化 aclRet = aclInit(nullptr); // 2.运行管理资源申请（依次申请Device、Context、Stream） aclrtContext context_; aclrtStream stream_; aclrtSetDevice(0); aclrtCreateContext(&context_, 0); aclrtCreateStream(&stream_); // 3. 创建图片数据处理通道时的通道描述信息，dvppChannelDesc_是acldvppChannelDesc类型 dvppChannelDesc_ = acldvppCreateChannelDesc(); // 4. 创建图片数据处理的通道。 aclError ret = acldvppCreateChannel(dvppChannelDesc_); // 5. 申请输入内存（区分运行状态） // 调用aclrtGetRunMode接口获取软件栈的运行模式，如果调用aclrtGetRunMode接口获取软件栈的运行模式为ACL_HOST，则需要通过aclrtMemcpy接口将输入图片数据传输到Device，数据传输完成后，需及时释放内存；否则直接申请并使用Device的内存 aclrtRunMode runMode; ret = aclrtGetRunMode(&runMode); // inputPicWidth、inputPicHeight分别表示图片的对齐后宽、对齐后高，此处以YUV420SP格式的图片为例 uint32_t inBufferSize = inputPicWidth * inputPicHeight * 3 / 2; if（runMode == ACL_HOST）{ void* vpcInHostBuffer = nullptr; vpcInHostBuffer = malloc(inBufferSize); // 将输入图片读入内存中，该自定义函数ReadPicFile由用户实现 ReadPicFile(picName, vpcInHostBuffer, inBufferSize); // 申请Device内存inDevBuffer_ aclRet = acldvppMalloc(&inDevBuffer_, inBufferSize); // 通过aclrtMemcpy接口将输入图片数据传输到Device aclRet = aclrtMemcpy(inDevBuffer_, inBufferSize, vpcInHostBuffer, inBufferSize, ACL_MEMCPY_HOST_TO_DEVICE); // 数据传输完成后，及时释放内存 free(vpcInHostBuffer); } else { // 申请Device输入内存inDevBuffer_ ret = acldvppMalloc(&inDevBuffer_, inBufferSize); // 将输入图片读入内存中，该自定义函数ReadPicFile由用户实现 ReadPicFile(picName, inDevBuffer_, inBufferSize); } // 6. 申请色域转换输出内存outBufferDev_，内存大小outBufferSize_根据计算公式得出 // outputPicWidth、outputPicHeight分别表示图片的对齐后宽、对齐后高，此处以YUV420SP格式的图片为例 uint32_t outBufferSize_ = outputPicWidth * outputPicHeight * 3 / 2 ret = acldvppMalloc(&outBufferDev_, outBufferSize_) // 7. 创建色域转换输入图片的描述信息，并设置各属性值 // inputDesc_是acldvppPicDesc类型 inputDesc_ = acldvppCreatePicDesc(); acldvppSetPicDescData(inputDesc_, inDevBuffer_); acldvppSetPicDescFormat(inputDesc_, PIXEL_FORMAT_YUV_SEMIPLANAR_420); acldvppSetPicDescWidth(inputDesc_, inputWidth_); acldvppSetPicDescHeight(inputDesc_, inputHeight_); acldvppSetPicDescWidthStride(inputDesc_, inputWidthStride); acldvppSetPicDescHeightStride(inputDesc_, inputHeightStride); acldvppSetPicDescSize(inputDesc_, inBufferSize); // 8. 创建色域转换的输出图片的描述信息，并设置各属性值, 输出的宽和高要求和输入一致 // 如果色域转换的输出图片作为模型推理的输入，则输出图片的宽高要与模型要求的宽高保持一致 // outputDesc_是acldvppPicDesc类型 outputDesc_= acldvppCreatePicDesc(); acldvppSetPicDescData(outputDesc_, outBufferDev_); acldvppSetPicDescFormat(outputDesc_, PIXEL_FORMAT_YUV_400); acldvppSetPicDescWidth(outputDesc_, outputWidth_); acldvppSetPicDescHeight(outputDesc_, outputHeight_); acldvppSetPicDescWidthStride(outputDesc_, outputWidthStride); acldvppSetPicDescHeightStride(outputDesc_, outputHeightStride); acldvppSetPicDescSize(outputDesc_, outBufferSize_); // 9. 执行异步色域转换，再调用aclrtSynchronizeStream接口阻塞程序运行，直到指定Stream中的所有任务都完成 ret = acldvppVpcConvertColorAsync(dvppChannelDesc_, inputDesc_, outputDesc_, stream_); ret = aclrtSynchronizeStream(stream_); // 10. 色域转换结束后，释放资源，包括输入/输出图片的描述信息、输入/输出内存 acldvppDestroyPicDesc(inputDesc_); acldvppDestroyPicDesc(outputDesc_); if（runMode == ACL_HOST） { // 该模式下，由于处理结果在Device侧，因此需要调用内存复制接口传输结果数据后，再释放Device侧内存 void* vpcOutHostBuffer = nullptr; vpcOutHostBuffer = malloc(outBufferSize_); aclRet = aclrtMemcpy(vpcOutHostBuffer, outBufferSize_, outBufferDev_, outBufferSize_, ACL_MEMCPY_DEVICE_TO_HOST); // 释放掉输入输出的device内存 (void)acldvppFree(inDevBuffer_); (void)acldvppFree(outBufferDev_); // 数据使用完成后，释放内存 free(vpcOutHostBuffer); } else { // 此时运行在device侧，处理结果也在Device侧，可以根据需要操作处理结果后，释放Device侧内存 (void)acldvppFree(inDevBuffer_); (void)acldvppFree(outBufferDev_); } acldvppDestroyChannel(dvppChannelDesc_); (void)acldvppDestroyChannelDesc(dvppChannelDesc_); dvppChannelDesc_ = nullptr; // 11. 释放运行管理资源（依次释放Stream、Context、Device） aclrtDestroyStream(stream_); aclrtDestroyContext(context_); aclrtResetDevice(0); // 12.AscendCL去初始化 aclRet = aclFinalize(); // ....

抠图缩放（一图一框）示例代码

调用acldvppVpcCropResizeAsync异步接口，按指定区域从输入图片中抠图，再将抠的图片存放到输出内存中，作为输出图片，此外，还支持指定缩放算法。当输出图片区域与抠图区域cropArea不一致时会对图片再做一次缩放操作。

您可以从样例介绍中获取完整样例代码。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 // 1.AscendCL初始化 aclRet = aclInit(nullptr); // 2.运行管理资源申请（依次申请Device、Context、Stream） aclrtContext context_; aclrtStream stream_; aclrtSetDevice(0); aclrtCreateContext(&context_, 0); aclrtCreateStream(&stream_); // 3. 创建缩放配置数据，并指定抠图区域的位置 // resizeConfig_是acldvppResizeConfig类型 resizeConfig_ = acldvppCreateResizeConfig(); aclError aclRet = acldvppSetResizeConfigInterpolation(resizeConfig_, 0); // cropArea_是acldvppRoiConfig类型 cropArea_ = acldvppCreateRoiConfig(550, 749, 480, 679); // 4. 创建图片数据处理通道时的通道描述信息，dvppChannelDesc_是acldvppChannelDesc类型 dvppChannelDesc_ = acldvppCreateChannelDesc(); // 5. 创建图片数据处理的通道。 ret = acldvppCreateChannel(dvppChannelDesc_); // 6. 申请输入内存（区分运行状态） // 调用aclrtGetRunMode接口获取软件栈的运行模式，如果调用aclrtGetRunMode接口获取软件栈的运行模式为ACL_HOST，则需要通过aclrtMemcpy接口将输入图片数据传输到Device，数据传输完成后，需及时释放内存；否则直接申请并使用Device的内存 aclrtRunMode runMode; ret = aclrtGetRunMode(&runMode); // inputPicWidth、inputPicHeight分别表示图片的对齐后宽、对齐后高，此处以YUV420SP格式的图片为例 uint32_t cropInBufferSize = inputPicWidth * inputPicHeight * 3 / 2; if（runMode == ACL_HOST） { void* cropInHostBuffer = nullptr; cropInHostBuffer = malloc(cropInBufferSize); // 将输入图片读入内存中，该自定义函数ReadPicFile由用户实现 ReadPicFile(picName, cropInHostBuffer, cropInBufferSize); // 申请Device内存cropInDevBuffer_ aclRet = acldvppMalloc(&cropInDevBuffer_, cropInBufferSize); // 通过aclrtMemcpy接口图片数据传输到Device aclRet = aclrtMemcpy(cropInDevBuffer_, cropInBufferSize, cropInHostBuffer, cropInBufferSize, ACL_MEMCPY_HOST_TO_DEVICE); // 数据传输完成后，及时释放内存 free(cropInHostBuffer); } else { // 申请Device输入内存cropInDevBuffer_ ret = acldvppMalloc(&cropInDevBuffer_, cropInBufferSize); // 将输入图片读入内存中，该自定义函数ReadPicFile由用户实现 ReadPicFile(picName, cropInDevBuffer_, cropInBufferSize); } // 7. 申请Device输出内存cropOutBufferDev_，内存大小cropOutBufferSize_根据计算公式得出 // outputPicWidth、outputPicHeight分别表示图片的对齐后宽、对齐后高，此处以YUV420SP格式的图片为例 uint32_t cropOutBufferSize_ = outputPicWidth * outputPicHeight * 3 / 2; ret = acldvppMalloc(&cropOutBufferDev_, cropOutBufferSize_) // 8. 创建输入图片的描述信息，并设置各属性值，cropInputDesc_是acldvppPicDesc类型 cropInputDesc_ = acldvppCreatePicDesc(); acldvppSetPicDescData(cropInputDesc_, cropInDevBuffer_); acldvppSetPicDescFormat(cropInputDesc_, PIXEL_FORMAT_YUV_SEMIPLANAR_420); acldvppSetPicDescWidth(cropInputDesc_, inputWidth_); acldvppSetPicDescHeight(cropInputDesc_, inputHeight_); acldvppSetPicDescWidthStride(cropInputDesc_, inputWidthStride); acldvppSetPicDescHeightStride(cropInputDesc_, inputHeightStride); acldvppSetPicDescSize(cropInputDesc_, cropInBufferSize); // 9. 创建输出图片的描述信息，并设置各属性值，cropOutputDesc_是acldvppPicDesc类型 // 如果抠图的输出图片作为模型推理的输入，则输出图片的宽高要与模型要求的宽高保持一致 cropOutputDesc_ = acldvppCreatePicDesc(); acldvppSetPicDescData(cropOutputDesc_, cropOutBufferDev_); acldvppSetPicDescFormat(cropOutputDesc_, PIXEL_FORMAT_YUV_SEMIPLANAR_420); acldvppSetPicDescWidth(cropOutputDesc_, OutputWidth_); acldvppSetPicDescHeight(cropOutputDesc_, OutputHeight_); acldvppSetPicDescWidthStride(cropOutputDesc_, OutputWidthStride); acldvppSetPicDescHeightStride(cropOutputDesc_, OutputHeightStride); acldvppSetPicDescSize(cropOutputDesc_, cropOutBufferSize_); // 10. 执行异步抠图缩放，再调用aclrtSynchronizeStream接口阻塞程序运行，直到指定Stream中的所有任务都完成 ret = acldvppVpcCropResizeAsync(dvppChannelDesc_, cropInputDesc_, cropOutputDesc_, cropArea_, resizeConfig_, stream_); ret = aclrtSynchronizeStream(stream_); // 11. 抠图贴图结束后，释放资源，包括输入/输出图片的描述信息、输入/输出内存、通道描述信息、通道等 acldvppDestroyRoiConfig(cropArea_); acldvppDestroyResizeConfig(resizeConfig_); acldvppDestroyPicDesc(cropInputDesc_); acldvppDestroyPicDesc(cropOutputDesc_); if（runMode == ACL_HOST） { // 该模式下，由于处理结果在Device侧，因此需要调用内存复制接口传输结果数据后，再释放Device侧内存 void* cropOutHostBuffer = nullptr; cropOutHostBuffer = malloc(cropOutBufferSize_); aclRet = aclrtMemcpy(cropOutHostBuffer, cropOutBufferSize_, cropOutBufferDev_, cropOutBufferSize_, ACL_MEMCPY_DEVICE_TO_HOST); // 释放掉输入输出的device内存 (void)acldvppFree(cropInDevBuffer_); (void)acldvppFree(cropOutBufferDev_); // 数据使用完成后，释放内存 free(cropOutHostBuffer); } else { // 此时运行在device侧，处理结果也在Device侧，可以根据需要操作抠图结果后，释放Device侧内存 (void)acldvppFree(cropInDevBuffer_); (void)acldvppFree(cropOutBufferDev_); } acldvppDestroyChannel(dvppChannelDesc_); (void)acldvppDestroyChannelDesc(dvppChannelDesc_); dvppChannelDesc_ = nullptr; // 12. 释放运行管理资源（依次释放Stream、Context、Device） aclrtDestroyStream(stream_); aclrtDestroyContext(context_); aclrtResetDevice(0); // 13.AscendCL去初始化 aclRet = aclFinalize(); // ....

抠图贴图缩放（一图一框）示例代码

调用acldvppVpcCropResizePasteAsync异步接口，按指定区域从输入图片中抠图，再将抠的图片贴到目标图片的指定位置，作为输出图片，此外，还支持指定缩放算法。当抠图区域cropArea的宽高与贴图区域pasteArea宽高不一致时会对图片再做一次缩放操作。如果用户需要将目标图片读入内存用于存放输出图片，将贴图区域叠加在目标图片上，则需要编写代码逻辑：在申请输出内存后，将目标图片读入输出内存。

您可以从样例介绍中获取完整样例代码。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 // 1.AscendCL初始化 aclRet = aclInit(nullptr); // 2.运行管理资源申请（依次申请Device、Context、Stream） aclrtContext context_; aclrtStream stream_; aclrtSetDevice(0); aclrtCreateContext(&context_, 0); aclrtCreateStream(&stream_); // 3. 创建缩放配置数据，并指定抠图区域的位置、指定贴图区域的位置 // resizeConfig_是acldvppResizeConfig类型 resizeConfig_ = acldvppCreateResizeConfig(); aclError aclRet = acldvppSetResizeConfigInterpolation(resizeConfig_, 0); // cropArea_和pasteArea_是acldvppRoiConfig类型 cropArea_ = acldvppCreateRoiConfig(512, 711, 512, 711); pasteArea_ = acldvppCreateRoiConfig(16, 215, 16, 215); // 4. 创建图片数据处理通道时的通道描述信息，dvppChannelDesc_是acldvppChannelDesc类型 dvppChannelDesc_ = acldvppCreateChannelDesc(); // 5. 创建图片数据处理的通道。 ret = acldvppCreateChannel(dvppChannelDesc_); // 6. 申请输入内存（区分运行状态） // 调用aclrtGetRunMode接口获取软件栈的运行模式，如果调用aclrtGetRunMode接口获取软件栈的运行模式为ACL_HOST，则需要通过aclrtMemcpy接口将输入图片数据传输到Device，数据传输完成后，需及时释放内存；否则直接申请并使用Device的内存 aclrtRunMode runMode; ret = aclrtGetRunMode(&runMode); // inputPicWidth、inputPicHeight分别表示图片的对齐后宽、对齐后高，此处以YUV420SP格式的图片为例 uint32_t vpcInBufferSize = inputPicWidth * inputPicHeight * 3 / 2; if（runMode == ACL_HOST） { void* vpcInHostBuffer = nullptr; vpcInHostBuffer = malloc(vpcInBufferSize); // 将输入图片读入内存中，该自定义函数ReadPicFile由用户实现 ReadPicFile(picName, vpcInHostBuffer, vpcInBufferSize); // 申请Device内存vpcInDevBuffer_ aclRet = acldvppMalloc(&vpcInDevBuffer_, vpcInBufferSize); // 通过aclrtMemcpy接口将输入图片数据传输到Device aclRet = aclrtMemcpy(vpcInDevBuffer_, vpcInBufferSize, vpcInHostBuffer, vpcInBufferSize, ACL_MEMCPY_HOST_TO_DEVICE); // 数据传输完成后，及时释放内存 free(vpcInHostBuffer); } else { // 申请Device输入内存vpcInDevBuffer_ ret = acldvppMalloc(&vpcInDevBuffer_, vpcInBufferSize); // 将输入图片读入内存中，该自定义函数ReadPicFile由用户实现 ReadPicFile(picName, vpcInDevBuffer_, vpcInBufferSize); } // 7. 申请输出内存vpcOutBufferDev_，内存大小vpcOutBufferSize_根据计算公式得出 // outputPicWidth、outputPicHeight分别表示图片的对齐后宽、对齐后高，此处以YUV420SP格式的图片为例 uint32_t vpcOutBufferSize_ = outputPicWidth * outputPicHeight * 3 / 2; ret = acldvppMalloc(&vpcOutBufferDev_, vpcOutBufferSize_) // 8. 创建输入图片的描述信息，并设置各属性值 // 此处示例将解码的输出内存作为抠图贴图的输入，vpcInputDesc_是acldvppPicDesc类型 vpcInputDesc_ = acldvppCreatePicDesc(); acldvppSetPicDescData(vpcInputDesc_, decodeOutBufferDev_); acldvppSetPicDescFormat(vpcInputDesc_, PIXEL_FORMAT_YUV_SEMIPLANAR_420); acldvppSetPicDescWidth(vpcInputDesc_, inputWidth_); acldvppSetPicDescHeight(vpcInputDesc_, inputHeight_); acldvppSetPicDescWidthStride(vpcInputDesc_, jpegOutWidthStride); acldvppSetPicDescHeightStride(vpcInputDesc_, jpegOutHeightStride); acldvppSetPicDescSize(vpcInputDesc_, jpegOutBufferSize); // 9. 创建输出图片的描述信息，并设置各属性值 // 如果抠图贴图的输出图片作为模型推理的输入，则输出图片的宽高要与模型要求的宽高保持一致 // vpcOutputDesc_是acldvppPicDesc类型 vpcOutputDesc_ = acldvppCreatePicDesc(); acldvppSetPicDescData(vpcOutputDesc_, vpcOutBufferDev_); acldvppSetPicDescFormat(vpcOutputDesc_, PIXEL_FORMAT_YUV_SEMIPLANAR_420); acldvppSetPicDescWidth(vpcOutputDesc_, dvppOutWidth); acldvppSetPicDescHeight(vpcOutputDesc_, dvppOutHeight); acldvppSetPicDescWidthStride(vpcOutputDesc_, dvppOutWidthStride); acldvppSetPicDescHeightStride(vpcOutputDesc_, dvppOutHeightStride); acldvppSetPicDescSize(vpcOutputDesc_, vpcOutBufferSize_); // 10. 执行异步抠图贴图缩放，再调用aclrtSynchronizeStream接口阻塞程序运行，直到指定Stream中的所有任务都完成 ret = acldvppVpcCropResizePasteAsync(dvppChannelDesc_, vpcInputDesc_, vpcOutputDesc_, cropArea_, pasteArea_, resizeConfig_, stream_); ret = aclrtSynchronizeStream(stream_); // 11. 抠图贴图结束后，释放资源，包括输入/输出图片的描述信息、输入/输出内存、通道描述信息、通道等 acldvppDestroyRoiConfig(cropArea_); acldvppDestroyRoiConfig(pasteArea_); acldvppDestroyResizeConfig(resizeConfig_); acldvppDestroyPicDesc(vpcInputDesc_); acldvppDestroyPicDesc(vpcOutputDesc_); if（runMode == ACL_HOST） { // 该模式下，由于处理结果在Device侧，因此需要调用内存复制接口传输结果数据后，再释放Device侧内存 void* vpcOutHostBuffer = nullptr; vpcOutHostBuffer = malloc(vpcOutBufferSize_); aclRet = aclrtMemcpy(vpcOutHostBuffer, vpcOutBufferSize_, vpcOutBufferDev_, vpcOutBufferSize_, ACL_MEMCPY_DEVICE_TO_HOST); // 释放掉输入输出的device内存 (void)acldvppFree(vpcInDevBuffer_); (void)acldvppFree(vpcOutBufferDev_); // 数据使用完成后，释放内存 free(vpcOutHostBuffer); } else { // 此时运行在device侧，处理结果也在Device侧，可以根据需要操作处理结果后，释放Device侧内存 (void)acldvppFree(vpcInDevBuffer_); (void)acldvppFree(vpcOutBufferDev_); } acldvppDestroyChannel(dvppChannelDesc_); (void)acldvppDestroyChannelDesc(dvppChannelDesc_); dvppChannelDesc_ = nullptr; // 12. 释放运行管理资源（依次释放Stream、Context、Device） aclrtDestroyStream(stream_); aclrtDestroyContext(context_); aclrtResetDevice(0); // 13.AscendCL去初始化 aclRet = aclFinalize(); // ....

抠图贴图（一图多框）示例代码

调用acldvppVpcBatchCropAndPasteAsync异步接口，按指定区域从输入图片中抠图，再将抠的图片贴到目标图片的指定位置，作为输出图片。当抠图区域cropArea的宽高与贴图区域pasteArea宽高不一致时会对图片再做一次缩放操作。如果用户需要将目标图片读入内存用于存放输出图片，将贴图区域叠加在目标图片上，则需要编写代码逻辑：在申请输出内存后，将目标图片读入输出内存。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 cpp // 1.AscendCL初始化 aclRet = aclInit(nullptr); // 2.运行管理资源申请（依次申请Device、Context、Stream） aclrtContext context_; aclrtStream stream_; aclrtSetDevice(0); aclrtCreateContext(&context_, 0); aclrtCreateStream(&stream_); // 3.指定批量抠图区域的位置、指定批量贴图区域的位置,cropAreas_和pasteAreas_是acldvppRoiConfig类型 acldvppRoiConfig *cropAreas_[2], pasteAreas_[2]; cropAreas_[0] = acldvppCreateRoiConfig(512, 711, 512, 711); cropAreas_[1] = acldvppCreateRoiConfig(512, 711, 512, 711); pasteAreas_[0] = acldvppCreateRoiConfig(16, 215, 16, 215); pasteAreas_[1] = acldvppCreateRoiConfig(16, 215, 16, 215); // 4. 创建图片数据处理通道时的通道描述信息，dvppChannelDesc_是acldvppChannelDesc类型 dvppChannelDesc_ = acldvppCreateChannelDesc(); // 5. 创建图片数据处理的通道。 aclError ret = acldvppCreateChannel(dvppChannelDesc_); // 6. 申请输入内存（区分运行状态） // 调用aclrtGetRunMode接口获取软件栈的运行模式，如果调用aclrtGetRunMode接口获取软件栈的运行模式为ACL_HOST，则需要通过aclrtMemcpy接口将输入图片数据传输到Device，数据传输完成后，需及时释放内存；否则直接申请并使用Device的内存 aclrtRunMode runMode; ret = aclrtGetRunMode(&runMode); // inputPicWidth、inputPicHeight分别表示图片的对齐后宽、对齐后高，此处以YUV420SP格式的图片为例 uint32_t vpcInBufferSize = inputPicWidth * inputPicHeight * 3 / 2; if（runMode == ACL_HOST） { void* vpcInHostBuffer = nullptr; vpcInHostBuffer = malloc(vpcInBufferSize); // 将输入图片读入内存中，该自定义函数ReadPicFile由用户实现 ReadPicFile(picName, vpcInHostBuffer, vpcInBufferSize); // 申请Device内存vpcInDevBuffer_ aclRet = acldvppMalloc(&vpcInDevBuffer_, vpcInBufferSize); aclRet = aclrtMemcpy(vpcInDevBuffer_, vpcInBufferSize, vpcInHostBuffer, vpcInBufferSize, ACL_MEMCPY_HOST_TO_DEVICE); // 数据传输完成后，及时释放内存 free(vpcInHostBuffer); } else { // 申请Device输入内存vpcInDevBuffer_ ret = acldvppMalloc(&vpcInDevBuffer_, vpcInBufferSize); // 将输入图片读入内存中，该自定义函数ReadPicFile由用户实现 ReadPicFile(picName, vpcInDevBuffer_, vpcInBufferSize); } // 7. 申请输出内存vpcOutBufferDev_，内存大小vpcOutBufferSize_根据计算公式得出 // outputPicWidth、outputPicHeight分别表示图片的对齐后宽、对齐后高，此处以YUV420SP格式的图片为例 uint32_t vpcOutBufferSize_ = outputPicWidth * outputPicHeight * 3 / 2; ret = acldvppMalloc(&vpcOutBufferDev_, vpcOutBufferSize_) // 8. 创建输入图片的描述信息，并设置各属性值 // 此处示例将解码的输出内存作为抠图贴图的输入，vpcInputDesc_是acldvppPicDesc类型 vpcInputBatchDesc_ = acldvppCreateBatchPicDesc(1); vpcInputDesc_ = acldvppGetPicDesc(vpcInputBatchDesc_, 0); acldvppSetPicDescData(vpcInputDesc_, decodeOutBufferDev_); acldvppSetPicDescFormat(vpcInputDesc_, PIXEL_FORMAT_YUV_SEMIPLANAR_420); acldvppSetPicDescWidth(vpcInputDesc_, inputWidth_); acldvppSetPicDescHeight(vpcInputDesc_, inputHeight_); acldvppSetPicDescWidthStride(vpcInputDesc_, jpegOutWidthStride); acldvppSetPicDescHeightStride(vpcInputDesc_, jpegOutHeightStride); acldvppSetPicDescSize(vpcInputDesc_, jpegOutBufferSize); // 9. 创建批量输出图片的描述信息，并设置各属性值 // 如果抠图贴图的输出图片作为模型推理的输入，则输出图片的宽高要与模型要求的宽高保持一致 // vpcOutputDesc_是acldvppPicDesc类型 vpcOutputBatchDesc_ = acldvppCreateBatchPicDesc(2); for (index=0; index<2; ++index){ vecOutPtr_.push_back(vpcOutBufferDev_); vpcOutputDesc_ = acldvppGetPicDesc(vpcInputBatchDesc_, index); acldvppSetPicDescData(vpcOutputDesc_, vpcOutBufferDev_); acldvppSetPicDescFormat(vpcOutputDesc_, PIXEL_FORMAT_YUV_SEMIPLANAR_420); acldvppSetPicDescWidth(vpcOutputDesc_, dvppOutWidth); acldvppSetPicDescHeight(vpcOutputDesc_, dvppOutHeight); acldvppSetPicDescWidthStride(vpcOutputDesc_, dvppOutWidthStride); acldvppSetPicDescHeightStride(vpcOutputDesc_, dvppOutHeightStride); acldvppSetPicDescSize(vpcOutputDesc_, vpcOutBufferSize_); } // 10. 创建roiNums,每张图对应需要抠图和贴图的数量 uint32_ttotalNum = 0; std::unique_ptr<uint32_t[]> roiNums(new (std::nothrow) uint32_t[1]); roiNums[0]=2; // 11. 执行异步抠图贴图，再调用aclrtSynchronizeStream接口阻塞程序运行，直到指定Stream中的所有任务都完成 ret = acldvppVpcBatchCropAndPasteAsync(dvppChannelDesc_, vpcInputBatchDesc_, roiNums.get(), 1, vpcOutputBatchDesc_, cropAreas_, pasteAreas_, stream_); ret = aclrtSynchronizeStream(stream_); // 12. 抠图贴图结束后，释放资源，包括输入/输出图片的描述信息、输入/输出内存、通道描述信息、通道等 acldvppDestroyRoiConfig(cropAreas_[0]); acldvppDestroyRoiConfig(cropAreas_[1]); acldvppDestroyRoiConfig(pasteAreas_[0]); acldvppDestroyRoiConfig(pasteAreas_[1]); (void)acldvppFree(vpcInDevBuffer_); for(index=0; index<2; ++index){ if（runMode == ACL_HOST） { // 该模式下，由于处理结果在Device侧，因此需要调用内存复制接口传输结果数据后，再释放Device侧内存 void* vpcOutHostBuffer = nullptr; vpcOutHostBuffer = malloc(vpcOutBufferSize_); aclRet = aclrtMemcpy(vpcOutHostBuffer, vpcOutBufferSize_, vpcOutBufferDev_, vpcOutBufferSize_, ACL_MEMCPY_DEVICE_TO_HOST); // 释放掉输入输出的device内存 (void)acldvppFree(vpcOutBufferDev_); // 数据使用完成后，释放内存 free(vpcOutHostBuffer); } else { // 此时运行在device侧，处理结果也在Device侧，可以根据需要操作处理结果后，释放Device侧内存 (void)acldvppFree(vpcOutBufferDev_); } } acldvppDestroyBatchPicDesc(vpcInputDesc_); acldvppDestroyBatchPicDesc(vpcOutputDesc_); acldvppDestroyChannel(dvppChannelDesc_); (void)acldvppDestroyChannelDesc(dvppChannelDesc_); dvppChannelDesc_ = nullptr; // 13. 释放运行管理资源（依次释放Stream、Context、Device） aclrtDestroyStream(stream_); aclrtDestroyContext(context_); aclrtResetDevice(0); // 14.AscendCL去初始化 aclRet = aclFinalize(); // ....

父主题： 媒体数据处理V1

在线提单

模型加载​

接口调用流程​

示例代码​

模型执行​

基本原理​

模型执行流程​

准备模型执行的输入/输出数据结构​

示例代码​

模型卸载​

基本原理​

示例代码​

媒体数据处理视频课程​

媒体数据处理基础知识​

图像/视频/音频数据处理的典型功能介绍​

DVPP图像/视频数据处理的典型使用场景​

媒体数据处理功能开发流程​

V1与V2版本的差别​

功能支持度说明​

VPC图像处理典型功能​

接口调用流程（以抠图、缩放为例）​

图片缩放示例代码​

格式转换示例代码​

抠图缩放（一图一框）示例代码​

抠图贴图缩放（一图一框）示例代码​

抠图贴图（一图多框）示例代码​

模型加载

接口调用流程

示例代码

模型执行

基本原理

模型执行流程

准备模型执行的输入/输出数据结构

示例代码

模型卸载

基本原理

示例代码

媒体数据处理视频课程

媒体数据处理基础知识

图像/视频/音频数据处理的典型功能介绍

DVPP图像/视频数据处理的典型使用场景

媒体数据处理功能开发流程

V1与V2版本的差别

功能支持度说明

VPC图像处理典型功能

接口调用流程（以抠图、缩放为例）

图片缩放示例代码

格式转换示例代码

抠图缩放（一图一框）示例代码

抠图贴图缩放（一图一框）示例代码

抠图贴图（一图多框）示例代码