视频数据获取功能

VDEC视频解码

VDEC（Video Decoder）负责将H264/H265格式的视频码流解码为YUV/RGB格式的图片。关于VDEC功能的详细介绍及约束请参见功能及约束说明。

本节介绍VDEC视频编码的接口调用流程，同时配合示例代码辅助理解该接口调用流程。

接口调用流程

开发应用时，如果涉及视频解码，则应用程序中必须包含视频解码的代码逻辑，关于视频解码的接口调用流程，请先参见AscendCL接口调用流程了解整体流程，再查看本节中的流程说明。

图1 视频解码流程

实现视频的解码，关键接口的说明如下：

调用aclvdecCreateChannel接口创建视频解码处理的通道。
- 创建视频解码处理通道前，需先执行以下操作：
  1. 调用aclvdecCreateChannelDesc接口创建通道描述信息。
  2. 调用aclvdecSetChannelDesc系列接口设置通道描述信息的属性，包括解码通道号、线程、回调函数、视频编码协议等，其中：
    1. 回调函数需由用户提前创建，用于在视频解码后，获取解码数据，并及时释放相关资源，回调函数的原型请参见aclvdecCallback。
      
      在回调函数内，用户需调用acldvppGetPicDescRetCode接口获取retCode返回码判断是否解码成功，retCode为0表示解码成功，为1表示解码失败。如果解码失败，需要根据日志中的返回码判断具体的问题，返回码请参见返回码说明。
      
      解码结束后，建议用户在回调函数内及时释放VDEC的输入码流内存、输出图片内存以及相应的视频码流描述信息、图片描述信息。
    2. 线程需由用户提前创建，并自定义线程函数，在线程函数内调用aclrtProcessReport接口，等待指定时间后，触发1.b.i中的回调函数。
    :::note 说明如果不调用aclvdecSetChannelDescOutPicFormat接口设置输出格式，则默认使用YUV420SP NV12。 :::
- aclvdecCreateChannel接口内部封装了如下接口，无需用户单独调用：
  1. aclrtCreateStream接口：显式创建Stream，VDEC内部使用。
  2. aclrtSubscribeReport接口：指定处理Stream上回调函数的线程，回调函数和线程是由用户调用aclvdecSetChannelDesc系列接口时指定的。
调用aclvdecSendFrame接口将视频码流解码成YUV420SP格式的图片。
- **视频解码前，**需先执行以下操作：
  - 调用acldvppCreateStreamDesc接口创建输入视频码流描述信息，并调用acldvppSetStreamDesc系列接口设置输入视频的内存地址、内存大小、码流格式等属性。
  - 调用acldvppCreatePicDesc接口创建输出图片描述信息，并调用acldvppSetPicDesc系列接口设置输出图片的内存地址、内存大小、图片格式等属性。
- 视频解码时：
  
  aclvdecSendFrame接口内部封装了aclrtLaunchCallback接口，用于在Stream的任务队列中增加一个需要执行的回调函数。用户无需单独调用aclrtLaunchCallback接口。
- 视频解码后，视频解码的结果数据通过回调函数获取：
  
  获取解码数据前，先获取retCode的值，判断解码是否成功，0表示解码成功，1表示解码失败。如果解码失败，需要根据日志中的返回码判断具体的问题，返回码请参见返回码说明。
  
  如果用户需要获取解码的帧序号，则可以在aclvdecSendFrame接口的userData参数处定义，然后解码的帧序号可以通过userData参数传递给VDEC的回调函数，用于确定回调函数中处理的是第几帧数据。
  
  如果不想获取某一帧的解码结果，可以调用aclvdecSendSkippedFrame接口，将待解码的码流（输入内存）传到解码器进行解码，此时，解码结果最终不会输出，解码完成的回调函数中返回的output为nullptr。
调用aclvdecDestroyChannel接口销毁视频处理的通道。
- 系统会等待已发送帧解码完成且用户的回调函数处理完成后再销毁通道。
- aclvdecDestroyChannel接口内部封装了如下接口，无需用户单独调用：
  - aclrtUnSubscribeReport接口：取消线程注册（Stream上的回调函数不再由指定线程处理）。
  - aclrtDestroyStream接口：销毁Stream。
- 销毁通道后，需调用aclvdecDestroyChannelDesc接口销毁通道描述信息。
- 销毁通道描述信息后，用户才可以销毁1.b.ii中创建的线程。

示例代码

您可以从样例介绍中获取完整样例代码。

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝编译运行，仅供参考。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 cpp // 1.AscendCL初始化 aclRet = aclInit(nullptr); // 2.运行管理资源申请（依次申请Device、Context、Stream） aclrtContext context_; aclrtStream stream_; aclrtSetDevice(0); aclrtCreateContext(&context_, 0); aclrtCreateStream(&stream_); // 3.创建回调函数 void callback(acldvppStreamDesc *input, acldvppPicDesc *output, void *userdata) { static int count = 1; if (output != nullptr) { // 获取VDEC解码的输出内存，调用自定义函数WriteToFile将输出内存中的数据写入文件后，再调用acldvppFree接口释放输出内存 void *vdecOutBufferDev = acldvppGetPicDescData(output); if (vdecOutBufferDev != nullptr) { // 0: vdec success; others, vdec failed // retCode为0表示解码成功，为1表示解码失败 int retCode = acldvppGetPicDescRetCode(output); if (retCode == 0) { // process task: write file uint32_t size = acldvppGetPicDescSize(output); std::string fileNameSave = "outdir/image" + std::to_string(count); // vdec输出结果在device侧，在WriteToFile方法中进行下述处理 if (!Utils::WriteToFile(fileNameSave.c_str(), vdecOutBufferDev, size)) { ERROR_LOG("write file failed."); } } else { ERROR_LOG("vdec decode frame failed."); } // free output vdecOutBufferDev aclError ret = acldvppFree(vdecOutBufferDev); } // 释放acldvppPicDesc类型的数据，表示解码后输出图片描述数据 aclError ret = acldvppDestroyPicDesc(output); } // free input vdecInBufferDev and destroy stream desc if (input != nullptr) { void *vdecInBufferDev = acldvppGetStreamDescData(input); if (vdecInBufferDev != nullptr) { aclError ret = acldvppFree(vdecInBufferDev); } // 释放acldvppStreamDesc类型的数据，表示解码的输入码流描述数据 aclError ret = acldvppDestroyStreamDesc(input); } INFO_LOG("success to callback %d.", count); count++; } // 4.创建视频码流处理通道时的通道描述信息，设置视频处理通道描述信息的属性，其中线程、callback回调函数需要用户提前创建。 // vdecChannelDesc_是aclvdecChannelDesc类型 vdecChannelDesc_ = aclvdecCreateChannelDesc(); ret = aclvdecSetChannelDescChannelId(vdecChannelDesc_, 10); ret = aclvdecSetChannelDescThreadId(vdecChannelDesc_, threadId_); ret = aclvdecSetChannelDescCallback(vdecChannelDesc_, callback); // 示例中使用的是H265_MAIN_LEVEL视频编码协议 ret = aclvdecSetChannelDescEnType(vdecChannelDesc_, static_cast<acldvppStreamFormat>(enType_)); // 示例中使用的是PIXEL_FORMAT_YVU_SEMIPLANAR_420 ret = aclvdecSetChannelDescOutPicFormat(vdecChannelDesc_, static_cast<acldvppPixelFormat>(format_)); // 5.创建视频码流处理的通道 ret = aclvdecCreateChannel(vdecChannelDesc_); // 6.申请输入码流内存（区分运行状态） // 调用aclrtGetRunMode接口获取软件栈的运行模式，如果调用aclrtGetRunMode接口获取软件栈的运行模式为ACL_HOST，则需要通过aclrtMemcpy接口将输入图片数据传输到Device，数据传输完成后，需及时释放内存；否则直接申请并使用Device的内存 aclrtRunMode runMode; ret = aclrtGetRunMode(&runMode); if（runMode == ACL_HOST）{ void* inputHostBuff= nullptr; // inBufferSize_为输入码流大小 inputHostBuff= malloc(inBufferSize_); // 将输入图片读入内存中，该自定义函数ReadPicFile由用户实现 ReadPicFile(picName, inputHostBuff, inBufferSize_); // 申请Device内存inBufferDev_ aclRet = acldvppMalloc(&inBufferDev_, inBufferSize_); // 通过aclrtMemcpy接口将输入图片数据传输到Device aclRet = aclrtMemcpy(inBufferDev_, inBufferSize_, inputHostBuff, inBufferSize_, ACL_MEMCPY_HOST_TO_DEVICE); // 数据传输完成后，及时释放内存 free(inputHostBuff); } else { // 申请Device输入内存dataDev， StreamBufferSize为输入码流大小 ret = acldvppMalloc(&inBufferDev_, inBufferSize_); // 将输入图片读入内存中，该自定义函数ReadPicFile由用户实现 ReadPicFile(picName, inBufferDev_, inBufferSize_); } // 7.循环10次执行视频解码，输出10张YUV420SP NV12格式的图片 int rest_len = 10; int32_t count = 0; while (rest_len > 0) { // 7.1 创建输入视频码流描述信息，设置码流信息的属性 streamInputDesc_ = acldvppCreateStreamDesc(); // inBufferDev_表示Device存放输入视频数据的内存，inBufferSize_表示内存大小 ret = acldvppSetStreamDescData(streamInputDesc_, inBufferDev_); ret = acldvppSetStreamDescSize(streamInputDesc_, inBufferSize_); // 7.2 申请Device内存picOutBufferDev_，用于存放VDEC解码后的输出数据 ret = acldvppMalloc(&picOutBufferDev_, size); // 7.3 创建输出图片描述信息，设置图片描述信息的属性 // picOutputDesc_是acldvppPicDesc类型 picOutputDesc_ = acldvppCreatePicDesc(); ret = acldvppSetPicDescData(picOutputDesc_, picOutBufferDev_); ret = acldvppSetPicDescSize(picOutputDesc_, size); ret = acldvppSetPicDescFormat(picOutputDesc_, static_cast<acldvppPixelFormat>(format_)); // 7.4 执行视频码流解码，解码每帧数据后，系统自动调用callback回调函数将解码后的数据写入文件，再及时释放相关资源 ret = aclvdecSendFrame(vdecChannelDesc_, streamInputDesc_, picOutputDesc_, nullptr, nullptr); // ...... ++count; rest_len = rest_len - 1; // ...... } // 8.释放图片处理通道、图片描述信息 ret = aclvdecDestroyChannel(vdecChannelDesc_); aclvdecDestroyChannelDesc(vdecChannelDesc_); // 9. 释放运行管理资源（依次释放Stream、Context、Device） aclrtDestroyStream(stream_); aclrtDestroyContext(context_); aclrtResetDevice(0); // 10.AscendCL去初始化 aclRet = aclFinalize(); // ......

返回码说明

表1 返回码列表

返回码	含义	可能原因及解决方法
AICPU_DVPP_KERNEL_STATE_SUCCESS = 0	解码成功。	-
AICPU_DVPP_KERNEL_STATE_FAILED = 1	其它错误。	-
AICPU_DVPP_KERNEL_STATE_DVPP_ERROR = 2	AscendCL内部调用其它模块的接口失败。	-
AICPU_DVPP_KERNEL_STATE_PARAM_INVALID = 3	参数校验失败。	请检查接口的参数是否符合接口要求。
AICPU_DVPP_KERNEL_STATE_OUTPUT_SIZE_INVALID = 4	输出内存大小校验失败。	请检查输出内存大小是否符合接口要求。
AICPU_DVPP_KERNEL_STATE_INTERNAL_ERROR = 5	系统内部错误。	-
AICPU_DVPP_KERNEL_STATE_QUEUE_FULL = 6	系统内部队列满。	-
AICPU_DVPP_KERNEL_STATE_QUEUE_EMPTY = 7	系统内部队列空。	-
AICPU_DVPP_KERNEL_STATE_QUEUE_NOT_EXIST = 8	系统内部队列不存在。	-
AICPU_DVPP_KERNEL_STATE_GET_CONTEX_FAILED = 9	获取系统内部上下文失败。	-
AICPU_DVPP_KERNEL_STATE_SUBMIT_EVENT_FAILED = 10	提交系统内部事件失败。	-
AICPU_DVPP_KERNEL_STATE_MEMORY_FAILED = 11	系统内部申请内存失败。	请检查系统是否有可用内存。
AICPU_DVPP_KERNEL_STATE_SEND_NOTIFY_FAILED = 12	发送系统内部通知失败。	-
AICPU_DVPP_KERNEL_STATE_VPC_OPERATE_FAILED = 13	系统内部接口处理失败。	-
AICPU_DVPP_KERNEL_STATE_CHANNEL_ABNORMAL = 14	当前通道异常。	-
ERR_INVALID_STATE = 0x10001	VDEC解码器状态异常错误。	-
ERR_HARDWARE = 0x10002	硬件错误，包含解码器启动、执行、停止等异常。	-
ERR_SCD_CUT_FAIL = 0x10003	将视频码流分解成多帧图片异常。	请检查输入的视频流数据是否正确。
ERR_VDM_DECODE_FAIL = 0x10004	解码某一帧异常。	请检查输入的视频流数据是否正确。
ERR_ALLOC_MEM_FAIL = 0x10005	内部申请内存失败。	请检查系统是否有可用内存，若忽略错误，则可能导致用户持续送入码流却无任何解码结果输出。
ERR_ALLOC_DYNAMIC_MEM_FAIL = 0x10006	包括输入视频分辨率超范围、内部动态申请内存失败等异常。	请检查输入视频流的分辨率、系统是否有可用内存，若忽略错误，则可能导致用户持续送入码流却无任何解码结果输出。
ERR_ALLOC_IN_OR_OUT_PORT_MEM_FAIL = 0x10007	系统内部申请VDEC的输入、输出buffer异常。	请检查系统是否有可用内存，若忽略错误，则可能导致用户持续送入码流却无任何解码结果输出。
ERR_BITSTREAM = 0x10008	码流错误（如语法解析失败、重发eos或首帧即发送eos）。	请检查输入的视频流数据是否正确。
ERR_VIDEO_FORMAT = 0x10009	输入视频格式错误。	请检查输入视频的格式是否为h264或h265。
ERR_IMAGE_FORMAT = 0x1000a	输出格式配置错误。	请检查输出图像的格式是否为nv12或nv21。
ERR_CALLBACK = 0x1000b	回调函数为空。	请检查配置的回调函数是否为空。
ERR_INPUT_BUFFER = 0x1000c	输入内存为空。	请检输入内存是否为空。
ERR_INBUF_SIZE = 0x1000d	输入内存大小<=0。	请检查输入内存大小是否小于等于0。
ERR_THREAD_CREATE_FBD_FAIL = 0x1000e	系统内部将解码结果通过回调函数返回给用户的线程异常。	请检查系统中资源（例如：线程、内存等）是否可用。
ERR_CREATE_INSTANCE_FAIL = 0x1000f	创建解码实例失败。	-
ERR_INIT_DECODER_FAIL = 0x10010	初始化解码器失败，例如解码实例个数超出范围（最大16）。	-
ERR_GET_CHANNEL_HANDLE_FAIL = 0x10011	系统内部获取某路视频流的解码句柄失败。	-
ERR_COMPONENT_SET_FAIL = 0x10012	系统内部设置解码实例异常。	请检查解码的入参值是否正确，例如输入视频格式video_format、输出帧格式image_format等。
ERR_COMPARE_NAME_FAIL = 0x10013	系统内部设置解码实例名称异常。	请检查解码的入参值是否正确，例如输入视频格式video_format、输出帧格式image_format等。
ERR_OTHER = 0x10014	其它错误。	-
ERR_DECODE_NOPIC = 0x20000	隔行码流场景下使用，隔行码流每帧发送两场，解码时其中一块无图像输出，属于正常现象，会返回该错误码；隔行码流的解码输出数据都在奇数场对应的输出buffer中。	-
0x20001	参考帧个数设置错误。	请检查码流实际参考帧个数与用户设置的参考帧个数是否一致。
0x20002	VDEC解码帧存大小设置错误。	请检查输入码流实际宽、高与用户设置的宽、高是否一致。
0xA0058001	无效的Device ID。	请检查Device ID。
0xA0058002	无效的channel ID。	请检查传入接口的通道号是否正确，或者检查通道总数是否达到上限。
0xA0058003	参数不合法，例如不合法的枚举值。	请根据日志检查出错的参数。
0xA0058004	资源已存在。	请检查是否重复创建通道。
0xA0058005	通道资源不存在。	请检查是否使用了不存在的通道号或通道句柄。
0xA0058006	函数参数中有空指针。	请根据日志检查接口的入参。
0xA0058007	使能系统、Device或通道前未配置对应的参数。	请根据日志检查接口的入参。
0xA0058008	不支持的参数或者功能。	请根据日志检查接口的入参。
0xA0058009	该操作不允许，如试图修改静态配置参数。	-
0xA005800C	分配内存失败，如系统内存不足。	请检查系统是否有可用内存，若忽略错误，则可能导致用户持续送入码流却无任何解码结果输出。
0xA005800D	分配缓存失败，如申请的数据缓冲区太大。	-
0xA005800E	缓冲区中无数据。	系统未完成解码，缓冲区中无解码结果数据，需等待缓冲区中有数据后，再尝试获取数据。
0xA005800F	缓冲区中数据满。	用户发送输入码流数据的速度太快，导致输入缓冲区数据满，请尝试降低发送输入码流数据的速度，或者在创建通道时将缓冲区大小设置为较大值。
0xA0058010	系统没有初始化或者相关依赖的模块没有加载。	请检查是否调用系统初始化接口。
0xA0058011	地址错误。	-
0xA0058012	系统忙。	请检查VDEC解码总路数是否达到上限。
0xA0058013	缓存小于实际需要的大小。	-
0xA0058014	硬件或软件处理超时。	-
0xA0058015	内部系统错误。	-
0xA005803F	最大的返回码，该模块的错误码必须小于该值。	-

父主题： 媒体数据处理V1

VENC视频编码

VENC（Video Encoder）将YUV420SP格式的图片编码成H264/H265格式的视频码流。关于VENC功能的详细介绍及约束请参见功能及约束说明。

本节介绍VENC视频编码的接口调用流程，同时配合示例代码辅助理解该接口调用流程。

接口调用流程

开发应用时，如果涉及视频编码，则应用程序中必须包含视频编码的代码逻辑，关于视频编码的接口调用流程，请先参见AscendCL接口调用流程了解整体流程，再查看本节中的流程说明。

图1 视频编码流程

实现视频的编码，关键接口的说明如下：

调用aclvencCreateChannel接口创建视频编码处理的通道。
- 创建视频编码处理通道前，需先执行以下操作：
  1. 调用aclvencCreateChannelDesc接口创建通道描述信息。
  2. 调用aclvencSetChannelDescParam接口设置通道描述信息的属性，包括线程、回调函数、视频编码协议、输入图片格式等，其中：
    1. 回调函数需由用户提前创建，用于在视频编码后，获取编码数据，并及时释放相关资源，回调函数的原型请参见aclvencCallback。
      
      视频编码结束后，建议用户在回调函数内及时释放输入图片内存、以及相应的图片描述信息。视频编码的输出内存由系统管理，不由用户管理，因此无需用户释放。
    2. 线程需由用户提前创建，并自定义线程函数，在线程函数内调用aclrtProcessReport接口，等待指定时间后，触发1.b.i中的回调函数。
    :::note 说明推荐使用aclvencSetChannelDescParam接口设置通道描述信息的属性，通过枚举值来选择通过该接口设置某一个属性的值。
    
    但为兼容旧版本，也可以调用aclvencSetChannelDesc系列接口设置通道描述信息的属性，每个属性的设置对应一个set接口。 :::
- aclvencCreateChannel接口内部封装了如下接口，无需用户单独调用：
  1. aclrtCreateStream接口：显式创建Stream，VENC内部使用。
  2. aclrtSubscribeReport接口：指定处理Stream上回调函数的线程，回调函数和线程是由用户调用aclvencSetChannelDescParam接口时指定的。
调用aclvencSendFrame接口将YUV420SP格式的图片编码成H264/H265格式的视频码流。
- 视频编码前，需先执行以下操作：
  - 调用acldvppCreatePicDesc接口创建输入图片描述信息，并调用acldvppSetPicDesc系列接口设置输入图片的内存地址、内存大小、图片格式等属性。
  - 调用aclvencCreateFrameConfig接口创建单帧编码配置数据，并调用aclvencSetFrameConfig系列接口设置是否强制重新开始I帧间隔、是否结束帧。
- 视频编码时，aclvencSendFrame接口内部封装了aclrtLaunchCallback接口，用于在Stream的任务队列中增加一个需要执行的回调函数。用户无需单独调用aclrtLaunchCallback接口。
- 视频编码后，视频编码的结果数据通过回调函数获取。
调用aclvencDestroyChannel接口销毁视频处理的通道。
- 系统会等待已发送帧编码完成且用户的回调函数处理完成后再销毁通道。
- aclvencDestroyChannel接口内部封装了如下接口，无需用户单独调用：
  - aclrtUnSubscribeReport接口：取消线程注册（Stream上的回调函数不再由指定线程处理）。
  - aclrtDestroyStream接口：销毁Stream。
- 销毁通道后，需调用aclvencDestroyChannelDesc接口销毁通道描述信息。
- 销毁通道描述信息后，用户才可以销毁1.b.ii中创建的线程。

示例代码

您可以从样例介绍中获取完整样例代码。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 // 1.AscendCL初始化 aclRet = aclInit(nullptr); // 2.运行管理资源申请（依次申请Device、Context、Stream） aclrtContext context_; aclrtStream stream_; aclrtSetDevice(0); aclrtCreateContext(&context_, 0); aclrtCreateStream(&stream_); // 3.创建执行回调函数的线程及线程函数 static bool runFlag = true; void *ThreadFunc(void *arg) { // Notice: create context for this thread int deviceId = 0; aclrtContext context = nullptr; aclError ret = aclrtCreateContext(&context, deviceId); INFO_LOG("process callback thread start "); while (runFlag) { // Notice: timeout 1000ms (void)aclrtProcessReport(1000); } // ...... ret = aclrtDestroyContext(context); return (void*)0; } int createThreadErr = pthread_create(&threadId_, nullptr, ThreadFunc, nullptr); // 4.创建回调函数 void callback(acldvppPicDesc *input, acldvppStreamDesc *outputStreamDesc, void *userdata) { // 获取视频编码结果数据，并写入文件 void *outputDev = acldvppGetStreamDescData(outputStreamDesc); uint32_t streamDescSize = acldvppGetStreamDescSize(outputStreamDesc); if (!Utils::WriteToFile(g_outFileFp, outputDev, streamDescSize)) { ERROR_LOG("write file:%s failed.", g_outFile.c_str()); } INFO_LOG("success to callback, stream size:%u", streamDescSize); } // 5.创建视频编码处理通道时的通道描述信息，设置通道描述信息的属性，其中线程、callback回调函数需要用户提前创建 // vencChannelDesc_是aclvdecChannelDesc类型 vencChannelDesc_ = aclvencCreateChannelDesc(); auto ret = aclvencSetChannelDescThreadId(vencChannelDesc_, threadId_); ret = aclvencSetChannelDescCallback(vencChannelDesc_, callback); ret = aclvencSetChannelDescEnType(vencChannelDesc_, enType_); ret = aclvencSetChannelDescPicFormat(vencChannelDesc_, format_); ret = aclvencSetChannelDescPicWidth(vencChannelDesc_, 128); ret = aclvencSetChannelDescPicHeight(vencChannelDesc_, 128); ret = aclvencSetChannelDescKeyFrameInterval(vencChannelDesc_, 16); // 6.创建视频码流处理的通道、单帧编码配置数据 ret = aclvencCreateChannel(vencChannelDesc_); // vencFrameConfig_是aclvencFrameConfig类型 vencFrameConfig_ = aclvencCreateFrameConfig(); // 7.申请Device内存dataDev，存放视频编码的输入数据 // 7.1 读入图片数据 const char *fileName = "../dvpp_venc_128x128_nv12.yuv"; FILE *fp = fopen(fileName, "rb+"); fseek(fp, 0, SEEK_END); long fileLenLong = ftell(fp); fseek(fp, 0, SEEK_SET); auto fileLen = static_cast<uint32_t>(fileLenLong); uint32_t dataSize = fileLen; // 调用aclrtGetRunMode接口获取软件栈的运行模式，如果调用aclrtGetRunMode接口获取软件栈的运行模式为ACL_HOST，则需要通过aclrtMemcpy接口将输入图片数据传输到Device，数据传输完成后，需及时释放内存；否则直接申请并使用Device的内存 aclrtRunMode runMode; ret = aclrtGetRunMode(&runMode); if（runMode == ACL_HOST） { void *dataHost = malloc(fileLen); size_t readSize = fread(dataHost, 1, fileLen, fp) void *dataDev = nullptr; ret = acldvppMalloc(&dataDev, dataSize); ret = aclrtMemcpy(dataDev, dataSize, dataHost, fileLen, ACL_MEMCPY_HOST_TO_DEVICE); // 完成数据传输后，需及时释放内存 free(dataHost); } else { ret = acldvppMalloc(&dataDev, dataSize); } // 8.执行视频编码 size_t g_vencCnt = 16; // 8.1 创建输入图片描述信息，设置输入图片数据的内存地址和内存大小 inputPicputDesc_ = acldvppCreatePicDesc(); ret = acldvppSetPicDescData(inputPicputDesc_, dataDev); ret = acldvppSetPicDescSize(inputPicputDesc_, dataSize); // 8.2 设置单帧编码配置数据，不是结束帧 ret = aclvencSetFrameConfigEos(vencFrameConfig_, 0); ret = aclvencSetFrameConfigForceIFrame(vencFrameConfig_, 0) // 8.3 创建输出码流描述信息 acldvppStreamDesc *outputStreamDesc = nullptr; // 8.4 执行视频编码 while (g_vencCnt > 0) { ret = aclvencSendFrame(vencChannelDesc_, inputPicputDesc_, static_cast<void *>(outputStreamDesc), vencFrameConfig_, nullptr); g_vencCnt--; } // 8.5 设置单帧编码配置数据，是结束帧 ret = aclvencSetFrameConfigEos(vencFrameConfig_, 1); ret = aclvencSetFrameConfigForceIFrame(vencFrameConfig_, 0) // 8.6 执行最后一帧的视频编码 ret = aclvencSendFrame(vencChannelDesc_, nullptr, nullptr, vencFrameConfig_, nullptr); // 9.释放资源 (void)aclvencDestroyChannel(vencChannelDesc_); (void)aclvencDestroyChannelDesc(vencChannelDesc_); (void)acldvppDestroyPicDesc(inputPicputDesc_); (void)aclvencDestroyFrameConfig(vencFrameConfig_); // 释放内存和销毁线程 (void)acldvppFree(inBufferDev_); void *res = nullptr; int joinThreadErr = pthread_join(threadId_, &res); // 10. 释放运行管理资源（依次释放Stream、Context、Device） aclrtDestroyStream(stream_); aclrtDestroyContext(context_); aclrtResetDevice(0); // 11.AscendCL去初始化 aclRet = aclFinalize(); // ......

如果调用aclvencSetChannelDescParam接口设置通道描述信息的属性，调用aclvencGetChannelDescParam接口获取通道描述信息中的属性值，示例代码如下：

// 设置回调函数
void *func = (void *)callback;
aclvencSetChannelDescParam(vencChannelDesc_, ACL_VENC_CALLBACK_PTR, 8, &func);
// 获取回调函数
void *func1 = nullptr;
aclvencGetChannelDescParam(vencChannelDesc_, ACL_VENC_CALLBACK_PTR, 8, &len, &func1);

// 设置输入图片格式
acldvppPixelFormat format = PIXEL_FORMAT_YUV_SEMIPLANAR_420;
aclvencSetChannelDescParam(vencChannelDesc_, ACL_VENC_PIXEL_FORMAT_UINT32, 4, &format);
// 获取输入图片格式
acldvppPixelFormat format1 = PIXEL_FORMAT_YUV_SEMIPLANAR_420;
aclvencGetChannelDescParam(vencChannelDesc_, ACL_VENC_PIXEL_FORMAT_UINT32, 4, &len, &format1);

// 设置图片宽度
uint32_t width = 128;
aclvencSetChannelDescParam(vencChannelDesc_, ACL_VENC_PIC_WIDTH_UINT32, 4, &width);
// 获取图片高度
uint32_t width1 = 0;
aclvencGetChannelDescParam(vencChannelDesc_, ACL_VENC_PIC_WIDTH_UINT32, 4, &len, &width1);

// 设置图片高度
uint32_t height = 128;
aclvencSetChannelDescParam(vencChannelDesc_, ACL_VENC_PIC_HEIGHT_UINT32, 4, &height);
// 获取图片高度
uint32_t height1 = 0;
aclvencGetChannelDescParam(vencChannelDesc_, ACL_VENC_PIC_HEIGHT_UINT32, 4, &len, &height1);

// 设置编码输出缓存地址
ret = acldvppMalloc(&buf, bufSize);
aclvencSetChannelDescParam(vencChannelDesc_, ACL_VENC_BUF_ADDR_PTR, 8, &buf);
// 获取编码输出缓存地址
void *buf1 = nullptr;
aclvencGetChannelDescParam(vencChannelDesc_, ACL_VENC_BUF_ADDR_PTR, 8, &len, &buf1);

父主题： 媒体数据处理V1

功能支持度说明

昇腾AI处理器对媒体数据处理V2版本各功能的支持度如下表所示。

昇腾AI处理器	VPC	JPEGD	JPEGE	PNGD	VDEC	VENC	视频数据获取	VPSS视频处理	音频功能（录音/播音/音量调节）	视频数据展示	区域管理
Atlas 200/500 A2推理产品	√	√	√	√	√	√	√	√	√	√	√

父主题： 媒体数据处理V2

视频数据获取功能

当前需通过以下功能模块的配合实现视频数据获取功能：

ISP系统控制

系统控制部分用于注册3A算法、注册Sensor驱动、初始化ISP firmware、运行ISP firmware、退出ISP firmware、配置ISP属性等功能。
MIPI Rx ioctl命令字

MIPI Rx是一个支持多种差分视频输入接口的采集单元，通过combo-PHY接收MIPI/LVDS/sub-LVDS/HiSPi接口的数据，通过不同的功能模式配置，MIPI Rx可以支持多种速度和分辨率的数据传输需求，支持多种外部输入设备。
VI（Vedio Input）

VI模块捕获视频图像，可对其做裁剪、防抖、颜色优化、亮度优化、噪声去除等处理，并输出YUV或RAW格式的图像数据。

总体接口调用流程

接口调用流程说明如下：

调用hi_mpi_sys_init接口初始化媒体数据处理系统。
使用MIPI Rx ioctl命令字初始化MIPI/Sensor硬件对接信息，接口调用流程请参见初始化MIPI/SENSOR硬件对接信息。
使用VI（Vedio Input）功能接口初始化VI模块，接口调用流程请参见初始化VI视频输入模块。
使用ISP（Image Signal Processing）系统控制接口初始化并运行ISP模块，接口调用流程请参见初始化并运行ISP图像信号处理模块。
使用VI功能接口获取已处理的图像数据，接口调用流程请参见获取已处理的图像数据。
使用ISP功能接口释放ISP模块资源，接口调用流程请参见释放ISP图像信号处理模块资源。
使用VI功能接口释放VI模块资源，接口调用流程请参见释放VI视频输入模块资源。
使用MIPI Rx ioctl命令字退出MIPI/Sensor硬件，接口调用流程请参见退出MIPI/SENSOR硬件。
调用hi_mpi_sys_exit接口释放媒体数据处理系统资源。

初始化MIPI/SENSOR硬件对接信息

使用HI_MIPI_SET_HS_MODE命令字设置模式。
使用HI_MIPI_ENABLE_MIPI_CLOCK命令字打开MIPI时钟。
使用HI_MIPI_RESET_MIPI命令字复位SENSOR所对接的MIPI。
（可选）使用HI_MIPI_CONFIG_SENSOR_CLOCK命令字配置SENSOR时钟。
（可选）使用HI_MIPI_ENABLE_SENSOR_CLOCK命令字打开SENSOR时钟。
使用HI_MIPI_RESET_SENSOR命令字复位SENSOR。
使用HI_MIPI_SET_DEV_ATTR命令字配置MIPI Rx/设备属性。
使用HI_MIPI_UNRESET_MIPI命令字撤销复位MIPI。
使用HI_MIPI_UNRESET_SENSOR命令字撤销复位SENSOR。

初始化VI视频输入模块

不同数据来源、不同数据格式、不同模式，初始化VI视频输入模块的流程不同。

处理方式	接口调用流程	流程说明
从Sensor传入数据，若要获取YUV格式的数据，则通过VI通道处理，线性模式		1. 依次调用hi_mpi_vi_set_dev_attr、hi_mpi_vi_enable_dev接口，完成VI设备的属性配置并使能。 2. 调用hi_mpi_vi_set_dev_bind_pipe接口，完成设备和PIPE的绑定关系设置。 3. 依次调用hi_mpi_vi_create_pipe、hi_mpi_vi_start_pipe接口，创建并启动VI PIPE。需要合理设置hi_vi_pipe_attr.depth队列深度，队列深度越大，抗抖动性越好，建议设置为3或以上值。 4. 依次调用hi_mpi_vi_set_chn_attr、hi_mpi_vi_enable_chn接口，完成VI通道的属性配置并使能。需要合理设置hi_vi_chn_attr.depth队列深度，该队列深度除了要考虑VI内部处理预留内存外，还需结合用户自己的图像业务处理时长（从用户调用hi_mpi_vi_get_chn_frame接口取走图像资源，到用户调用hi_mpi_vi_release_chn_frame接口归还图像资源的时间间隔），合理设置队列深度大小。
从Sensor传入数据，若要获取YUV格式的数据，则通过VI通道处理，WDR模式		相对于普通线性模式，WDR模式下，Sensor模组会通过长短曝光方式同时产生两帧图像数据，VI需要创建两个PIPE资源，并将两个PIPE绑定到同一个VI设备上，分别接收和处理对应的长短曝光帧图像，然后在主PIPE对应的通道中，输出长短曝光融合后的图像数据。所以，接口调用流程存在如下差异： 1. 需要调用hi_mpi_vi_set_dev_bind_pipe，将同一个Sensor设备的图像数据，绑定到两个Pipe上去，按示例图，将DEV0设备绑定到PIPE0和PIPE1上。 2. 需要通过接口hi_mpi_vi_create_pipe、hi_mpi_vi_start_pipe创建并启动两个PIPE，按示例图，创建了PIPE0和PIPE1，其中PIPE0作为主PIPE，接收并处理短曝光帧，PIPE1作为从PIPE，接收并处理长曝光帧。（说明：WDR模式下，pipe0和pipe1为一组，pipe0为主pipe，pipe1和pipe2为一组，pipe1为主pipe。） 3. 只需启动主PIPE上的通道，从PIPE上的通道可不使能，节省资源。
若要获取RAW格式的数据，则通过VI PIPE处理		1. 调用hi_mpi_vi_set_dev_attr、hi_mpi_vi_enable_dev接口，完成VI设备的属性配置并使能。 2. 调用hi_mpi_vi_set_dev_bind_pipe接口，完成设备和Pipe的绑定关系设置。 3. 调用接口hi_mpi_vi_create_pipe创建PIPE。 1. 如果用户只需要获取RAW图，不需要图像经过VI处理和转换，则在hi_mpi_vi_create_pipe创建pipe时，可执行以下操作： 1. 将pipe_bypass_mode设置为HI_VI_PIPE_BYPASS_BE，不经过ISP BE处理。 2. 设置hi_vi_pipe_attr.depth大小为hi_vi_dump_attr.depth，除了dump所需图像队列外，不额外申请多余的图像资源。 3. 需要调用hi_mpi_vi_set_chn_attr，不需要调用hi_mpi_vi_enable_chn接口使能VI通道。 2. 如果用户除了获取RAW图，还需要继续将图像送给VI处理和转换，则 1. 在hi_mpi_vi_create_pipe创建pipe时，需要合理设置hi_vi_pipe_attr.depth的值，该值需要考虑在hi_vi_dump_attr.depth大小的基础上，额外预留部分VI PIPE内部处理所需队列深度，一般为hi_vi_dump_attr.depth + 3。 2. 需要继续调用hi_mpi_vi_set_chn_attr、hi_mpi_vi_enable_chn接口，使能VI通道，并调用接口hi_mpi_vi_get_chn_frame获取VI处理后的图像结果数据并处理，处理完成后调用hi_mpi_vi_release_chn_frame接口释放对应图像的内存资源。 4. 要调用接口hi_mpi_vi_set_pipe_frame_dump_attr设置采图所需预留的图像队列深度。 5. 调用hi_mpi_vi_start_pipe接口启动PIPE。
由用户指定RAW图数据，VI PIPE灌入并处理，获取YUV图		用户回灌图片场景，图片的数据来源不再是外部的摄像头设备，但因为当前版本还不支持虚拟pipe，只能通过物理pipe进行灌图，所以即使数据不从sensor输入，仍旧需要设置对应dev并调用hi_mpi_vi_set_dev_bind_pipe接口做dev和pipe的绑定。 1. 调用hi_mpi_vi_create_pipe接口创建PIPE。 2. 调用hi_mpi_vi_set_pipe_frame_source接口将PIPE的图像数据来源设置为VI_PIPE_FRAME_SOURCE_USER。 3. 调用hi_mpi_vi_start_pipe接口启动PIPE。 4. 调用hi_mpi_vi_set_chn_attr、hi_mpi_vi_enable_chn接口，完成VI通道的属性配置并使能。 5. 开始循环发送用户指定的图片数据。 1. 调用hi_mpi_vi_pipe_get_buffer获取空闲的图像数据，所能获取的最大可用内存数量由hi_mpi_vi_create_pipe接口下发的hi_vi_pipe_attr.depth属性决定。 2. 成功获取到可用的内存资源后，将需要灌入的图像数据写入返回的内存地址中，内存地址为hi_mpi_vi_pipe_get_buffer接口返回的frame_info.v_frame.virt_addr[0]，然后调用接口hi_mpi_vi_send_pipe_raw发送RAW图数据。 3. hi_mpi_vi_send_pipe_raw发送数据成功后，需要及时调用hi_mpi_vi_pipe_release_buffer接口，释放内存资源。 4. 图示为用户发送bayer格式图像的流程，如果用户需要发送YUV格式数据，则需要在调用hi_mpi_vi_create_pipe接口创建pipe时，指定像素格式pixel_format为YUV，并将isp_bypass设置为true，并将接口hi_mpi_vi_send_pipe_raw修改为hi_mpi_vi_send_pipe_yuv。当前版本支持发送的YUV图像格式为：HI_PIXEL_FORMAT_YVU_SEMIPLANAR_422、HI_PIXEL_FORMAT_YVU_SEMIPLANAR_420、HI_PIXEL_FORMAT_YUV_400。

初始化并运行ISP图像信号处理模块

调用hi_mpi_isp_sensor_reg_callback接口注册Sensor驱动通用算法。
（可选）调用hi_mpi_ae_sensor_reg_callback接口、hi_mpi_awb_sensor_reg_callback接口注册系统内置的Sensor驱动AE、AWB算法。

此处用户可以根据需求注册自定义的算法。
（可选）调用hi_mpi_ae_register接口、hi_mpi_awb_register接口初始化系统内置的2A算法。

此处用户可以根据需求注册自定义的算法。
调用hi_mpi_isp_mem_init接口初始化ISP内部资源。
调用hi_mpi_isp_set_pub_attr接口初始化算法模块。
调用hi_mpi_isp_init接口初始化ISP firmware。
启用单独线程，调用hi_mpi_isp_run接口运行ISP算法的调度业务主流程。

获取已处理的图像数据

获取YUV数据

VI图像处理完成后，可在对应的VI通道上获取已完成图像并进行相关处理，典型接口调用流程如下：
1. （可选）通过系统文件句柄+select/epoll等待机制，等待图像处理完成事件，可通过hi_mpi_vi_get_chn_fd接口获取指定通道的系统文件句柄，然后获取并处理完一帧图像数据后，会唤醒系统的select/epoll读等待请求。
2. 调用hi_mpi_vi_get_chn_frame接口，获取已处理完成的图像数据。此时图像数据对应内存资源会自动被用户占用，用户必须在处理完图像数据后，调用hi_mpi_vi_release_chn_frame接口释放对应图像的内存资源。
3. 如果用户通过hi_mpi_vi_get_chn_frame接口获取到图像数据后，要再发布给其他进程使用，则可通过返回的hi_video_frame.user_data[0]得到acltdtBuf句柄，再结合acl的共享buf管理接口(如acltdtCopyBufRef)以及共享队列管理接口(如acltdtEnqueue)将对象发布给其他进程使用。
获取RAW数据

VI图像处理完成后，可在对应的VI PIPE上获取已完成图像并进行相关处理，典型接口调用流程如下：
1. （可选）通过系统文件句柄+select/epoll等待机制，等待图像处理完成事件，可通过hi_mpi_vi_get_pipe_fd接口获取指定通道的系统文件句柄，当后台获取并处理完一帧图像数据后，会唤醒系统的select/epoll读等待请求。
2. 调用hi_mpi_vi_get_pipe_frame接口，获取已处理完成的图像数据。此时图像数据对应内存资源会自动被用户占用，用户必须在处理完图像数据后，调用hi_mpi_vi_release_pipe_frame接口释放对应图像的内存资源。
3. 如果用户通过hi_mpi_vi_get_pipe_frame接口获取到图像数据后，要再发布给其他进程使用，则可通过返回的hi_video_frame.user_data[0]得到acltdtBuf句柄，再结合acl的共享buf管理接口(如acltdtCopyBufRef)以及共享队列管理接口(如acltdtEnqueue)将对象发布给其他进程使用。

释放ISP图像信号处理模块资源

调用hi_mpi_isp_exit接口去初始化ISP firmware。
调用hi_mpi_ae_unregister接口、hi_mpi_awb_unregister接口去初始化2A算法。
调用hi_mpi_ae_sensor_unreg_callback接口、hi_mpi_awb_sensor_unreg_callback接口取消注册Sensor驱动AE、AWB算法。
调用hi_mpi_isp_sensor_unreg_callback接口取消注册Sensor驱动通用算法。

释放VI视频输入模块资源

调用hi_mpi_vi_disable_chn接口关闭VI通道。
依次调用hi_mpi_vi_stop_pipe、hi_mpi_vi_destroy_pipe接口停止并销毁VI PIPE。
调用hi_mpi_vi_disable_dev接口关闭VI设备。

退出MIPI/SENSOR硬件

使用HI_MIPI_RESET_SENSOR命令字复位SENSOR。
使用HI_MIPI_DISABLE_SENSOR_CLOCK命令字关闭SENSOR所连接的时钟。
使用HI_MIPI_RESET_MIPI命令字复位SENSOR所对接的MIPI。
使用HI_MIPI_DISABLE_MIPI_CLOCK关闭MIPI。

父主题： 视频数据获取和处理功能（Camera场景）

视频数据获取+VPSS视频处理功能

VPSS必须配合VI模块一起使用，接口调用流程说明如下：

图1 VPSS调用流程

接口调用流程说明如下：

初始化：
1. 调用hi_mpi_sys_init接口完成媒体系统初始化。
2. 调用hi_mpi_rgn_create创建区域。
3. VPSS模块只能作为被绑定方，被动接收视频流数据并处理，所以需要调用hi_mpi_sys_bind接口，将规划好的VI通道绑定到VPSS组上。
4. 调用hi_mpi_vpss_create_grp接口创建VPSS组，作为hi_mpi_sys_bind接口的被绑定方。
5. 按需开启VPSS上功能：
  - 如果需要做组裁剪，则调用hi_mpi_vpss_set_grp_crop接口，设置裁剪相关配置。
  - 如果需要开启3DNR，则除了在hi_mpi_vpss_create_grp接口时，打开nr开关并配置nr属性，还可通过hi_mpi_vpss_set_grp_param接口设置NR高级参数。
  - 如果需要开启鱼眼矫正，并通过hi_mpi_vi_set_chn_fisheye接口中hi_fisheye_attr属性开启了LMF(Lens Map Function)参数功能，则必须调用hi_mpi_vpss_set_grp_fisheye_cfg接口设置LMF参数。
6. 调用hi_mpi_vpss_start_grp接口启用VPSS组。
7. 调用hi_mpi_vpss_set_chn_attr接口设置通道属性，通道输出分辨率可以与输入源分辨率不一致，当不一致时，自动开启缩放，不同通道的缩放能力不一样。
8. 如果需要开启鱼眼畸变矫正，则还需要调用hi_mpi_vi_set_chn_fisheye接口，设置鱼眼矫正参数。
9. 调用hi_mpi_vpss_enable_chn接口启动VPSS通道。
10. 调用hi_mpi_rgn_attach_to_chn接口将区域叠加到VPSS通道上。
采集并处理数据：
1. 使用MIPI Rx ioctl命令字初始化MIPI/Sensor硬件对接信息，接口调用流程请参见初始化MIPI/SENSOR硬件对接信息。
2. 使用VI（Vedio Input）功能接口初始化VI模块，接口调用流程请参见初始化VI视频输入模块。
3. 使用ISP（Image Signal Processing）系统控制接口初始化并运行ISP模块，接口调用流程请参见初始化并运行ISP图像信号处理模块。
4. 根据hi_mpi_sys_bind接口设置的绑定策略，系统内部自动将VI处理后的图像自动传递给VPSS；
5. 根据VPSS设置的参数，系统内部自动执行裁剪/3dnr/鱼眼矫正/缩放处理。
6. 按需更新修改区域信息：
  - 设置区域通道显示属性：
    1. 调用hi_mpi_rgn_get_display_attr接口获取区域当前的通道显示属性。
    2. 修改通道显示属性结构体重参数，调用hi_mpi_rgn_set_display_attr接口设置区域的通道显示属性。
  - 设置区域的显示画布信息：
    1. 调用hi_mpi_rgn_get_canvas_info接口获取当前区域的显示画布信息。
    2. 调用hi_mpi_rgn_update_canvas接口更新显示画布信息。
获取处理结果数据：

此时，用户可调用hi_mpi_vpss_get_chn_fd接口获取VPSS指定通道的句柄，并通过select/epoll接口等待VPSS处理结果。VPSS处理完后，会自动唤醒select/epoll等待，此时可调用hi_mpi_vpss_get_chn_frame接口获取VPSS处理后的图像数据，做后续处理，最后调用hi_mpi_vpss_release_chn_frame释放一帧通道图像。
释放VI和VPSS初始化资源。
1. 使用ISP功能接口释放ISP模块资源，接口调用流程请参见释放ISP图像信号处理模块资源。
2. 使用VI功能接口释放VI模块资源，接口调用流程请参见释放VI视频输入模块资源。
3. 使用MIPI Rx ioctl命令字退出MIPI/Sensor硬件，接口调用流程请参见退出MIPI/SENSOR硬件。
4. 调用hi_mpi_rgn_detach_from_chn接口将指定区域从通道中删除。
5. 调用hi_mpi_vpss_disable_chn接口关闭VPSS通道。
6. 调用hi_mpi_vpss_stop_grp接口停止VPSS组。
7. 调用hi_mpi_vpss_destroy_grp接口销毁VPSS组。
8. 调用hi_mpi_sys_unbind接口取消VI和VPSS的绑定。
9. 调用hi_mpi_rgn_destroy接口销毁区域。
10. 最后调用hi_mpi_sys_exit接口完成后媒体系统的退出。

父主题： 视频数据获取和处理功能（Camera场景）

视频解码、处理和显示功能（NVR场景）

NVR视频场景说明

NVR，全称Network Video Recorder，即网络视频录像机，是网络视频系统的存储转发部分，NVR与网络摄像机协同工作，完成音频&视频的录像、存储及转发功能，同时，NVR具备本地人机交互界面、视频解码、视频显示及语音对讲功能。

本章节描述NVR视频业务处理流程，包括下面两种：

视频解码显示流程

视频解码显示流程涉及视频解码模块(VDEC)、视频处理模块(VPSS)、视频输出模块(VO)、HDMI接口模块, 以及增强的功能，例如Region区域管理功能、TDE图形绘制功能、HIFB叠加图形层管理功能。

在该流程中，通过调用hi_mpi_sys_bind接口将VDEC通道与VPSS组绑定、将VPSS组与VO设备绑定，实现数据从VDEC到VPSS、从VPSS到VO的自动传输。通过底层寄存器，实现VO自动读取HIFB的输出数据。

若TDE、HIFB与VO不在一个应用进程中，则需要确保先启动VO所在的进程，且TDE和HIFB所在的进程中也需要调用hi_mpi_sys_init接口初始化媒体数据处理系统、并在进程退出前调用hi_mpi_sys_exit接口实现媒体数据处理系统去初始化。
视频解码智能分析流程

视频解码智能分析流程涉及视频解码模块(VDEC)、视频处理模块(VPSS)、智能分析（模型推理）, 以及增强的功能，例如REGION区域管理模块。区域管理功能的接口调用流程请参见Region区域管理功能。

视频解码显示流程

视频解码显示流程涉及视频解码模块(VDEC)、视频处理模块(VPSS)、视频输出模块(VO)、HDMI接口模块, 以及增强的功能，例如Region区域管理功能、TDE图形绘制功能、HIFB叠加图形层管理功能。

图1 业务启动、运行接口调用流程

NVR视频解码显示业务启动、运行接口调用流程说明如下：

调用hi_mpi_sys_init接口完成媒体系统初始化。
创建VDEC视频****解码通道（按需创建多个通道），并通知解码器启动接收码流。
1. 调用hi_mpi_vdec_create_chn接口创建通道。
2. 调用hi_mpi_vdec_get_chn_param接口获取通道属性、按需设置通道属性后,调用hi_mpi_vdec_set_chn_param接口设置通道参数。
3. 解码前，需调用hi_mpi_vdec_start_recv_stream接口通知解码器启动接收码流。
创建并启用VPSS组（按需创建多个VPSS组）。
1. 调用hi_mpi_vpss_create_grp接口创建VPSS组
2. 调用hi_mpi_vpss_start_grp接口启用VPSS组。
3. 调用hi_mpi_vpss_set_chn_attr接口设置通道属性，在和VO模块配合工作时，通道属性需要设置为Auto模式。
4. 调用hi_mpi_vpss_enable_chn接口启动VPSS通道。
调用hi_mpi_sys_bind接口绑定视频解码通道和VPSS组，经过VDEC视频解码的输出数据直接被送入对应的VPSS组继续处理。
- 以单个显示器输出4路视频显示为例，绑定信息如下表所示：
  
  VDEC通道
  
  VPSS Group
  
  VO通道
  
  VO视频层
  
  VO设备号
  
  HDMI编号
  1
  1
  1
  视频层
  
  VHD0
  0
  HDMI0
  2
  2
  2
  3
  3
  3
  4
  4
  4
- 以两个显示器输出、每个显示器输出4路视频显示为例，绑定信息如下表所示:
  
  VDEC通道
  
  VPSS Group
  
  VO通道
  
  VO视频层
  
  VO设备号
  
  HDMI编号
  1
  1
  1
  视频层
  
  VHD0
  0
  HDMI0
  2
  2
  2
  3
  3
  3
  4
  4
  4
  5
  5
  5
  视频层
  
  VHD1
  1
  HDMI1
  6
  6
  6
  7
  7
  7
  8
  8
  8
启用VO设备和VO通道（按需创建多个VO通道）。
1. 调用hi_mpi_vo_set_pub_attr配置显示设备属性，通过hi_mpi_vo_enable使能显示设备。
2. 调用hi_mpi_vo_set_video_layer_attr配置显示视频层属性，通过hi_mpi_vo_enable_video_layer使能显示视频层。
3. 调用hi_mpi_vo_set_chn_attr配置显示通道属性，通过hi_mpi_vo_enable_chn使能显示通道。
初始化HDMI外设。
1. 调用hi_mpi_hdmi_init初始化HDMI设备，调用hi_mpi_hdmi_open打开HDMI。
2. 调用hi_mpi_hdmi_set_attr配置HDMI属性。
3. 调用hi_mpi_hdmi_start启动HDMI外设，以便显示视频。
调用hi_mpi_sys_bind接口绑定VPSS组和VO通道，经过VPSS处理后的输出数据直接被送入对应的VO通道继续处理。

绑定信息请参见4。
循环调用hi_mpi_vdec_send_stream接口，发送每一帧解码码流。

注意：
1. 在视频解码通道和VPSS组绑定后，用户调用hi_mpi_vdec_send_stream发送码流时，接口参数中的vdec_pic_info可以设置为NULL, 此时的视频解码通道和VPSS模块绑定（参见4），解码结果数据直接被送入对应的VPSS组继续处理，不支持通过hi_mpi_vdec_get_frame接口获取解码结果数据。
2. 视频解码支持两种模式，即回放模式和预览模式，可以通过hi_mpi_vdec_get_display_mode和hi_mpi_vdec_set_display_mode接口进行查询和设置，对于录像播放需要使用回放模式，此时支持播放控制。

VDEC通道	VPSS Group	VO通道	VO视频层	VO设备号	HDMI编号
1	1	1	视频层 VHD0	0	HDMI0
2	2	2
3	3	3
4	4	4

VDEC通道	VPSS Group	VO通道	VO视频层	VO设备号	HDMI编号
1	1	1	视频层 VHD0	0	HDMI0
2	2	2
3	3	3
4	4	4
5	5	5	视频层 VHD1	1	HDMI1
6	6	6
7	7	7
8	8	8

图2 资源释放接口调用流程

NVR视频解码显示业务资源释放接口调用流程说明如下：

调用hi_mpi_sys_unbind接口取消VO通道与VPSS组的绑定。
调用hi_mpi_sys_unbind接口取消VPSS组与VDEC通道的绑定。
释放HDMI外设资源。
1. 首先调用hi_mpi_hdmi_stop停止HDMI。
2. 调用hi_mpi_hdmi_close关闭HDMI。
3. 调用hi_mpi_hdmi_deinit去初始化HDMI设备。
释放VO设备、通道资源。
1. 调用hi_mpi_vo_disable_chn禁用通道。
2. 调用hi_mpi_vo_disable_video_layer禁用视频层。
3. 调用hi_mpi_vo_disable禁用显示设备。
销毁VPSS组。
1. 调用hi_mpi_vpss_disable_chn接口关闭VPSS通道。
2. 调用hi_mpi_vpss_stop_grp接口停止VPSS组。
3. 调用hi_mpi_vpss_destroy_grp接口销毁VPSS组。
销毁VDEC视频解码通道。
1. 调用hi_mpi_vdec_stop_recv_stream接口通知解码器停止接收码流。
2. 调用hi_mpi_vdec_destroy_chn接口销毁通道。
调用hi_mpi_sys_exit接口完成媒体数据处理系统去初始化。

视频解码智能分析流程

视频解码智能分析流程涉及视频解码模块(VDEC)、视频处理模块(VPSS)、智能分析（模型推理）, 以及增强的功能，例如REGION区域管理模块。区域管理功能的接口调用流程请参见Region区域管理功能。

图3 业务启动、运行接口调用流程

视频解码智能分析业务启动、运行流程：

调用hi_mpi_sys_init接口完成媒体系统初始化。
创建VDEC视频解码通道（按需创建多个通道），并通知解码器启动接收码流。
1. 调用hi_mpi_vdec_create_chn接口创建通道。
2. 调用hi_mpi_vdec_get_chn_param接口获取通道属性、按需设置通道属性后,调用hi_mpi_vdec_set_chn_param接口设置通道参数。
3. 解码前，需调用hi_mpi_vdec_start_recv_stream接口通知解码器启动接收码流。
创建并启用VPSS组（按需创建多个VPSS组）。
1. 调用hi_mpi_vpss_create_grp接口创建VPSS组
2. 调用hi_mpi_vpss_start_grp接口启用VPSS组。
3. 调用hi_mpi_vpss_set_chn_attr接口设置通道属性，通道属性需要设置为User模式。
4. 调用hi_mpi_vpss_enable_chn接口启动VPSS通道。
调用hi_mpi_sys_bind接口绑定视频解码通道和VPSS组，经过VDEC视频解码的输出数据直接被送入对应的VPSS组继续处理。

绑定信息请参见4。
循环调用hi_mpi_vdec_send_stream接口，发送每一帧解码码流。

注意：

在视频解码通道和VPSS组绑定后，用户调用hi_mpi_vdec_send_stream发送码流时，接口参数中的vdec_pic_info可以设置为NULL, 此时的视频解码通道和VPSS模块绑定（参见4），解码结果数据直接被送入对应的VPSS组继续处理，不支持通过hi_mpi_vdec_get_frame接口获取解码结果数据。
调用hi_mpi_vpss_get_chn_frame接口获取VPSS处理后的图像数据，可送入模型推理（参见基础推理应用），推理结束后，最后调用hi_mpi_vpss_release_chn_frame释放一帧通道图像。

注意：

在多通道时，用户可调用hi_mpi_vpss_get_chn_fd接口获取VPSS指定通道的句柄，并通过调用epoll接口(参考hi_mpi_sys_create_epoll相关接口)等待VPSS处理结果。VPSS处理完后，会自动唤醒epoll等待，此时可调用hi_mpi_vpss_get_chn_frame接口获取VPSS处理后的图像数据。

VPSS处理后的图像，在送入模型推理前，若图片尺寸、格式等不满足要求，需要经过DVPP的VPC功能模块、AIPP功能进一步处理，请参见媒体数据处理基础知识中关于VPC、AIPP的介绍。

图4 资源释放接口调用流程

NVR视频解码智能分析业务资源释放接口调用流程说明如下：

调用hi_mpi_sys_unbind接口取消VPSS组与VDEC通道的绑定。
销毁VPSS组。
1. 调用hi_mpi_vpss_disable_chn接口关闭VPSS通道。
2. 调用hi_mpi_vpss_stop_grp接口停止VPSS组。
3. 调用hi_mpi_vpss_destroy_grp接口销毁VPSS组。
销毁VDEC视频解码通道。
1. 调用hi_mpi_vdec_stop_recv_stream接口通知解码器停止接收码流。
2. 调用hi_mpi_vdec_destroy_chn接口销毁通道。
调用hi_mpi_sys_exit接口完成媒体数据处理系统去初始化。

Region区域管理功能

叠加在视频上的OSD (On Screen Display)和遮挡在视频上的色块统称为区域。区域管理模块，用于统一管理这些区域资源，用于在视频上显示一些特定信息（如通道号、时间戳等）、或在视频中填充色块用于遮挡。

区域管理功能（REGION）必须配合VPSS模块一起使用，且区域管理功能需关联的VPSS组、VPSS通道已创建，接口调用流程如下所示。

初始化：
1. 调用hi_mpi_rgn_create创建区域。
2. 调用hi_mpi_rgn_attach_to_chn接口将区域叠加到VPSS通道上。
按需修改区域信息：
- 设置区域通道显示属性：
  1. 调用hi_mpi_rgn_get_display_attr接口获取区域当前的通道显示属性。
  2. 修改通道显示属性结构体重参数，调用hi_mpi_rgn_set_display_attr接口设置区域的通道显示属性。
- 设置区域的显示画布信息：
  1. 调用hi_mpi_rgn_get_canvas_info接口获取当前区域的显示画布信息。
  2. 调用hi_mpi_rgn_update_canvas接口更新显示画布信息。
资源释放：
1. 调用hi_mpi_rgn_detach_from_chn接口将指定区域从VPSS通道中删除。
2. 调用hi_mpi_rgn_destroy接口销毁区域。

TDE图形绘制功能

TDE是图形二维加速引擎，它利用硬件为 OSD（On Screen Display）和 GUI（Graphics User Interface）提供快速的图形绘制功能，主要有快速拷贝、快速色彩填充、模式填充（当前仅支持Alpha Blending操作）。

图5 TDE接口调用流程

调用hi_tde_open接口打开TDE设备。
调用hi_tde_begin_job接口创建TDE任务。
调用各命令执行接口，例如hi_tde_quick_copy、hi_tde_quick_fill、hi_tde_pattern_fill。

调用命令执行接口前，需先调用HIFB提供的**int ioctl (int fd, FBIOGET_FSCREENINFO, fb_fix_screeninfo *fix)**接口获取显存用户态地址，作为目标位图的内存地址，TDE任务执行完成后，目标位图的数据会存放在该内存地址中，作为HIFB的输入数据。
若添加命令失败，则调用hi_tde_cancel_job接口取消任务；若添加命令成功，则调用hi_tde_end_job接口提交任务。
等待TDE任务完成。

目前有等待指定TDE任务执行完成（调用hi_tde_wait_for_done接口）、等待当前TDE设备上所有任务执行完成（调用hi_tde_wait_all_done接口）两种方式。

HIFB叠加图形层管理功能

HIFB用于管理叠加图形层，它不仅提供Linux Framebuffer的基本功能，还在Linux Framebuffer的基础上增加图层显示起始位置修改、层间Alpha等扩展功能。

图6 HIFB接口调用流程

通过系统调用open打开fb设备。设备文件fb0~~fb4对应图层G0~~G4。其中，G0和G1为高清图层、G2为鼠标图层、G3和G4为标清图层。

各图层对应的fb设备、VO设备、支持的颜色格式、分辨率等说明，请参见表1。
通过系统调用ioctl，传入命令码FBIOPUT_VSCREENINFO设置屏幕基本属性。
通过系统调用ioctl，传入命令码FBIOGET_FSCREENINFO获取显存用户态地址。
通过系统调用mmap映射用户态虚拟地址。
通过系统调用ioctl，传入功能相关的命令码设置功能属性。
通过系统调用munmap解除用户态虚拟地址映射。
通过系统调用close关闭fb设备。

如果HIFB与VO在同一个进程中配合使用，则需要在禁用VO设备（即调用hi_mpi_vo_disable）后关闭fb设备。

如果HIFB与VO不在同一个进程中，则需要先停VO所在的应用进程。

父主题： 媒体数据处理V2

语音对讲功能（NVR场景）

NVR音频场景说明

**本章节描述NVR音频业务（语音对讲功能）的接口调用流程。**在语音对讲功能中，包括媒体数据处理系统初始化&去初始化、接收IP Camera发送的语音并播放声音、录制声音并向IP Camera发送语音，涉及的模块包括公共模块、音频输入模块（AI）,音频编码模块（AENC）,音频输出模块（AO）、音频解码模块（ADEC）。

接收IP Camera发送的语音并播放声音

图1 接收IP Camera发送的语音****并播放声音

接口调用流程说明如下：

调用hi_mpi_adec_create_chn接口创建音频解码通道。
启用AO音频输出设备和通道：
1. 调用hi_mpi_ao_set_pub_attr接口设置AO设备属性。
2. 调用hi_mpi_ao_enable接口启动AO设备。
3. 调用hi_mpi_ao_enable_chn接口启动AO通道
4. 调用hi_mpi_ao_enable_resample接口启用AO重采样功能。
  
  由于AO的采样率固定为48kHz，G.711a、G.711u协议的采样率仅支持8kHz，因此需启用重采样功能；而48kHz在AAC协议采样率支持的范围内，因此使用AAC协议时，在AO时无需重采样。
调用hi_mpi_sys_bind接口绑定ADEC与AO。

ADEC设备ID ADEC通道号 AO设备ID AO通道号
0 0 2 0
0 1 3 0
循环调用hi_mpi_adec_send_stream接口将每一帧待解码音频数据发送给解码器进行解码。

解码后的音频数据，根据3中的绑定关系，被自动发送到对应的AO设备，用于音频播放。
音频播放完成后，在退出流程中，先调用hi_mpi_sys_unbind接口解绑ADEC与AO，再依次调用hi_mpi_ao_disable_resample接口禁用AO重采样功能、调用hi_mpi_ao_disable_chn接口禁用AO通道、调用hi_mpi_ao_disable接口禁用AO设备，最后调用hi_mpi_adec_destroy_chn接口进行销毁ADEC通道。

ADEC设备ID	ADEC通道号	AO设备ID	AO通道号
0	0	2	0
0	1	3	0

录制声音并向IP Camera发送语音

图2 录制声音并向IP Camera发送语音

接口调用流程说明如下：

启用AI音频输入设备和通道：
1. 调用hi_mpi_ai_set_pub_attr接口设置AI设备属性。
2. 调用hi_mpi_ai_enable接口启动AI设备。
3. 调用hi_mpi_ai_set_chn_attr接口设置AI通道属性。
4. 调用hi_mpi_ai_enable_chn接口启动AI通道。
5. 调用hi_mpi_ai_enable_resample接口启用AI重采样功能。
  
  由于AI的采样率固定为48kHz，G.711a、G.711u协议的采样率仅支持8kHz，因此需启用重采样功能；而48kHz在AAC协议采样率支持的范围内，因此使用AAC协议时，在AI时无需重采样。
调用hi_mpi_aenc_create_chn接口创建音频编码通道。
调用hi_mpi_sys_bind接口绑定AI与AENC。

AI设备ID AI通道号 AENC设备ID AENC通道号
2 0 0 0
循环调用hi_mpi_aenc_get_stream获取编码数据，编码数据使用完成后，及时调用hi_mpi_aenc_release_stream接口释放编码数据。

经过AI设备获取到的音频数据，根据3中的绑定关系，被自动发送到对应的AENC通道进行编码，用于向IP Camera发送语音。
发送语音完成后，在退出流程中，先调用hi_mpi_sys_unbind接口解绑AI与AENC，再调用hi_mpi_aenc_destroy_chn接口进行销毁AENC通道，最后依次调用hi_mpi_ai_disable_resample接口禁用AI重采样功能、调用hi_mpi_ai_disable_chn接口禁用AI通道、调用hi_mpi_ai_disable接口禁用AI设备。

AI设备ID	AI通道号	AENC设备ID	AENC通道号
2	0	0	0

父主题： 媒体数据处理V2

在线提单

VDEC视频解码​

接口调用流程​

示例代码​

返回码说明​

VENC视频编码​

接口调用流程​

示例代码​

功能支持度说明​

视频数据获取功能​

总体接口调用流程​

初始化MIPI/SENSOR硬件对接信息​

初始化VI视频输入模块​

初始化并运行ISP图像信号处理模块​

获取已处理的图像数据​

释放ISP图像信号处理模块资源​

释放VI视频输入模块资源​

退出MIPI/SENSOR硬件​

视频数据获取+VPSS视频处理功能​

视频解码、处理和显示功能（NVR场景）​

NVR视频场景说明​

视频解码显示流程​

视频解码智能分析流程​

Region区域管理功能​

TDE图形绘制功能​

HIFB叠加图形层管理功能​

语音对讲功能（NVR场景）​

NVR音频场景说明​

接收IP Camera发送的语音并播放声音​

录制声音并向IP Camera发送语音​

VDEC视频解码

接口调用流程

示例代码

返回码说明

VENC视频编码

接口调用流程

示例代码

功能支持度说明

视频数据获取功能

总体接口调用流程

初始化MIPI/SENSOR硬件对接信息

初始化VI视频输入模块

初始化并运行ISP图像信号处理模块

获取已处理的图像数据

释放ISP图像信号处理模块资源

释放VI视频输入模块资源

退出MIPI/SENSOR硬件

视频数据获取+VPSS视频处理功能

视频解码、处理和显示功能（NVR场景）

NVR视频场景说明

视频解码显示流程

视频解码智能分析流程

Region区域管理功能

TDE图形绘制功能

HIFB叠加图形层管理功能

语音对讲功能（NVR场景）

NVR音频场景说明

接收IP Camera发送的语音并播放声音

录制声音并向IP Camera发送语音