DVPP数据处理高性能编程建议

溢出算子数据采集及分析

前提条件

使用ATC工具转换模型时，需在转换命令中增加--status_check参数，并将参数值设置为1，表示在编译算子时添加溢出检测逻辑。

关于ATC工具及其参数的详细说明，请参见《ATC工具使用指南》。

采集溢出算子信息

在调用aclInit接口初始化AscendCL时，在json配置文件中增加溢出算子Dump配置。

json配置文件中的示例内容如下，示例中的dump_path以相对路径为例：

&#123;
    "dump":&#123;
        "dump_path":"output",
        "dump_debug":"on"
    &#125;
&#125;

当dump_path配置为相对路径时，您可以在“应用可执行文件的目录/{dump_path}”下查看导出的数据文件，针对每个溢出算子，会导出两个数据文件：

溢出算子的dump文件：命名规则如{op_type}.{op_name}.{taskid}.{stream_id}.{timestamp}，如果op_type、op_name出现了“.”、“/”、“\”、空格时，会转换为下划线表示。

用户可通过该信息知道具体出现溢出错误的算子，并通过解析溢出算子的dump文件获取该算子的输入和输出信息。
算子溢出数据文件：命名规则如OpDebug.Node_Opdebug.{taskid}.{stream_id}.{timestamp}，其中taskid不是溢出算子的taskid，用户不需要关注taskid的实际含义。

用户可通过解析算子溢出数据文件获取溢出相关信息，包括溢出算子所在的模型、AICore的status寄存器状态等。

解析溢出算子的dump文件

请根据实际情况，将{op_type}.{op_name}.{taskid}.{stream_id}.{timestamp}上传到安装有Toolkit软件包的环境。
进入解析脚本所在目录，例如Toolkit软件包安装目录为：/home/HwHiAiUser/Ascend/ascend-toolkit/latest。

cd /home/HwHiAiUser/Ascend/ascend-toolkit/latest/toolkit/tools/operator_cmp/compare
执行msaccucmp.py脚本，转换dump文件为numpy文件。举例：

python3 msaccucmp.py convert -d /home/HwHiAiUser/dump -out /home/HwHiAiUser/dumptonumpy -v 2

:::note 说明 -d参数支持传入单个文件，对单个dump文件进行转换，也支持传入目录，对整个path下所有的dump文件进行转换。 :::
调用Python，转换numpy文件为txt文件。举例：

$ python3

>>> import numpy as np

>>> a = np.load("/home/HwHiAiUser/dumptonumpy/Pooling.pool1.1147.1589195081588018.output.0.npy")

>>> b = a.flatten()

>>> np.savetxt("/home/HwHiAiUser/dumptonumpy/Pooling.pool1.1147.1589195081588018.output.0.txt", b)

转换为.txt格式文件后，维度信息、Dtype均不存在。详细的使用方法请参考numpy官网介绍。

解析算子溢出数据文件

由于生成的溢出数据是二进制格式，可读性较差，需要通过工具将bin文件解析为用户可读性好的json文件。

请根据实际情况，将溢出数据文件OpDebug.Node_Opdebug.{taskid}.{timestamp}上传到安装有Toolkit软件包的环境。
进入解析脚本所在路径，例如Toolkit软件包安装目录为：/home/HwHiAiUser/Ascend/ascend-toolkit/latest。

cd /home/HwHiAiUser/Ascend/ascend-toolkit/latest/toolkit/tools/operator_cmp/compare
执行解析命令，例如：

python3 msaccucmp.py convert -d /home/HwHiAiUser**/opdebug/Opdebug.Node_OpDebug.59.1597922031178434** -out /home/HwHiAiUser/result

关键参数：
- -d：溢出数据文件所在目录，包括文件名。
- -out：解析结果待存储目录，如果不指定，默认生成在当前目录下。
解析结果文件内容如下所示。
```
&#123;
    "DHA Atomic Add": &#123;
        "model_id": 0,
        "stream_id": 0,
        "task_id": 0,
        "task_type": 0,
        "pc_start": "0x0",
        "para_base": "0x0",
        "status": 0
    &#125;,
    "L2 Atomic Add": &#123;
        "model_id": 0,
        "stream_id": 0,
        "task_id": 0,
        "task_type": 0,
        "pc_start": "0x0",
        "para_base": "0x0",
        "status": 0
    &#125;,
    "AI Core": &#123;
        "model_id": 514,
        "stream_id": 563,
        "task_id": 57,
        "task_type": 0,
        "pc_start": "0x1008005b0000",
        "para_base": "0x100800297000",
        "kernel_code": "0x1008005ae000",
        "block_idx": 1,
        "status": 32
    &#125;
&#125;
```
参数解释：
- model_id：标识溢出算子所在的模型id。
- stream_id：标识溢出算子所在的streamid。
- task_id：标识溢出算子的taskid。
- task_type：标识溢出算子的task类型。
- pc_start：标识溢出算子的代码程序的内存起始地址。
- para_base：标识溢出算子的参数的内存起始地址。
- kernel_code：标识溢出算子的代码程序的内存起始地址，和pc_start相同。
- block_idx：标识溢出算子的blockid参数。
- status：AICore的status寄存器状态，用户可以从status值分析得到具体溢出错误。status为10进制表示，需要转换成16进制，然后定位到具体错误。
  
  例如：status为272，转换成16进制为0x00000110，则可以判定出可能原因为0x00000010+0x00000100。
  - 0x00000008: 符号整数最小负数NEG符号位取反溢出
  - 0x00000010: 整数加法、减法、乘法或乘加操作计算有溢出
  - 0x00000020: 浮点计算有溢出
  - 0x00000080: 浮点数转无符号数的输入是负数
  - 0x00000100: FP32转FP16或32位符号整数转FP16中出现溢出
  - 0x00000400: CUBE累加出现溢出

父主题： 扩展更多特性

共享Buffer管理

本特性提供了跨进程共享Buffer管理能力，可配合共享队列一起使用。共享Buffer的共享范围由共享队列的授权确定，共享范围包括“一主多从”的这些进程。

接口调用流程

关键接口的调用流程如上图所示，流程说明如下：

AscendCL初始化。

调用aclInit接口实现初始化AscendCL。
运行管理资源申请。

具体流程，请参见运行管理资源申请与释放。
申请共享Buffer内存。

调用acltdtAllocBuf接口申请共享Buffer内存，此处需根据实际情况选择内存类型。
向共享Buffer中填充有效数据。

需先调用acltdtGetBufData接口获取共享Buffer的数据区指针和数据区长度，接着调用aclrtMemcpy接口把用户数据复制到共享Buffer中，最后可调用acltdtSetBufDataLen接口设置有效数据长度，以便在多进程场景下调用acltdtGetBufDataLen接口获取有效数据长度，再根据有效数据长度获取共享Buffer中的数据。
设置共享Buffer的私有数据区数据。

调用acltdtSetBufUserData接口设置共享Buffer的私有数据区数据，以便在多进程场景下调用acltdtGetBufUserData接口获取共享Buffer的私有数据区数据。
释放共享Buffer内存。

调用acltdtFreeBuf接口来释放共享Buffer。
运行管理资源释放。

接口调用流程，请参见运行管理资源申请与释放。
AscendCL去初始化。

调用aclFinalize接口实现AscendCL去初始化。

示例代码

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝编译运行，仅供参考。

 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40  cpp #include "acl/acl.h" // 1. AscendCL初始化 // 此处的..表示相对路径，相对可执行文件所在的目录 // 例如，编译出来的可执行文件存放在out目录下，此处的..就表示out目录的上一级目录 const char *aclConfigPath = "../src/acl.json"; aclError ret = aclInit(aclConfigPath); // 2. 运行管理资源申请，指定计算设备，此处以deviceId = 0为例 ret = aclrtSetDevice(0); // 3. 申请mbuf内存并进行内存管理，此处以申请DVPP内存、内存大小1024U为例 size_t size = 1024U; acltdtBuf buf; ret = acltdtAllocBuf(size, ACL_TDT_DVPP_MEM, &buf); // 4. 向共享Buffer中填充有效数据 // 4.1 获取共享Buffer的数据区指针和数据区长度 void *dataPtr = nullptr; size_t dataSize = 0U; ret = acltdtGetBufData(buf, &dataPtr, &dataSize); // 4.2 把用户数据拷贝到共享Buffer中 size_t len = 512U; // 用户数据长度 void *ptr = new (std::nothrow) char_t[len]; // 用户申请自己的内存 // 用户对自己申请的数据进行处理 //…… ret = aclrtMemcpy(dataPtr, size, ptr, len, ACL_MEMCPY_HOST_TO_DEVICE); // 5. 释放内存 delete[] ptr; ptr = nullptr; delete[] newPtr; newPtr = nullptr; ret = acltdtFreeBuf(buf); // 6. 运行管理资源释放 ret = aclrtResetDevice(0); // 7. AscendCL去初始化 ret = aclFinalize();

父主题： 扩展更多特性

应用调试

编译及运行应用

编译代码。

可参考基于Caffe ResNet-50网络实现图片分类（同步推理）中的说明，主要步骤如下：
1. 创建编译脚本。
  
  您可以从该基于Caffe ResNet-50网络实现图片分类（同步推理）样例中获取编译脚本CMakeLists.txt，在该编译脚本的基础上修改如下参数。
  - include_directories：添加头文件所在的目录。依赖的头文件请参见调用接口依赖的头文件和库文件说明。
    
    示例如下：
    include_directories( directoryPath1 directoryPath2 )
  - link_directories：添加库文件所在的目录。
    
    示例如下：
    link_directories( directoryPath3 directoryPath4 )
  - add_executable：修改可执行文件的名称（例如：main）、添加*.cpp文件所在的目录。
    
    示例如下：
    add_executable(main directoryPath5 directoryPath6)
  - target_link_libraries：修改可执行文件的名称（与add_executable中设置的名称保持一致）、添加可执行文件依赖的库文件。依赖的库文件与接口所在的头文件有关，请参见调用接口依赖的头文件和库文件说明。
    
    示例如下：
    target_link_libraries(main ascendcl libName1 libName2)
    :::note 说明编译基于AscendCL接口的代码逻辑时，请按照include的头文件依赖对应的库文件，如果引用多余的so文件（例如libascendcl.a），可能导致版本功能异常或后续版本升级时存在兼容性问题。 :::
  - 编译选项，修改可执行文件的名称（与与add_executable中设置的名称保持一致），以及可执行文件的安装目录。
    
    示例如下，表示main安装在${CMAKE_INSTALL_PREFIX}/out目录下，${CMAKE_INSTALL_PREFIX}变量定义的路径是相对路径，相对cmake命令执行的路径：
    set(CMAKE_RUNTIME_OUTPUT_DIRECTORY "../../../out") install(TARGETS main DESTINATION ${CMAKE_RUNTIME_OUTPUT_DIRECTORY})
2. 设置环境变量。
  
  如果基于基于Caffe ResNet-50网络实现图片分类（同步推理）样例中的CMakeLists.txt编译脚本进行修改时，则需要设置DDK_PATH、NPU_HOST_LIB环境变量，分别用于指向AscendCL头文件目录、库文件目录。
  
  如下为设置环境变量的示例，${INSTALL_DIR}表示CANN软件安装目录，例如，$HOME/Ascend/ascend-toolkit/latest*，**arch表示操作系统架构，{os}*表示操作系统。
```
export DDK_PATH=$&#123;INSTALL_DIR&#125;
export NPU_HOST_LIB=$&#123;INSTALL_DIR&#125;/&#123;arch-os&#125;/devlib
```
  备注
  须知
  使用“${INSTALL_DIR}/{**arch-os}/devlib”目录下的*.so库，是为了编译基于AscendCL接口的代码逻辑时，不依赖其它组件（例如Driver）的任何*.so库。因此在使用cmake编译命令时，请务必将DCMAKE_SKIP_RPATH设置为TRUE，代表不会将rpath路径（即“${INSTALL_DIR}/{arch-os}/devlib”）添加到编译生成的可执行文件中去。
  编译通过后，运行应用时，通过配置环境变量，应用会链接到运行环境上“lib64”目录下的*.so库，运行时会自动链接到依赖其它组件的*.so库。
3. 执行cmake命令编译代码。
  
  示例命令如下，其中，“../../../src”表示CMakeLists.txt文件所在的目录，请根据实际目录层级修改；通过-DCMAKE_CXX_COMPILER参数指定的编译器，请根据实际版本要求修改。
  - 当开发环境与运行环境操作系统架构相同时，执行如下命令编译：
    cmake ../../../src -DCMAKE_CXX_COMPILER=g++ -DCMAKE_SKIP_RPATH=TRUE
  - 当开发环境与运行环境操作系统架构不同时，执行以下命令进行交叉编译：
    
    例如，当开发环境为X86架构，运行环境为AArch64架构时，执行以下命令进行交叉编译。
    cmake ../../../src -DCMAKE_CXX_COMPILER=aarch64-linux-gnu-g++ -DCMAKE_SKIP_RPATH=TRUE
  :::note 说明关于cmake参数的详细介绍，请参见https://cmake.org/cmake/help/latest/guide/tutorial/index.html，选择对应的版本后再查看参数。 :::
4. 执行make命令生成可执行文件。
```
make
```
运行可执行文件。

将AscendCL初始化配置文件（acl.json）所在的目录、可执行文件所在的目录、测试图片所在的目录、*.om文件所在的目录都上传到运行环境的同一个目录下，再登录到运行环境，切换到可执行文件所在的目录，运行可执行文件，示例命令如下：
```
./main
```
如果在AscendCL初始化阶段，在aclInit接口中传入空指针，则无需将AscendCL初始化配置文件（acl.json）所在的目录上传到运行环境。

问题定位

运行应用时如果出错，您可以参见《日志参考》获取日志文件，以便查看日志文件中详细报错。根据报错初步定位后：

如果是接口约束导致接口调用逻辑不对，需查看总体的使用约束以及各接口本身的约束，再调整接口调用逻辑。
如果是算子在AI Core上运行报错，需要进一步定位算子报错的原因，调用AscendCL提供的接口，获取出错算子的描述信息，用于进一步分析时使用，可参见AI Core异常信息获取，查看原理及调用示例。