跳到主要内容

Runtime推理环境部署

Runtime推理环境可通过运行时开发工具包（Runtime SDK）进行安装与部署。运行时开发工具包提供模型推理所需的运行库、API接口及运行环境，支持在后摩M50芯片上部署并运行推理应用。

用户可在运行时开发工具包中推理模型，但不支持量化和编译模型。

使用依赖​

使用依赖如下：

  • 系统环境：

    • Ubuntu 20.04 及以上版本（x86_64 或 AArch64）

    • Kylin V10 SP3（x86_64）、Kylin V11（x86_64 或 AArch64）

    • openEuler 22.03 LTS 和 openEuler 24.03 LTS（x86_64）

    • openEuler 25.03（AArch64）

  • Python：

    • Kylin：Python 3.12（仅用于使用Python接口安装工具包）

    • Ubuntu和openEuler：Python 3.9 及以上（仅用于使用Python接口安装工具包）

  • CMake 3.16.3

  • GCC 13

环境准备​

执行下面步骤完成环境准备：

  1. 在Linux系统主机端安装最新版本驱动。详情参看 《软件平台驱动安装指南》。

  2. 在后摩设备端，烧写和升级固件镜像。详情参看 《HmUpdateTool工具使用指南》。

  3. 下载运行时开发工具包到当前主机：

    1. 登录后摩开发者社区。

    2. 在 请先选择板级类别 下拉列表中选择使用的后摩板级产品。

    3. 在版本列表中选择下载的版本号，再在 AI模型类别筛选器 、平台架构筛选器 、操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统，找到资源名为Runtime SDK 的下载资源，选中该资源左边复选框。

    4. 点击 直接下载 、wget链接 、批量直接下载 或 wget批量下载 按钮。

  4. 检查并安装 使用依赖。

  5. 安装运行时开发工具包：

    • 通过Python安装，需安装Python 3.9或更高版本，并执行下面指令安装运行时开发工具：
pip3 install houmo_tcim_runtime_<target_hw>_${distro}_$arch-<release>.tar.gz
 * 如直接解压方式安装：

   1. 执行下面指令解压运行时开发工具：
tar -xzf houmo_tcim_runtime_<target_hw>_${distro}_$arch-<release>.tar.gz
cd houmo_tcim_runtime_<target_hw>_${distro}_$arch-<release>
   2. 如果使用Python接口推理模型，配置环境：
source env.sh
cd python
chmod +x build.sh
./build.sh
  1. 设置环境变量，示例如下：
export HOUMO_SDK_PATH=/usr/local/houmo-sdk
export TCIM_BACKEND=Xh2HalBackend
export HOUMO_TARGET=xh2
export LD_LIBRARY_PATH=/path/to/houmo_tcim_runtime_xh2_linux_$arch-<release>/lib:\
/usr/local/houmo-sdk/hal/lib:$LD_LIBRARY_PATH
export TCIM_RUNTIME_PATH=/path/to/<release>/houmo_tcim_runtime_xh2_linux_$arch-<release>

其中：

 * **HOUMO_SDK_PATH:** 后摩软件平台驱动安装路径，默认为 `/usr/local/houmo-sdk`。

 * **TCIM_BACKEND:** 模型推理使用的后摩计算平台，需设置为 `Xh2HalBackend`。

 * **HOUMO_TARGET:** 模型推理使用的后摩设备，需设置为 `xh2`。

 * **LD_LIBRARY_PATH:** 系统软件和TCIM 动态链接库所在路径。

系统软件动态链接库所在路径默认为 /usr/local/houmo-sdk/hal/lib。

 * **TCIM_RUNTIME_PATH:** TCIM 运行时库安装路径。

   * 如果通过 Python 安装运行时开发工具，TCIM 运行时库安装路径为：

/path/to/python/site-packages/tcim_lite

   * 如果直接解压方式安装运行时开发工具，TCIM 运行时库安装路径为：

/path/to/houmo_tcim_runtime_xh2_linux_$arch-<release>

  1. （可选）部署环境检测。

    1. 下载应用开发示例包到当前主机。部署环境检测工具位于应用开发示例包 houmo-examples-<target_hw>_<release>.zip 中 houmo-examples-xh2/tools/hm_check 目录下。

      1. 登录后摩开发者社区。

      2. 在 请先选择板级类别 下拉列表中选择使用的后摩板级产品。

      3. 在版本列表中选择下载的版本号，再在 AI模型类别筛选器 、平台架构筛选器 、操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统，找到资源名为示例代码 的下载资源，选中该资源左边复选框。

      4. 点击 直接下载 、wget链接 、批量直接下载 或 wget批量下载 按钮。

    2. 在 houmo-examples-xh2 目录下，执行下面指令配置运行环境：

source env.sh
 3. 执行下面命令编译工具：
cd tools/hm_check
./build_linux.sh -b build -c Release -j 8 --install

编译完成后，生成 hm-check 可执行文件，位于 build 目录下。

 4. 在 `houmo-examples-xh2/tools/hm_check/build` 目录下，运行下面指令检测环境：
hm-check

部署环境检测工具详情，参看 《部署环境检测工具用户指南》。