跳到主要内容

Linux 环境配置

Linux版本的运行时开发工具包,提供Linux主机上模型推理的运行时开发环境,但不支持编译模型。

工具包目录结构如下:

|--bin # 运行时相关可执行文件
|--include # 模型部署C++接口文件
|--python # 模型部署Python接口文件
|--lib # TCIM运行时动态库(.so)文件
`--env.sh # Linux环境变量配置脚本

4.5.1.1. 使用依赖

使用依赖如下:

  • 系统环境:

    • Ubuntu 20.04及以上版本(x86_64或AArch64)

    • Kylin V10 SP3(x86_64)、Kylin V11(x86_64 或 AArch64)

    • openEuler 22.03 LTS 和 openEuler 24.03 LTS(x86_64)

    • openEuler 25.03 LTS(AArch64)

  • Python:

    • Kylin:Python 3.12(仅用于使用Python接口安装工具包)

    • Ubuntu和openEuler:Python 3.9 及以上(仅用于使用Python接口安装工具包)

  • CMake 3.16.3

  • GCC 13

4.5.1.2. 环境准备

执行下面步骤完成环境准备:

  1. 在Linux系统主机端安装最新版本驱动。

详情参看 《软件平台驱动安装指南》

  1. 在后摩设备端,烧写和升级Flash镜像。

详情参看 《HmUpdateTool 工具使用指南》

  1. 下载运行时开发工具包:

    1. 登录后摩开发者社区

    2. 请先选择板级类别 下拉列表中选择使用的后摩板级产品。

    3. 在版本列表中选择下载的版本号,再在 AI模型类别筛选器平台架构筛选器操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统,找到资源名为Runtime SDK 的下载资源,选中该资源左边复选框。

    4. 点击 直接下载wget链接批量直接下载wget批量下载 按钮。

  2. 检查并安装 使用依赖

  3. 安装运行时开发工具包:

    • 通过Python安装,需安装Python 3.9或更高版本,并执行下面指令安装运行时开发工具:
pip3 install houmo_tcim_runtime_<target_hw>_${distro}_$arch-<release>.tar.gz
* 如直接解压方式安装:

1. 执行下面指令解压运行时开发工具:
tar -xzf houmo_tcim_runtime_<target_hw>_${distro}_$arch-<release>.tar.gz
cd houmo_tcim_runtime_<target_hw>_${distro}_$arch-<release>
2. 如果使用Python接口推理模型,配置环境:
source env.sh
cd python
chmod +x build.sh
./build.sh
  1. 设置环境变量,示例如下:
export HOUMO_SDK_PATH=/usr/local/houmo-sdk
export TCIM_BACKEND=Xh2HalBackend
export HOUMO_TARGET=xh2
export LD_LIBRARY_PATH=/path/to/houmo_tcim_runtime_xh2_linux_$arch-<release>/lib:/usr/local/houmo-sdk/hal/lib:$LD_LIBRARY_PATH
export TCIM_RUNTIME_PATH=/path/to/<release>/houmo_tcim_runtime_xh2_linux_$arch-<release>

其中:

* **HOUMO_SDK_PATH:** 后摩软件平台驱动安装路径,默认为 `/usr/local/houmo-sdk`。

* **TCIM_BACKEND:** 模型推理使用的后摩计算平台,需设置为 `Xh2HalBackend`。

* **HOUMO_TARGET:** 模型编译和推理使用的后摩设备,需设置为 `xh2`。

* **TCIM_RUNTIME_PATH:** TCIM 运行时库安装路径。

* 如果通过 Python 安装运行时开发工具,TCIM 运行时库安装路径为:

/path/to/python/site-packages/tcim_lite

* 如果直接解压方式安装运行时开发工具,TCIM 运行时库安装路径为:

/path/to/houmo_tcim_runtime_xh2_linux_$arch-<release>

* **LD_LIBRARY_PATH:** 系统软件和TCIM 动态链接库所在路径。

系统软件动态链接库所在路径默认为 /usr/local/houmo-sdk/hal/lib

  1. (可选)部署环境检测。

    1. 下载应用开发示例包到当前主机。部署环境检测工具位于应用开发示例包 houmo-examples_<release>.ziphoumo-examples-xh2/tools/hm_check 目录下。

      1. 登录后摩开发者社区

      2. 请先选择板级类别 下拉列表中选择使用的后摩板级产品。

      3. 在版本列表中选择下载的版本号,再在 AI模型类别筛选器平台架构筛选器操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统,找到资源名为示例代码 的下载资源,选中该资源左边复选框。

      4. 点击 直接下载wget链接批量直接下载wget批量下载 按钮。

    2. houmo-examples-xh2 目录下,执行下面指令配置运行环境:

source env.sh
3. 执行下面命令编译工具:
cd tools/hm_check
./build_linux.sh -b build -c Release -j 8 --install

编译完成后,生成 hm-check 可执行文件,位于 build 目录下。

4. 在 `houmo-examples-xh2/tools/hm_check/build` 目录下,运行下面指令检测环境:
hm-check

部署环境检测工具详情,参看 《部署环境检测工具用户指南》