Skip to main content

软件组件与平台支持矩阵

表 1 软件组件与平台支持矩阵 软件组件Ubuntu 24.04 x86_64(全功能镜像)Ubuntu 24.04 x86_64(deploy镜像)Ubuntu 24.04 AArch64
驱动
Docker容器镜像
模型量化XX
模型编译XX
模型推理
SMI工具
HMDML设备管理库
模型信息获取工具(readhmm)
PCIe性能评测工具(pcie_test)
部署环境检测工具(hm_check)
模型权重共享工具(hmmstrip)
模型转换与评估工具(hmatc)受限支持1受限支持1
Profiler性能调试工具XX
芯片算力基准测试工具(computing_perf)受限支持2受限支持2
芯片DDR带宽基准测试工具(bandwidth_perf)受限支持2受限支持2
LLM推理性能评测工具(llm_perf)
模型推理性能评测工具(tcim_perf)
LLM精度评测工具(hmeval)XX
ModelZoo模型开发样例受限支持3受限支持3
模型应用示例

说明:

  • ✓:支持。

  • X:不支持。

  • 受限支持1:当前平台不支持模型量化和模型编译能力,因此模型转换与评估工具(hmatc)中与量化、编译相关的命令不可用。

  • 受限支持2:当前平台不支持模型编译,相关工具无法执行包含编译阶段的完整性能测试流程,需通过参数跳过编译阶段后使用。

  • 受限支持3:ModelZoo模型开发样例中涉及量化、编译的脚本不可用。