快速入门
3.1. 系统要求
-
操作系统：Ubuntu 24.04
-
架构：X86_64
3.2. 环境依赖
模型量化仅支持在GPU和CPU上完成，需确保torch和torchvision版本与CUDA版本匹配。环境依赖如下表所示：
注意
建议在GPU上量化和评测模型，尤其针对参数规模较大的模型（如超过 1B 级别），可显著提升量化效率与稳定性。
| 表 3.1 环境依赖 系统和软件依赖 | GPU | CPU |
|---|---|---|
| 系统环境 | Ubuntu 24.04 | Ubuntu 24.04 |
| CUDA | 12.8 | N/A |
| Python | 3.12.0 | 3.8.0 |
| torch | 2.8.0 | 2.8.0 |
| torchvision | 0.19.1 | 2.4.1 |
| torchaudio | 2.4.1 | 2.4.1 |
3.3. 安装和部署
用户可直接使用 后摩大道® 软件平台提供的 Docker 镜像。该镜像内已预先配置好HMQuantool量化工具，可直接用于模型量化。HMQuantool量化工具存放于Docker 镜像内 /opt/venv/dadao/lib/python3.12/site-packages/xhquant 目录下。有关Docker镜像详情，参看 《快速入门指南》中“安装与部署”章节。