跳到主要内容

样例说明

ModelZoo提供的网络模型样例所展示的功能如下表所示:

注意

AArch64架构不支持模型量化和编译操作。用户需要使用编译后二进制模型文件(.hmm或.hmms)在AArch64架构环境中推理。

表 6.1 ModelZoo网络模型样例展示功能说明 网络名称PTQ量化模型编译模型推理 (C++)模型推理 (Python)精度评测性能评测模型转换与评估工具
ResNet50X
MobileNetV2X
EfficientNetX
YOLOv3X
YOLOPXX
YOLOv5sX
YOLOv8mX
YOLO12mX
YOLOv8m-poseX
DeepSeekXXX
Qwen3XXX
LPRNetX
YOLOv8m_segX
ViT-B-16X
YOLOv5s_featureX
Gemma-4-26B-A4BXXX
Qwen2.5-vlXXX
PP-OCRv3X
BGEXXX
GTEXXX
Whisper-MediumXX
yolov8m-clsX
yolov5m_faceX
yolov7X
yolov9mX
yolo11mX
yolov10mX
yoloxX
yolo26mX
minicpmoXXX
qwen3-vlXX
qwen3-30b-a3bXXX
gpt-ossXXXX
sensevoiceXXX
glm-asrXXX
qwen3-asrXXX
whisper-turboXX
qwen3-embeddingXXX
qwen2.5XXX
qwen3.5XXX
qwen3.6XXX
CoPaw-FlashXXX
glm-ocrXXX
cosyvoice3XX
qwen3-rerankerXXX
qwen3-omniXXX
qwen3-nextXXXX
camXXX
ct_transformerXXX
dinov3-baseX
mineru2.5XXX
paddleocr-vlXXX
z-imageXXX
qwen3-ttsXXX

ModelZoo只提供上表中的网络模型样例,其他网络模型,暂不提供样例。ResNet50、MobileNetV2、YOLOv5s、YOLOv8m和YOLOP等模型示例通过模型转换与评估工具展示PTQ量化、模型编译、模型推理、精度评测以及性能评测。

6.1.1. 部分模型示例废弃说明

自本版本起,ModelZoo 中部分模型示例已废弃并停止维护。

已废弃的模型示例不再进行功能更新、适配验证及问题修复,也不再作为后续版本的维护对象。为确保持续获得功能更新、性能优化及兼容性支持,建议用户迁移至新版本模型示例或等效替代方案。

废弃模型列表,参看应用开发示例包中的 houmo-examples-<target_hw>_<release>.zip/houmo-examples-xh2/README.md 文档。

6.2. 环境准备

执行下面步骤完成运行环境部署,所有样例默认适配最新版本软件平台:

  1. 安装和部署Docker开发环境

  2. 在Docker镜像中下载应用开发示例包。

    1. 登录后摩开发者社区

    2. 请先选择板级类别 下拉列表中选择使用的后摩板级产品。

    3. 在版本列表中选择下载的版本号,再在 AI模型类别筛选器平台架构筛选器操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统,找到资源名为示例代码 的下载资源,选中该资源左边复选框。

    4. 点击 直接下载wget链接批量直接下载wget批量下载 按钮。

ModelZoo模型库位于 houmo-examples-xh2/models 目录下。

  1. 检查 houmo-examples-xh2/env.sh 中环境变量设置:

根据实际情况修改环境变量的值,例如如果更换数据集路径,则修改 HOUMO_DATASETS_PATH 变量。

环境变量详情参看 ModelZoo环境变量列表

  1. houmo-examples-xh2 目录下,执行下面指令配置运行环境:
source env.sh
  1. 如果在AArch64 架构:不支持模型量化和编译操作,用户可以直接使用提供的已编译模型进行推理。

6.2.1. 环境变量

表 6.2 ModelZoo环境变量 环境变量名称描述默认值
HOUMO_TARGETModelZoo中模型编译和推理使用的后摩设备。xh2
HOUMO_DATASETS_PATHModelZoo数据库存放目录。houmo-examples-xh2/data/datasets
HOUMO_MODELZOO_URLModelZoo中模型下载根目录。http://139.224.0.199:8082/artifactory/houmo/ release

6.3. 模型获取

ModelZoo提供原始模型和量化模型。用户可根据需求对原始模型量化,或直接使用已量化模型做模型推理。

ModelZoo提供的各网络模型的类型及原始模型如下表所示:

表 6.3 ModelZoo网络模型的类型及原始模型 网络名称原始模型量化后模型预编译模型原始模型来源
ResNet50XResNet50 torchvision 模型
MobileNetV2XMobileNetV2 torchvision 模型
EfficientNetXEfficientNet torchvision模型
YOLOPXYOLOP 模型
YOLOv3XYOLOv3 模型
YOLOv5sXYOLOv5s 模型
YOLOv8mXYOLOv8m 模型
YOLO12mXYOLO12m 模型
YOLOv8m-poseXYOLOv8m-pose模型
DeepSeekXDeepSeek-R1-0528-Qwen3-8B模型
Qwen3-8BXQwen3-8B模型
Qwen3-14BXQwen3-14B模型
Qwen3-0.6BXQwen3-0.6B模型
Qwen3-1.7BXQwen3-1.7B模型
LPRNetX-
ViT-B-16XViT-B-16模型
YOLOv8m_segXYOLOv8m_seg模型
YOLOv5s_featureX-
Gemma-4-26B-A4BXGemma-4-26B-A4B模型 Gemma-4-26B-A4B-it-assistant模型
Gemma-4-E4BXGemma-4-E4B模型 Gemma-4-E4B-it-assistant模型
Gemma-4-E2BXGemma-4-E2B模型 Gemma-4-E2B-it-assistant模型
Gemma-4-31BXGemma-4-31B模型 Gemma-4-31B-it-assistant模型
Qwen2.5-vlXQwen2.5-vl模型
Qwen3-vl-4BXQwen3-vl-4B模型
Qwen3-vl-8BXQwen3-vl-8B模型
GTEXGTE模型
Whisper-MediumXWhisper-Medium模型
YOLOv8m-clsXYOLOv8m-cls模型
YOLOv5m_faceXYOLOv5m_face模型
PP-OCRv3XPP-OCRv-Det模型 PP-OCRv-Rec模型
BGEXBGE-M3模型 BGE-Reranker模型
YOLOv7XYOLOv7模型
YOLOv9mXYOLOv9m模型
YOLOv10mXYOLOv10m模型
YOLO11mXYOLO11m模型
YOLOXXYOLOX模型
YOLO26mXYOLO26m模型
qwen3-30b-a3bXQwen3-30B-a3B模型
minicpmoXMiniCPMO模型
gpt-oss-20bXGPT-OSS-20B模型
gpt-oss-120bXGPT-OSS-120B模型
sensevoiceXSenseVoiceSmall模型
glm-asrXGLM-ASR-Nano-2512模型
qwen3-asrXQwen3-ASR模型
whisper-turboXwhisper-turbo模型
qwen3-embeddingXQwen3-Embedding模型
qwen2.5Xqwen2.5-7B模型
qwen3.5-0.8BXqwen3.5-0.8B模型
qwen3.5-2BXqwen3.5-2B模型
qwen3.5-4BXqwen3.5-4B模型
qwen3.5-9BXqwen3.5-9B模型
Qwen3.6-27BXQwen3.6-27B模型
Qwen3.6-35B-A3BXQwen3.6-35B-A3B模型
CoPaw-FlashXCoPaw-Flash模型
glm-ocrXGLM-OCR模型
cosyvoice3Xcosyvoice3模型
qwen3-rerankerXQwen3-Reranker模型
paddleocr-vlXpaddleocr-vl模型
mineru2.5Xmineru2.5模型
dinov3-baseXdinov3-base模型
ct_transformerXct_transformer模型
camXcam模型
qwen3-nextXXqwen3-next模型
qwen3-omniXqwen3-omni模型
z-image-6BXz-image-6B模型
Qwen3-4BXQwen3-4B模型
Qwen3-tts-0.6B-baseXQwen3-tts-0.6B-base模型
Qwen3-tts-0.6B-cust omvoiceXQwen3-tts-0.6B-customvoice模型

环境准备后,在 MODELZOO_PATH/models/network_type/network_name 目录下,运行下面指令下载模型。network_type 为网络模型类型,如 diffusionllm。network_name 为网络名称,如 qwen3

python3 get_model.py --type [options] --model_name <name> \
--model_size <size> --source_type modelscope

其中参数取值如下:

  • options

    • raw:原始网络模型。

    • hmm:后摩TCIM编译后生成的二进制模型文件(.hmm或.hmms)。

  • name:(可选)仅部分模型适用,用于指定下载模型名称。 <name> 的取值可为qwen3、qwen3-vl、gemma4等,不同模型的名称不同。可参看示例目录中的 README.MD 文件,了解具体的模型名称及是否支持该功能。

  • size:(可选)仅部分模型适用,用于指定待下载模型的参数规模。 <size> 的取值可为2b、4b、9b、27b等,不同模型支持的取值不同,具体以对应示例目录中的 README.md 说明为准。

  • modelscope:(可选)从魔塔社区下载模型。当前仅支持下载后摩TCIM编译后生成的二进制模型文件。可参看示例目录中的 README.md 文件,了解示例是否支持该功能。

模型下载后默认存放在当前目录下。

6.4. 数据集准备

ModelZoo提供少量数据供简单验证,如果需要测试真实精度,需要下载完整数据集。

通过 HOUMO_DATASETS_PATH 环境变量设置数据集实际路径,默认为 MODELZOO_PATH/data/datasets

表 6.4 数据集准备 网络名称数据集名称路径
ResNet50ImageNet 2012https://image-net.org/challenges/LSVRC
MobileNetV2
EfficientNet
YOLOv8m-cls
dinov3-base
YOLOv3COCO 2017https://cocodataset.org/#download
YOLOv5s
YOLOv8m
YOLO12m
YOLOv8m-pose
YOLOv5s_feature
YOLOv8m_seg
YOLOv7
YOLOv9m
YOLOv10m
YOLO11m
YOLOX
YOLO26m
YOLOv5m_faceWIDER FACEhttp://shuoyang1213.me/WIDERFACE/
YOLOPBDD100Khttps://bdd-data.berkeley.edu/
DeepSeekwikitext-2-raw-v1https://www.modelscope.cn/datasets/modelscope/wikitext
Qwen3
Qwen2.5
Qwen3.5
Qwen3.6
gpt-oss
qwen3-embedding
qwen3-30b-a3b
paddleocr-vl
qwen3-omni
Gemma-4-26B-A4B--
Qwen2.5-vl--
Qwen3-vl--
ViT-B-16ILSVRC2012https://image-net.org/challenges/LSVRC/2012/index.php
LPRNetCCPD2019Subhttps://github.com/detectRecog/CCPD
PP-OCRvCCPD2020_PPOCR v3_evalCCPD2020_PPOCRv3_eval.tar.gz
BGE--
GTE--
Whisper-Medium--
minicpmo--
sensevoice--
glm-asr--
qwen3-asr--
whisper-turbo--
glm-ocr--
cosyvoice3--
CoPaw-Flash--
qwen3-rerankerT2Rerankinghttps://modelscope.cn/datasets/C-MTEB/T2Reranking
mineru2.5--
ct_transformer--
cam--
qwen3-next--
z-image-6B--
Qwen3-tts--