开发样例
软件平台提供基于Runtime API的模型推理与应用开发示例，帮助用户快速构建模型推理应用。样例提供如何推理ResNet50、Qwen等网络模型。
样例如下表所示：
| 表 4.7 开发样例列表 示例 | C++ | Python | 示例描述 |
|---|---|---|---|
| qwen3 | 是 | 是 | Qwen3-8B 推理示例，包含普通对话、Prefix Caching、功耗优化；C++ 明确支持 Linux x86_64、Windows11 x64、Android arm64-v8a。 |
| qwen3_multibatch | 否 | 是 | Qwen3-8B-16K 4 batch 多 batch 推理示例，运行 demo_multibatch.py。 |
| qwen3_pipeline | 否 | 是 | Qwen3 多芯片并行推理示例，包含 Pipeline Parallel 和 Tensor Parallel 两种 demo。 |
| qwen3_speculative | 否 | 是 | Qwen3 投机解码推理示例，使用 draft/target/verify 模型结构运行 demo.py --fast。 |
| resnet50 | 是 | 是 | ResNet50 单线程推理示例，Python 使用默认 stream，C++ 提供对应推理流程。 |
| resnet50_multistreams | 是 | 是 | ResNet50 多线程、多 stream、多设备推理示例。 |
| resnet50_pipeline | 是 | 否 | ResNet50 C++ pipeline 推理示例，并行处理 H2D、推理、D2H，提高单线程吞吐。 |
| yolov5s | 是 | 是 | YOLOv5s 目标检测推理示例，包含图像预处理、推理、后处理和结果可视化； ONNX Runtime 后处理方法在 README 中标注仅提供 Linux 运行方式。 |
下载开发样例包后，开发样例位于 houmo-examples-xh2_<release>.zip 开发样例包中，开发样例位于 houmo-examples-xh2_<release>/houmo-examples-xh2/apis 目录下。
本文使用 TCIM_PATH 变量代表TCIM样例所在路径。