软件文档模型构建与推理后摩大道® M50 TCIM用户手册运行时推理与部署运行时推理与部署 4.1. 功能特性 4.1.1. 内存管理 4.1.2. 设备管理 4.1.2.1. 指定设备 4.1.3. Stream管理 4.1.4. 数据存储 4.1.4.1. Stride 4.1.4.2. 连续存储 4.1.4.3. 非连续存储 4.1.4.4. 图像数据存储 4.1.4.4.1. 拆分后的存储格式 4.1.4.4.1.1. 示例 4.1.5. 数据获取及拷贝 4.1.5.1. 主机端到设备端拷贝 4.1.5.1.1. 高性能方法 4.1.5.2. 设备端到主机端拷贝 4.1.5.2.1. 高性能方法 4.1.5.3. 最佳实践 4.1.6. Tensor信息 4.1.7. 图像数据处理 4.1.7.1. 量化时图像预处理 4.1.7.2. 固定输入尺寸 4.1.7.2.1. 图像处理流程和限制 4.1.7.2.2. 参数说明 4.1.7.2.3. 单图单区域动态裁剪 4.1.7.2.4. 单图多区域动态裁剪 4.1.7.2.5. 多图多区域动态裁剪 4.1.8. 模型权重复用 4.1.8.1. 使用限制 4.1.9. 设备控制 4.1.9.1. DVFS配置 4.1.10. 自动复位机制 4.1.10.1. 特性说明 4.1.10.2. 自动复位流程与状态码处理 4.1.10.3. 环境变量配置 4.1.10.4. 并发推理场景 4.1.10.5. 芯片间互联部署场景 4.1.10.6. 回调函数说明 4.1.10.7. 不适用场景 4.1.10.8. 注意事项 4.1.10.9. 手动复位 4.1.11. 后端（Backend） 4.1.11.1. 设置后端 4.1.11.1.1. Weight manager和stream 4.1.11.1.2. 模型输入输出tensor 4.1.11.2. 获取后端 4.1.12. 硬件特性 4.2. 模型推理 4.2.1. 模型输入输出数据 4.2.1.1. 内存分配 4.2.1.1.1. 主机内存上存放数据 4.2.1.1.2. 后摩设备内存上存放数据 4.2.1.2. 设置模型输入数据 4.2.1.3. 获取模型推理后输出数据 4.2.1.4. 获取模型输入数据 4.2.1.5. 设置模型输出数据 4.2.1.6. 数据类型转换 4.2.2. 注意事项 4.2.4. 使用C++ API推理模型 4.2.5. 使用Python API推理模型 4.3. LLM推理 4.3.1. 推理模型步骤 4.3.2. MTP多token投机解码流程 4.3.2.1. 功能差异 4.3.2.2. 模型文件 4.3.2.3. 模型加载 4.3.2.4. 缓存绑定 4.3.2.5. MTP Prefill 4.3.2.6. MTP Decode 4.3.2.7. Verify与提交 4.3.2.8. 指标统计 4.3.2.9. 注意事项 4.4. 模型部署 4.4.1. 单模型单设备部署 4.4.3. 单模型多设备部署 4.4.4. 多模型部署 4.4.4.1. 限制说明 4.5. 运行时开发工具包 4.5.1. Linux 环境配置 4.5.1.1. 使用依赖 4.5.1.2. 环境准备 4.5.2. Windows 环境配置 4.5.2.1. 限制说明 4.5.2.2. 使用依赖 4.5.2.3. 环境准备 4.5.3. Android环境配置 4.5.3.1. 使用依赖 4.5.3.2. 环境准备 4.6. 开发样例 4.6.1. 下载开发样例包 4.6.2. 样例运行 4.6.2.1. Linux环境下示例运行 4.6.2.2. Windows环境下示例运行 4.6.2.3. Android环境下示例运行 4.6.2.3.1. 主机端安装Docker镜像 4.6.2.3.2. 配置主机端Docker镜像环境 4.6.2.3.3. 编译示例程序与模型准备 4.6.2.3.4. 推送模型文件 4.6.2.3.5. 推理模型 4.6.3. 单模型单设备样例 4.6.3.1. C++ API 4.6.3.2. Python API