LLM样例

• 6.6.1. 样例介绍
  • 6.6.1.1. 特别说明
  • 6.6.2. Qwen3.5模型样例运行
    • 6.6.2.1. 模型推理验证
    • 6.6.2.2. 完整开发流程：从开源模型到设备推理
      • 6.6.2.2.1. 软硬件环境要求
      • 6.6.2.2.2. 开发流程
      • 6.6.2.2.3. 准备量化和编译开发环境
      • 6.6.2.2.4. 下载Qwen3.5-4B模型
      • 6.6.2.2.5. 量化模型
      • 6.6.2.2.6. 编译模型
  • 6.6.3. 性能评测指标
    • 6.6.3.1. 背景知识
    • 6.6.3.2. 评测指标
    • 6.6.3.3. 首Token延迟及TPS
    • 6.6.3.4. 每个输出token的延迟及TPS
    • 6.6.3.5. 端到端延迟及TPS