LLM推理性能评测工具

• 3.1. 简介
  • 3.1.1. 性能说明
  • 3.2. 环境准备
    • 3.2.1. 环境依赖
    • 3.2.2. 运行环境
    • 3.2.3. Linux环境准备
    • 3.2.4. Windows环境准备
    • 3.2.5. Android环境准备
  • 3.3. 指令说明
    • 3.3.1. 配置说明
  • 3.4. 使用示例
    • 3.4.1. 评测单个模型的推理性能
    • 3.4.2. 评测多个模型的推理性能
  • 3.5. 性能指标说明
    • 3.5.1. 总体性能指标说明
    • 3.5.2. Prefill Total Time
    • 3.5.3. Decode Total Time
    • 3.5.4. Prefill Speed
    • 3.5.5. Decode Speed
    • 3.5.6. TTFT
    • 3.5.7. TPOT
    • 3.5.8. 端到端延迟
    • 3.5.9. 端到端TPS
    • 3.5.10. Embedding Time
  • 3.6. Embedding模型转换
  • 3.7. 常见问题解答