跳到主要内容

AI 计算软件栈

软件栈框架​

AI软件栈图

多层级交付​

进迭时空AI计算软件栈提供多层级交付产物，以满足AI生态上的多类用户多样化的需求

端到端模型推理​

  • OnnxRuntime

    基于ONNXRuntime的SpacemiT推理引擎，通过使用SpaceMITExecutionProvider获得极致推理性能

  • XSlim

    模型量化精简工具链，支持多种量化格式与量化调优策略

  • Llama.cpp

    轻量大模型推理引擎，完全开源并同步社区

  • vLLM

    热门的高性能大语言模型推理与服务框架，支持原生部署大模型

AI算子加速库​

  • TBD

AI编程语言​

  • Triton

    提供Python交互的高性能AI算子编程体验

示例​