按业务能力筛选

模型部署与推理

把模型跑起来并跑得更快、更省显存的工具

数据截至 8/1 18:48（构建快照，正在获取最新）

业务价值让模型稳定运行，并控制算力与响应成本
更适合有私有化、国产化或高并发需求的技术团队
投入提醒通常需要服务器、运维和性能调优能力

以下项目优先展示近期仍在维护的条目。进入详情页继续核对中文解读、许可和官方来源。

  1. 1
    vllmGitHub模型部署与推理

    vllm 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    87.8kstar今天仍在更新Python
    看中文选型解读官方项目
  2. 2
    rayGitHub模型部署与推理

    ray 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    43.4kstar今天仍在更新Python
    看中文选型解读官方项目
  3. 3
    DeepSpeedGitHub模型部署与推理

    DeepSpeed 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    42.8kstar今天仍在更新Python
    看中文选型解读官方项目
  4. 4
    ColossalAIGitHub模型部署与推理

    ColossalAI 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    41.4kstar近 30 天仍在维护Python
    看中文选型解读官方项目
  5. 5
    mediapipeGitHub模型部署与推理

    mediapipe 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    36.4kstar1 天前更新C++
    看中文选型解读官方项目
  6. 6
    sglangGitHub模型部署与推理

    sglang 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    31.0kstar今天仍在更新Python
    看中文选型解读官方项目
  7. 7
    llm-actionGitHub模型部署与推理

    本项目旨在分享大模型相关技术原理以及实战经验（大模型工程化、大模型应用落地）

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    24.8kstar近 30 天仍在维护HTML
    看中文选型解读官方项目
  8. 8
    ncnnGitHub模型部署与推理

    ncnn 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高许可待核对
    23.6kstar1 天前更新C++
    看中文选型解读官方项目
  9. 9
    ml-engineeringGitHub模型部署与推理

    ml-engineering 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高CC-BY-SA-4.0 · 以官方许可为准
    18.5kstar今天仍在更新Python
    看中文选型解读官方项目
  10. 10
    ts-patternGitHub模型部署与推理

    ts-pattern 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高MIT · 可评估商用
    15.1kstar4 天前更新TypeScript
    看中文选型解读官方项目
  11. 11
    TensorRTGitHub模型部署与推理

    TensorRT 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    13.2kstar近 30 天仍在维护C++
    看中文选型解读官方项目
  12. 12
    OpenLLMGitHub模型部署与推理

    OpenLLM 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    12.4kstar4 天前更新Python
    看中文选型解读官方项目
  13. 13
    amazon-sagemaker-examplesGitHub模型部署与推理

    amazon-sagemaker-examples 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    11.0kstar1 天前更新Jupyter Notebook
    看中文选型解读官方项目
  14. 14
    LMCacheGitHub模型部署与推理

    LMCache 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    11.0kstar今天仍在更新Python
    看中文选型解读官方项目
  15. 15
    serverGitHub模型部署与推理

    server 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高BSD-3-Clause · 以官方许可为准
    10.9kstar今天仍在更新Python
    看中文选型解读官方项目
  16. 16
    yolov3GitHub模型部署与推理

    yolov3 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高AGPL-3.0 · 注意开源义务
    10.6kstar今天仍在更新Python
    看中文选型解读官方项目
  17. 17
    skypilotGitHub模型部署与推理

    skypilot 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    10.4kstar今天仍在更新Python
    看中文选型解读官方项目
  18. 18
    inferenceGitHub模型部署与推理

    inference 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    9.5kstar今天仍在更新Python
    看中文选型解读官方项目
  19. 19
    oumiGitHub模型部署与推理

    oumi 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    9.4kstar今天仍在更新Python
    看中文选型解读官方项目
  20. 20
    BentoMLGitHub模型部署与推理

    BentoML 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    8.7kstar近 30 天仍在维护Python
    看中文选型解读官方项目
  21. 21
    planoGitHub模型部署与推理

    plano 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    6.9kstar1 天前更新Rust
    看中文选型解读官方项目
  22. 22
    MooncakeGitHub模型部署与推理

    Mooncake 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    6.1kstar今天仍在更新C++
    看中文选型解读官方项目
  23. 23
    whichllmGitHub模型部署与推理

    whichllm 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高MIT · 可评估商用
    6.1kstar3 天前更新Python
    看中文选型解读官方项目
  24. 24
    kserveGitHub模型部署与推理

    kserve 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    5.8kstar今天仍在更新Go
    看中文选型解读官方项目
  25. 25
    gpustackGitHub模型部署与推理

    gpustack 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    5.4kstar今天仍在更新Python
    看中文选型解读官方项目
  26. 26
    CTranslate2GitHub模型部署与推理

    CTranslate2 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高MIT · 可评估商用
    4.6kstar近 30 天仍在维护C++
    看中文选型解读官方项目
  27. 27
    open_model_zooGitHub模型部署与推理

    open_model_zoo 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    4.4kstar近 30 天仍在维护Python
    看中文选型解读官方项目
  28. 28
    csghubGitHub模型部署与推理

    csghub 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    4.2kstar2 天前更新Vue
    看中文选型解读官方项目
  29. 29
    ortGitHub模型部署与推理

    ort 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    2.4kstar4 天前更新Rust
    看中文选型解读官方项目

另有 10 个项目因近期无提交或缺少数据未列入。