按业务能力筛选

模型部署与推理

把模型跑起来并跑得更快、更省显存的工具

数据截至 9/1 06:19（构建快照，正在获取最新）

业务价值让模型稳定运行，并控制算力与响应成本
更适合有私有化、国产化或高并发需求的技术团队
投入提醒通常需要服务器、运维和性能调优能力

以下项目优先展示近期仍在维护的条目。进入详情页继续核对中文解读、许可和官方来源。

  1. 1
    vllmGitHub模型部署与推理

    vllm 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    90.6kstar今天仍在更新Python
    看中文选型解读官方项目
  2. 2
    rayGitHub模型部署与推理

    ray 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    43.7kstar今天仍在更新Python
    看中文选型解读官方项目
  3. 3
    DeepSpeedGitHub模型部署与推理

    DeepSpeed 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    43.0kstar今天仍在更新Python
    看中文选型解读官方项目
  4. 4
    ColossalAIGitHub模型部署与推理

    ColossalAI 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    41.4kstar7 天前更新Python
    看中文选型解读官方项目
  5. 5
    mediapipeGitHub模型部署与推理

    mediapipe 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    36.8kstar2 天前更新C++
    看中文选型解读官方项目
  6. 6
    sglangGitHub模型部署与推理

    sglang 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    33.0kstar今天仍在更新Python
    看中文选型解读官方项目
  7. 7
    ml-engineeringGitHub模型部署与推理

    ml-engineering 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高CC-BY-SA-4.0 · 以官方许可为准
    18.8kstar今天仍在更新Python
    看中文选型解读官方项目
  8. 8
    OpenLLMGitHub模型部署与推理

    OpenLLM 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    12.5kstar7 天前更新Python
    看中文选型解读官方项目
  9. 9
    yolov3GitHub模型部署与推理

    yolov3 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高AGPL-3.0 · 注意开源义务
    10.6kstar3 天前更新Python
    看中文选型解读官方项目
  10. 10
    skypilotGitHub模型部署与推理

    skypilot 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    10.5kstar今天仍在更新Python
    看中文选型解读官方项目
  11. 11
    inferenceGitHub模型部署与推理

    inference 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    9.5kstar今天仍在更新Python
    看中文选型解读官方项目
  12. 12
    oumiGitHub模型部署与推理

    oumi 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    9.4kstar3 天前更新Python
    看中文选型解读官方项目
  13. 13
    BentoMLGitHub模型部署与推理

    BentoML 属于模型部署与推理方向，主要用于模型稳定运行，并控制算力与响应成本。

    有私有化、国产化或高并发需求的技术团队上手门槛：较高Apache-2.0 · 可评估商用
    8.8kstar3 天前更新Python
    看中文选型解读官方项目

另有 5 个项目因近期无提交或缺少数据未列入。