大模型底座 · 中文选型解读

ollama

已解读GitHubMITGo

Ollama是一款开源大模型运行管理工具,可在多环境快速部署、运行主流开源大模型,支持对接各类AI应用与开发工具。

179.8kstar2 天前更新维护状态MIT · 可评估商用商用提醒
在 GitHub 查看官方项目
适合解决作为问答、生成和智能体应用的基础模型
更适合正在比较模型能力、成本与部署方式的团队
投入判断上手门槛:较高。需要评测真实业务数据与许可边界
一分钟看懂

这个项目值得继续研究吗?

AI 依据上游资料解读 · 2026/8/27

Ollama是一款开源大模型运行管理工具,可在多环境快速部署、运行主流开源大模型,支持对接各类AI应用与开发工具。

解决什么问题
企业想要自建可控的大模型服务时,往往面临开源模型部署流程复杂、适配成本高、对接现有业务工具难度大的问题,还要承担较高的选型试错成本。
适合什么团队
适合需要内部部署开源大模型的企业IT团队、AI应用开发团队,以及想要低成本搭建本地AI能力的业务创新团队。
使用前注意
项目采用MIT开源许可,可自由商用;大模型运行对GPU显存要求随所选模型参数提升而升高,目前社区开放问题较多,可优先参考已有解决方案。

本页用于缩短初步筛选时间,不构成技术、采购或法律结论。 正式使用前请在真实业务数据上验证,并以官方说明与许可证为准。

项目导读

从官方资料看清能力、部署与采用边界

AI 翻译整理 · 保留官方来源

以下内容依据项目公开 README 或模型卡翻译整理,代码、命令和产品名保持原样。

Ollama 项目导读

项目定位

Ollama的核心定位是降低开源大模型的落地门槛,帮助非专业算法团队也能快速用上开源大模型,无需处理复杂的底层环境配置、模型适配工作。目前它支持Kimi-K2.6、GLM-5.2、MiniMax、DeepSeek、gpt-oss、Qwen、Gemma等多款市场主流开源大模型,业务侧可根据自身需求灵活选择。

核心能力

  1. 多模型适配:官方提供开箱即用的模型库,覆盖不同参数、不同场景的开源大模型,无需额外做模型适配改造即可直接运行。
  2. 多形态接入:提供命令行工具、REST API,以及Python、JavaScript等多语言SDK,方便对接企业现有业务系统与工具。
  3. 丰富生态对接:支持对接各类主流AI相关产品,包括聊天界面、代码编辑器、AI应用开发框架等,无需额外开发即可替换原有工具的大模型供应商。

典型使用方式

1. 直接运行大模型对话

安装完成后,只需执行简单命令即可运行指定大模型并开启对话,例如执行ollama run gemma4即可直接和Gemma 4模型交互,无需其他配置。

2. 对接现有办公/开发工具

可直接将Ollama作为底层大模型底座,对接Claude Code、Codex、Copilot CLI等常用开发工具,也可通过OpenClaw对接企业使用的Slack、企业微信、钉钉等办公沟通工具,搭建企业内部专属AI助手。

3. 作为AI应用开发底座

可对接Dify.AI、LangChain等AI应用开发框架,搭建业务专属的AI应用,例如RAG(检索增强生成,一种让大模型结合企业私有数据回答问题的技术)知识库、智能客服、代码助手等,大幅降低AI应用的开发门槛。

部署要求

Ollama支持多环境部署,适配macOS、Windows、Linux操作系统,也可通过Docker镜像部署,同时支持Google Cloud、Fly.io等云平台部署,也可通过Homebrew、Helm Chart等常用包管理器快速安装。

大模型运行的硬件要求随所选模型的参数大小不同存在差异,小参数模型可在普通办公电脑上运行,大参数模型需要配置对应显存的GPU,企业可根据自身业务需求选择对应模型与硬件配置。

项目维护状态

项目于2023年6月创建,目前仍处于活跃维护状态,未被归档,最近一次代码更新为2026年8月,官方文档完善,社区生态丰富,遇到问题可优先查阅官方文档或社区已有解决方案。

许可证与采用建议

项目采用MIT开源许可,企业可自由使用、修改、分发,无商业使用限制。

对于首次尝试内部部署开源大模型的企业,建议先选择小参数模型在普通设备上测试效果,确认匹配业务需求后再扩容硬件部署到服务器;如果是开发AI应用,可直接对接Ollama的标准API,无需额外投入资源做底层模型适配,降低项目整体成本。

可核对的事实层

官方资料与来源

查看来源 →
  • deepseek
  • gemma
  • gemma3
  • glm
  • go
  • golang
  • gpt-oss
  • llama
  • llama3
  • llm
  • llms
  • minimax
默认分支main
关注仓库1.0k
复刻次数17.6k
开放议题3.8k
近期更新2026/8/26
仓库状态未标记归档
上游部署线索
### Infrastructure & Deployment

#### Cloud

- [Google Cloud](https://cloud.google.com/run/docs/tutorials/gpu-gemma2-with-ollama)
- [Fly.io](https://fly.io/docs/python/do-more/add-ollama/)
- [Koyeb](https://www.koyeb.com/deploy/ollama)
- [Harbor](https://github.com/av/harbor) - Containerized LLM toolkit with Ollama as default backend

#### Package Managers

- [Pacman](https://archlinux.org/packages/extra/x86_64/ollama/)
- [Homebrew](https://formulae.brew.sh/formula/ollama)
- [Nix package](https://search.nixos.org/packages?show=ollama&from=0&size=50&sort=relevance&type=packages&query=ollama)
- [Helm Chart](https://artifacthub.io/packages/helm/ollama-helm/ollama)
- [Gentoo](https://github.com/gentoo/guru/tree/master/app-misc/ollama)
- [Flox](https://flox.dev/blog/ollama-part-one)
- [Guix channel](https://codeberg.org/tusharhero/ollama-guix)

该片段来自项目 README,仅用于初步判断;实际部署请以官方文档为准。

核对上游原始说明节选

Get up and running with Kimi-K2.6, GLM-5.2, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.

Ollama

Start building with open models.

Download

macOS

curl -fsSL https://ollama.com/install.sh | sh

or download manually

Windows

irm https://ollama.com/install.ps1 | iex

or download manually

Linux

curl -fsSL https://ollama.com/install.sh | sh

Manual install instructions

Docker

The official Ollama Docker image ollama/ollama is available on Docker Hub.

Libraries

  • ollama-python
  • ollama-js

Community

  • Discord
  • 𝕏 (Twitter)
  • Reddit

Get started

ollama

You'll be prompted to run a model or connect Ollama to your existing agents or applications such as Claude Code, OpenClaw, OpenCode , Codex, Copilot, and more.

Coding

To launch a specific integration:

ollama launch claude

Supported integrations include Claude Code, Codex, Copilot CLI, DeepSeek Harness, Droid, and OpenCode.

AI assistant

Use OpenClaw to turn Ollama into a personal AI assistant across WhatsApp, Telegram, Slack, Discord, and more:

ollama launch openclaw

Chat with a model

Run and chat with Gemma 4:

ollama run gemma4

See ollama.com/library for the full list.

See the quickstart guide for more details.

REST API

Ollama has a REST API for running and managing models.

curl http://localhost:11434/api/chat -d '{
  "model": "gemma4",
  "messages": [{
    "role": "user",
    "content": "Why is the sky blue?"
  }],
  "stream": false
}'

See the API documentation for all endpoints.

Python

pip install ollama
from ollama import chat

response = chat(model='gemma4', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])
print(response.message.content)

JavaScript

npm i ollama
import ollama from "ollama";

const response = await ollama.chat({
  model: "gemma4",
  messages: [{ role: "user", content: "Why is the sky blue?" }],
});
console.log(response.message.content);

Supported backends

  • llama.cpp project founded by Georgi Gerganov.

Documentation

  • CLI reference
  • REST API reference
  • Importing models
  • Modelfile reference
  • Building from source

Community Integrations

Want to add your project? Open a pull request.

Chat Interfaces

Web

  • Open WebUI - Extensible, self-hosted AI interface
  • Onyx - Connected AI workspace
  • LibreChat - Enhanced ChatGPT clone with multi-provider support
  • Lobe Chat - Modern chat framework with plugin ecosystem (docs)
  • NextChat - Cross-platform ChatGPT UI (docs)
  • Perplexica - AI-powered search engine, open-source Perplexity alternative
  • big-AGI - AI suite for professionals
  • Lollms WebUI - Multi-model web interface
  • ChatOllama - Chatbot with knowledge bases
  • Bionic GPT - On-premise AI platform
  • Chatbot UI - ChatGPT-style web interface
  • Hollama - Minimal web interface
  • Chatbox - Desktop and web AI client
  • chat - Chat web app for teams
  • Ollama RAG Chatbot - Chat with multiple PDFs using RAG
  • Tkinter-based client - Python desktop client

Desktop

  • Dify.AI - LLM app development platform
  • AnythingLLM - All-in-one AI app for Mac, Windows, and Linux
  • Maid - Cross-platform mobile and desktop client
  • Witsy - AI desktop app for Mac, Windows, and Linux
  • Cherry Studio - Multi-provider desktop client
  • Ollama App - Multi-platform client for desktop and mobile
  • PyGPT - AI desktop assistant for Linux, Windows, and Mac
  • Alpaca - GTK4 client for Linux and macOS
  • SwiftChat - Cross-platform including iOS, Android, and Apple Vision Pro
  • Enchanted - Native macOS and iOS client
  • RWKV-Runner - Multi-model desktop runner
  • Ollama Grid Search - Evaluate and compare models
  • macai - macOS client for Ollama and ChatGPT
  • AI Studio - Multi-provider desktop IDE
  • Reins - Parameter tuning and reasoning model support
  • ConfiChat - Privacy-focused with optional encryption

Mobile

  • Ollama Android Chat - One-click Ollama on Android
SwiftChat, Enchanted, Maid, Ollama App, Reins, and ConfiChat listed above also support mobile platforms.

Code Editors & Development

  • Cline - VS Code extension for multi-file/whole-repo coding
  • Continue - Open-source AI code assistant for any IDE
  • Void - Open source AI code editor, Cursor alternative
  • Copilot for Obsidian - AI assistant for Obsidian
  • twinny - Copilot and Copilot chat alternative
  • gptel Emacs client - LLM client for Emacs
  • Ollama Copilot - Use Ollama as GitHub Copilot
  • Obsidian Local GPT - Local AI for Obsidian
  • Ellama Emacs client - LLM tool for Emacs
  • orbiton - Config-free text editor with Ollama tab completion
  • AI ST Completion - Sublime Text 4 AI assistant
  • VT Code - Rust-based terminal coding agent with Tree-sitter
  • QodeAssist - AI coding assistant for Qt Creator
  • AI Toolkit for VS Code - Microsoft-official VS Code extension
  • Open Interpreter - Natural language interface for computers

Libraries & SDKs

  • LiteLLM - Unified API for 100+ LLM providers
  • Semantic Kernel - Microsoft AI orchestration SDK
  • LangChain4j - Java LangChain (example)
  • LangChainGo - Go LangChain (example)
  • Spring AI - Spring framework AI support (docs)
  • LangChain and LangChain.js with example
  • Ollama for Ruby - Ruby LLM library
  • any-llm - Unified LLM interface by Mozilla
  • OllamaSharp for .NET - .NET SDK
  • LangChainRust - Rust LangChain (example)
  • Agents-Flex for Java - Java agent framework (example)
  • Elixir LangChain - Elixir LangChain
  • [Ollama-rs for Rust