本地运行 AI 模型的终极工具：Ollama 完整入门指南

项目介绍

Ollama 是一款让你在本地电脑上轻松运行各种开源 AI 模型的工具，目前 GitHub 星标数已超过 16 万。它最大的特点就是极简主义——一条命令就能运行 Llama、Qwen、Gemma、Mistral、DeepSeek 等数十种开源大语言模型，无需配置复杂的 GPU 环境，也不需要云服务 API。

Ollama 支持 macOS、Windows 和 Linux 系统，同时提供 Docker 镜像和 REST API，可以在本地快速搭建 AI 开发环境。它的设计理念是让 AI 模型的运行变得像安装和运行一个普通应用一样简单。

核心特色

• 一键运行模型：告别繁琐的环境配置，一行命令即可启动 AI 模型
• 模型库丰富：支持 Llama 3、Qwen、Mistral、Gemma、Phi、DeepSeek 等数十种主流开源模型
• 跨平台支持：macOS、Windows、Linux、Docker，任选其一即可
• REST API：提供标准 REST 接口，方便其他应用程序调用本地模型
• 多语言 SDK：官方提供 Python、JavaScript、Go 等多种语言的 SDK
• 集成开发工具：支持与 Claude Code、Codex、OpenCode 等 AI 编程工具直接集成
• 自定义模型：支持导入 GGUF 格式的模型文件，打造个性化 AI 助手

安装步骤

macOS 安装

# 方式一：官方安装脚本（推荐）
curl -fsSL https://ollama.com/install.sh | sh

# 方式二：Homebrew
brew install ollama

# 方式三：手动下载
# 访问 https://ollama.com/download 下载 DMG 安装包

Windows 安装

# PowerShell 安装
irm https://ollama.com/install.ps1 | iex

# 或下载安装包
# https://ollama.com/download/OllamaSetup.exe

Linux 安装

curl -fsSL https://ollama.com/install.sh | sh

Docker 安装（跨平台）

docker pull ollama/ollama
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

基础使用

运行第一个模型

# 直接运行（会自动下载模型）
ollama run llama3

# 运行其他模型
ollama run qwen2.5
ollama run mistral
ollama run gemma3
ollama run deepseek-r1

查看已安装模型

ollama list

删除不需要的模型

ollama rm llama3

创建自定义模型

# 导入 GGUF 模型文件
ollama create my-model -f /path/to/model/Modelfile

# 或者直接使用 Modelfile
ollama create my-assistant -f ./Modelfile

REST API 使用

Ollama 启动后默认监听 11434 端口，提供完整的 REST API：

对话接口

curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    { "role": "user", "content": "用 Python 写一个快速排序" }
  ]
}'

生成接口

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "解释什么是 REST API",
  "stream": false
}'

嵌入向量接口

curl http://localhost:11434/api/embeddings -d '{
  "model": "llama3",
  "prompt": "待编码的文本"
}'

集成 Claude Code

Ollama 可以与 Claude Code 集成，打造本地 AI 编程助手：

# 安装 Claude Code
npm install -g @anthropic-ai/claude-code

# 启动 Ollama 并连接到 Claude Code
ollama launch claude

适用场景

• 本地 AI 开发测试：不需要云服务 API，在本地免费无限制地测试各种 AI 模型
• 隐私敏感场景：数据不出本地，适合处理包含隐私信息的代码审查、文档处理
• AI 工具链搭建：通过 REST API 为其他应用提供 AI 能力（知识库问答、代码生成等）
• 模型研究与评测：对比不同开源模型的输出质量，无需复杂部署
• 离线环境使用：完全本地运行，断网也能用

系统要求

• 内存：7B 参数模型建议 8GB+ RAM，13B+ 参数模型建议 16GB+ RAM
• 显卡（可选但推荐）：有 NVIDIA GPU 可大幅提升推理速度，Ollama 会自动调用 CUDA
• 存储：根据模型大小预留空间，7B 模型约 4GB，13B 模型约 8GB

开源协议

Ollama 本身采用 MIT 许可证开源。需要注意的是，不同模型有不同的开源协议，例如 Llama 3 采用 Meta 的自定义许可，Gemma 采用 Google 的许可条款，使用前请查阅各模型的授权协议。

服务支持：如有兴趣不会搭建，可以联系微信：WRYD6166，开源项目搭建10-50元。