Jan – 完全离线的ChatGPT替代品，在本地运行大模型

随着AI技术的飞速发展，大语言模型（LLM）已经深入各行各业。但使用云端AI服务意味着你的对话数据会上传到第三方服务器，隐私问题令人担忧。今天介绍的开源项目 Jan，让你可以在自己的电脑上完全本地运行ChatGPT级别的AI助手。

项目简介

Jan 是一个开源的本地大模型运行平台，GitHub 星标超过 4.1 万。它能够在你本地电脑上下载和运行各种开源大模型（如 Llama、Gemma、Qwen 等），提供与 ChatGPT 相似的体验，但所有数据都留在本地。

Jan 还提供 OpenAI 兼容的 API 接口（默认运行在 localhost:1337），让其他应用也能方便地接入本地模型。

主要特色功能

1. 完全本地运行：无需联网，所有对话和模型数据都存储在本地，真正实现隐私保护。

2. 多模型支持：支持众多开源模型，包括 Llama 系列、Gemma、Qwen、Mistral 等，可根据硬件配置选择合适的模型。

3. 云端集成：除了本地模型，还可以配置连接 OpenAI、Claude、Mistral、Groq、MiniMax 等云端 API。

4. 自定义助手：可以根据不同场景创建专门的AI助手，比如编程助手、写作助手、翻译助手等。

5. OpenAI 兼容 API：提供与 OpenAI API 兼容的本地接口，现有应用无需修改即可切换到本地模型。

6. MCP（Model Context Protocol）集成：支持 MCP 协议，实现更强大的 Agent 能力。

7. 跨平台支持：支持 Windows、macOS、Linux 系统。

系统要求

macOS：
– 推荐 13.6+ 系统
– 8GB 内存：可运行 3B 参数模型
– 16GB 内存：可运行 7B 参数模型
– 32GB 内存：可运行 13B 参数模型

Windows：
– Windows 10 及以上
– 需要 NVIDIA/AMD/Intel Arc 显卡支持 GPU 加速

Linux：
– 多数主流发行版均可运行
– 支持 GPU 加速

安装步骤

方式一：直接下载安装包（推荐）

Windows：
下载 jan.exe 安装：
https://app.jan.ai/download/latest/win-x64

macOS：
下载 jan.dmg 安装包：
https://app.jan.ai/download/latest/mac-universal

Linux (deb)：
下载 .deb 包并安装：
https://app.jan.ai/download/latest/linux-amd64-deb

Linux (AppImage)：
下载 .AppImage 文件并赋予执行权限：
https://app.jan.ai/download/latest/linux-amd64-appimage

方式二：从应用商店安装

Microsoft Store（Windows）：可直接在商店搜索 Jan 安装
Flathub（Linux）：flatpak install flathub ai.jan.Jan

方式三：源码编译安装

需要前置工具：Node.js ≥ 20.0.0, Yarn ≥ 4.5.3, Make ≥ 3.81, Rust（用于 Tauri）

git clone https://github.com/janhq/jan
cd jan
make dev

使用方法

第一步：启动 Jan

安装完成后启动 Jan，应用界面与 ChatGPT 类似，左侧是模型选择和助手管理，右侧是对话区域。

第二步：下载模型

首次使用需要下载模型。点击左侧的”Hub”或模型选择器，浏览可用的开源模型。推荐首次使用下载默认模型（通常是 7B 参数的 Llama 或类似模型）。

下载速度取决于网络和模型大小，一般在数GB左右。

第三步：开始对话

模型下载完成后，即可开始与本地AI对话。所有对话默认保存在本地，不会发送到任何服务器。

第四步：配置云端API（如需要）

如果想使用 Claude 或 OpenAI 的云端模型，点击左下角设置，添加相应的 API Key 即可。

第五步：创建自定义助手

点击左侧”+”按钮创建新助手，可以设置助手的名称、描述和系统提示词。

第六步：使用 API

Jan 默认在 localhost:1337 提供 OpenAI 兼容 API。在任何支持 OpenAI API 的应用中，将 API Base 设置为 http://localhost:1337/v1 即可使用本地模型。

适用场景

隐私敏感场景：处理机密文件、商业秘密或个人隐私数据时，本地模型确保数据不外泄。

无网络环境：在离线或网络受限的环境中使用AI能力。

成本控制：大量使用时不消耗API配额，适合需要频繁使用AI的用户。

开发者测试：本地测试 AI 应用，无需付费调用云端 API。

离线写作/编程：作为写作或编程助手，无需担心对话内容被收集。

开源协议

Jan 采用 AGPL-3.0 协议开源。

项目地址：https://github.com/janhq/jan
官网：https://jan.ai