SillyTavern:专为大模型爱好者打造的本地对话前端(支持多LLM)

在AI大模型飞速发展的今天,各种模型API层出不穷,但如何优雅地本地运行并与这些模型进行沉浸式对话,成了不少技术爱好者头疼的问题。今天要介绍的SillyTavern,正是这样一款专为「高级用户」设计的本地大模型对话前端。


项目简介

SillyTavern是一个基于JavaScript开发的本地大模型聊天界面,它并不是一个模型服务,而是一个「壳」——用来连接各种后端模型服务(包括Ooba、Text Generation WebUI、Jan、OpenAI API、Claude API等),并提供极为丰富的角色扮演、对话管理、插件扩展功能。项目托管于 GitHub,采用 AGPL-3.0 开源协议。


核心特色功能

1. 多后端支持
SillyTavern不绑定任何特定后端,支持连接Oobabooga Text Generation WebUI、Jan、LM Studio、OpenAI API、Claude API、Azure OpenAI、Ollama等几乎所有主流推理接口。这意味着无论你喜欢用哪个开源模型,都能通过SillyTavern来对话。

2. 角色系统与形象生成
项目内置了完整的角色卡(Character Card)系统,支持导入/导出AGPPTH格式的角色定义,包括角色名称、描述、对话风格、头像等。用户可以创建自己的虚拟角色,或者从社区下载数千个预制角色。支持Stable Diffusion、NovelAI等图像生成服务,为角色生成逼真头像。

3. 插件生态
SillyTavern支持丰富的插件扩展,包括:TTS语音合成插件(支持多种语音引擎)、STT语音转文字插件、必应搜索插件(让AI实时联网)、WolframAlpha数学插件、知识检索插件等。插件安装极其简单,放入指定目录即可热加载。

4. 聊天格式与记忆管理
支持多种聊天格式(ChatML、Alpaca、Vicuna等),并内置上下文管理(Context Management)功能,可以智能截断超出token限制的历史对话。系统还内置了角色人设强化(Author Note)功能,可以在对话任意位置注入提示词来影响AI后续回复。

5. 实时交互与群聊
支持群聊(Group Chat)模式,可以让多个不同角色同时参与对话,互相交流。内置输入自动补全(Auto-complete)功能,让打字体验更加流畅。


安装步骤

环境要求:Node.js 18+ 或 Python 3.10+

方式一:直接运行(推荐)

git clone https://github.com/SillyTavern/SillyTavern.git
cd SillyTavern
start.bat    # Windows
start.sh     # Linux/macOS

浏览器会自动打开 http://localhost:8080

方式二:Docker部署

docker pull ghcr.io/sillytavern/sillytavern:latest
docker run -p 8080:8080 ghcr.io/sillytavern/sillytavern:latest

方式三:前端独立版(无后端连接功能)

npx sillytavern

使用方法

首次启动后,按以下步骤配置后端连接:

1. 点击左下角「Connection(连接)」选项卡
2. 选择后端类型(如「Oobabooga」或「OpenAI」)
3. 填写API地址和密钥(如使用本地Oobabooga,地址通常为 http://127.0.0.1:5000)
4. 点击「Connect」连接成功后会看到连接状态变为绿色

接下来创建或导入角色,开始对话:

1. 点击左侧「+」按钮新建角色,或从角色市场下载
2. 双击角色卡进入对话窗口
3. 在底部输入框输入文字,按Enter发送
4. 右上角可调整AI参数(温度、最大token、重复惩罚等)

安装插件方法:将插件文件夹放入 scripts/plugins/ 目录,重启后自动加载。


适用场景

SillyTavern适合以下用户:

• 玩开源本地大模型(如Llama、Qwen、Mistral)的爱好者
• 喜欢角色扮演创作(RP)内容的写手和玩家
• 需要离线AI对话能力、对数据隐私有要求的用户
• 想用TTS语音与AI进行语音对话的技术用户
• AI研究者和开发者,需要快速测试不同后端模型的响应表现


开源协议

SillyTavern采用 GNU Affero General Public License v3.0(AGPL-3.0)开源协议,允许自由使用、修改和分发,但基于此项目开发的网络服务必须开源。


服务支持:如有兴趣不会搭建,可以联系微信:WRYD6166,开源项目搭建10-50元。

© 版权声明
THE END
喜欢就支持一下吧
点赞6 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容