LLaMA Factory: 一个平台微调100+大模型，零代码上手，ACL 2024发表

大模型微调一直是AI从业者最核心的工作之一，但传统的微调流程复杂繁琐——需要写大量代码、处理各种硬件配置、管理训练参数，让很多非专业玩家望而却步。LLaMA Factory的出现彻底改变了这一局面：它将100多种大模型的微调工作浓缩到一个可视化界面中，用户只需要准备数据、点点鼠标，几分钟就能完成一次专业级的模型微调。

LLaMA Factory是由国内开发者开源的大模型微调平台，已被Amazon、NVIDIA、阿里云等大厂采用，在GitHub上斩获近70000颗星，项目论文更被AI顶会ACL 2024收录。简单说，这是目前最强大、最易用的大模型微调开源工具。

核心特色功能

1. 支持100+大模型
覆盖LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen3、Qwen3-VL、DeepSeek、Gemma、GLM、Phi等主流模型，一个平台搞定所有。

2. 多种训练方法内置
支持预训练、监督微调、奖励建模、PPO、DPO、KTO、ORPO等多种训练方法，满足从基础训练到强化学习的各种需求。

3. 量化训练支持
支持16位全量微调、冻结微调，以及2/3/4/5/6/8位QLoRA量化，通过AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ等量化方式，大幅降低训练显存需求。

4. 先进优化算法
内置GaLore、BAdam、APOLLO、Adam-mini、Muon、DoRA、LongLoRA、LoRA+、LoftQ、PiSSA等前沿优化算法，提升训练效率。

5. 实用训练技巧
集成FlashAttention-2、Unsloth、Liger Kernel、KTransformers、RoPE缩放、NEFTune等实用技巧，加速训练过程。

6. 广泛任务支持
支持多轮对话、工具调用、图像理解、视觉定位、视频识别、语音理解等多样化任务。

7. 零代码Web界面
提供Gradio构建的可视化Web界面，不需要写任何代码，通过拖拽即可完成模型微调全过程。

安装部署步骤

方式一：pip安装（推荐）

pip install llamafactory

方式二：Docker部署

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
docker-compose up -d

方式三：在线体验
HuggingFace Spaces：https://huggingface.co/spaces/hiyouga/LLaMA-Board
ModelScope：https://modelscope.cn/studios/hiyouga/LLaMA-Board

硬件要求：推荐NVIDIA GPU，显存至少8GB。LLaMA Factory对硬件的利用效率很高，消费级显卡也能跑起来。

使用方法

第一步：准备数据
在data目录下创建数据集文件夹，按照指定格式（ alpaca或sharegpt格式）准备训练数据。

第二步：Web界面微调

llamafactory-cli webui

浏览器打开 http://localhost:7860 ，在可视化界面中选择模型、训练方法、数据集，设置超参数，点击开始即可。

第三步：命令行微调

llamafactory-cli train examples/train_full/qwen2_full.yaml

第四步：导出和部署
训练完成后，通过内置工具导出为可部署格式，支持OpenAI风格的API调用。

llamafactory-cli api examples/inference/qwen2_lora.yaml

适用场景

• 垂直领域模型定制：用行业数据微调通用模型，打造法律、医疗、金融等专业AI助手
• 多模态模型训练：微调LLaVA等视觉语言模型，处理图像理解和视觉问答任务
• 强化学习研究：使用PPO/DPO等方法进行大模型的强化学习训练
• 低成本模型优化：通过量化训练在消费级GPU上微调大模型
• 学术研究：LLaMA Factory已被多篇学术论文引用，适合AI研究实验

开源协议

采用Apache-2.0开源协议，完全免费使用。

GitHub：https://github.com/hiyouga/LLaMA-Factory
官网：https://llamafactory.com.cn
论文：ACL 2024收录

服务支持：如有兴趣不会搭建，可以联系微信：WRYD6166，开源项目搭建10-50元。