ostris/ai-toolkit：开源AI图像视频训练套件，支持FLUX.1、SDXL、Lora训练

今天推荐的是ostris/ai-toolkit，这是一个功能强大的开源AI图像和视频训练套件，支持FLUX.1、SDXL、Lora等主流模型。可以运行GUI界面也可以用CLI，界面友好功能全面，Star已突破10000+。

项目介绍

ai-toolkit是一个一站式AI训练工具，专为diffusion模型设计。它支持图像生成模型（如FLUX.1、SDXL）和视频生成模型（如Wan2.1、LTX-Video），并提供Lora训练、模型微调等功能。该工具既可以通过GUI图形界面操作，也可以通过CLI命令使用，对普通用户和专业开发者都很友好。

GitHub：https://github.com/ostris/ai-toolkit
Stars：10153+ | 语言：Python | 协议：MIT

支持的模型

图像模型：

FLUX.1-dev、FLUX.2-dev、FLUX.2-klein-base-4B/9B、Flex.1-alpha、SDXL、SD 1.5、Chroma、Lumina2、Qwen-Image、HiDream-I1、OmniGen2、Z-Image等

指令编辑模型：

FLUX.1-Kontext-dev、Qwen-Image-Edit、HiDream-E1

视频模型：

Wan2.1 T2V/I2V（1.3B和14B版本，支持480P和720P）、Wan2.2全系列、LTX-Video

核心特色

1. 支持主流diffusion模型：包括FLUX.1、SDXL、SD 1.5等业界最热门的模型。

2. Lora训练：支持训练个性化Lora，可以微调出自己风格的图像生成模型。

3. GUI和CLI双模式：提供图形界面，也支持命令行操作，适合不同技术水平的用户。

4. 支持消费级显卡：设计目标是让普通用户的消费级GPU也能运行，降低AI训练门槛。

5. 视频生成支持：支持Wan2.1、LTX-Video等视频生成模型。

6. RunPod支持：提供官方RunPod模板，方便在云端GPU上运行。

7. Modal支持：支持通过Modal在云端训练，无需本地硬件。

安装步骤

方式一：源码安装

git clone https://github.com/ostris/ai-toolkit.git
cd ai-toolkit
git submodule update --init --recursive
python -m venv venv
source venv/bin/activate
pip install torch
pip install -r requirements.txt
pip install --upgrade accelerate transformers diffusers huggingface_hub

方式二：使用RunPod（推荐无高配GPU用户）

使用官方RunPod模板：
https://console.runpod.io/deploy?template=0fqzfjy6f3

方式三：使用Modal云端训练

pip install modal
modal setup
# 参照GitHub文档配置Hugging Face令牌

使用方法

训练Lora（GUI模式）

# 运行GUI界面
python flux_train_ui.py

GUI界面会提供上传图像、标注图像、训练和发布Lora的完整流程。

训练Lora（CLI模式）

配置文件示例（config/train_lora_flux.yaml）：

trainer:
  type: lora
  model:
    name: black-forest-labs/FLUX.1-dev
    model_type: flux
    quantize: 4bit
    use_safetensors: true
  dataset:
    type: folder
    folder_path: ./datasets/my_lora_dataset
    caption_ext: .txt
    caption_extension: .txt
  training:
    batch_size: 1
    steps: 1000
    learning_rate: 1e-4
    save_steps: 500
    max_train_steps: 1000
    gradient_accumulation_steps: 2

运行训练：

python run_train.py config/train_lora_flux.yaml

生成图像

配置文件示例（config/inference_flux.yaml）：

models:
  - name: flux-dev
    model_type: flux
    path: black-forest-labs/FLUX.1-dev
    quantize: 8bit
inference:
  steps: 30
  seed: 42
  width: 1024
  height: 1024
  prompts:
    - "a beautiful landscape with mountains and a lake at sunset"

运行推理：

python run_inference.py config/inference_flux.yaml

适用场景

1. AI艺术创作：训练个性化Lora，生成具有特定风格的艺术作品。

2. 产品设计：用FLUX.1生成高质量产品概念图。

3. 游戏美术素材：批量生成游戏角色、场景、道具的美术资源。

4. AI研究：研究diffusion模型的训练和微调技术。

5. 教学内容创作：用AI生成教学配图和视频素材。

开源协议

MIT开源协议，完全免费开源。

总结

ai-toolkit是目前最全面的开源AI图像视频训练工具之一。它不仅支持主流的FLUX.1和SDXL模型，还提供了从训练到推理的完整流程。对于想要训练自己个性化AI模型的用户来说，这是一个非常值得尝试的工具。而且支持消费级显卡，即使没有高端GPU也能参与AI训练。

服务支持：如有兴趣不会搭建，可以联系微信：WRYD6166，开源项目搭建10-50元。