【AI科研利器】AutoResearch：Andrej Karpathy 的自主 LLM 训练 Agent

今天要介绍的是一个极具前沿性的开源项目——karpathy/autoresearch，由知名 AI 大牛、OpenAI 联合创始人 Andrej Karpathy 创建，目前已获得超过 7 万 Star。这个项目的核心理念是：给 AI Agent 一个真实的小型 LLM 训练环境，让它能够自主进行 AI 研究实验！

项目介绍

AutoResearch 的想法非常有趣：给一个 AI Agent 配置一个小型的、真实的 LLM 训练环境，让它可以通宵达旦地进行自主实验。AI 会修改代码、训练 5 分钟、检查结果是否有提升，然后决定保留还是丢弃修改，周而复始。

Karpathy 描述这个项目是：”前沿 AI 研究过去是由人类在会议期间、吃饭时、睡觉时和偶尔的小组会议中进行的，那个时代已经一去不复返了。研究现在完全是 AI Agent 集群在计算结构中的领域。”

训练代码是 nanochat 的简化单 GPU 实现，核心思想是你不直接接触 Python 文件，而是通过编辑 Markdown 格式的 program.md 文件来指导 AI Agent 的行为和策略。

工作原理

仓库实际上只保留了三个核心文件：

• prepare.py：固定的配置和一次性数据准备工作（下载训练数据、训练 BPE tokenizer）和运行时工具。不会被 Agent 修改。
• train.py：Agent 编辑的唯一文件，包含完整的 GPT 模型、Muon + AdamW 优化器和训练循环。所有内容都可以被 Agent 修改：架构、超参数、优化器、batch size 等。
• program.md：Agent 的基准指令文件。指向 Agent 并让它开始工作，这个文件由人类不断编辑和迭代。

训练采用固定 5 分钟的时间预算（从 wall clock 计算，不包括启动/编译时间）。评估指标是 val_bpb（验证每字节比特数）——越低越好，这样架构变更可以被公平比较。

安装步骤

# 克隆仓库
git clone https://github.com/karpathy/autoresearch
cd autoresearch

# 准备数据（下载训练数据、训练 tokenizer）
python prepare.py

# 开始自主研究
python train.py

项目需要一块 NVIDIA GPU（已在 H100 上测试）。

适用场景

• LLM 研究人员：探索新的模型架构和训练策略
• AI 爱好者：深入理解 AI Agent 的自主决策过程
• 深度学习学习者：学习 nanochat 的简化实现
• 自动化实验：需要长时间跑实验但不想手动干预

服务支持：如有兴趣不会搭建，可以联系微信：WRYD6166，开源项目搭建10-50元。