# 从零构建百元级 ChatGPT：Andrej Karpathy 的 NanoChat 实战指南 > 基于 Andrej Karpathy 的 NanoChat 项目，本文提供一份从零开始构建一个小型 ChatGPT 系统的实战指南，覆盖了从数据准备、模型训练到在 100 美元预算内完成部署的全过程。 ## 元数据 - 路径: /posts/2025/10/14/hands-on-guide-to-building-a-100-dollar-chatgpt-with-nanochat/ - 发布时间: 2025-10-14T01:02:44+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 站点: https://blog.hotdry.top ## 正文 在大型语言模型（LLM）动辄需要数百万美元训练成本的时代，Andrej Karpathy 的最新开源项目 NanoChat 如同一股清流，提出了一个极具吸引力的主张：用 100 美元预算，构建一个属于你自己的、功能完备的类 ChatGPT 系统。这不仅是一个引人注目的技术挑战，更是为广大开发者和研究者提供了一个绝佳的、可上手的 LLM 全流程实践平台。 本文将作为一份详尽的实战指南，引导你走完从零开始构建、训练、部署一个小型 LLM 的全过程，让你在有限的预算内，亲手揭开 LLM 的神秘面纱。 ### NanoChat：不止于代码，更是一种学习范式 NanoChat 并非又一个复杂的 LLM 框架。恰恰相反，它是一个单一、简洁、代码最少化且极易改造的“全栈”代码库。其核心设计理念是提供一个透明的、端到端的强基线，覆盖了从数据处理、模型训练到Web界面交互的每一个环节。 该项目的“全栈”特性包括： * **数据准备**：包括分词（Tokenization）和数据集的处理。 * **模型训练**：覆盖了预训练（Pretraining）和指令微调（Finetuning）。 * **评估与推理**：内置了评估脚本，并能生成详尽的“成绩单”。 * **部署与交互**：提供了一个简单的 Web UI，让你能像使用 ChatGPT 一样与自己训练的模型对话。 这种端到端的透明度，使得 NanoChat 成为一个理想的教学工具。你可以清晰地看到每个阶段的输入、输出和具体实现，而不是被隐藏在庞大框架的抽象接口之后。 ### 百元预算“速通”：4小时训练你的第一个模型 NanoChat 最吸引人的莫过于其 `speedrun.sh` 脚本，它被设计用于在 4 小时内，花费约 100 美元的计算资源（基于 8xH100 GPU 节点），完成一个小型模型的完整训练周期。 #### 1. 环境准备 首先，你需要一个合适的计算环境。官方推荐使用提供 8xH100 GPU 节点的云服务商（如 Lambda Labs）。当然，该项目也具有良好的向下兼容性。 * **克隆仓库**：`git clone https://github.com/karpathy/NanoChat.git` * **设置虚拟环境**：项目推荐使用 `uv` 来管理依赖，确保一个干净的 Python 环境。 * **会话管理**：由于训练过程长达数小时，强烈建议在 `screen` 或 `tmux` 会话中运行，以防 SSH 连接中断。 启动一个持久化的日志会话： ```bash screen -L -Logfile speedrun.log -S speedrun ``` #### 2. 执行 `speedrun.sh` 在 `screen` 会话中，直接执行核心脚本： ```bash bash speedrun.sh ``` 这个脚本会自动处理所有事情：下载数据集、编译和运行 Rust 实现的 BPE 分词器、执行 PyTorch 训练任务（包括预训练和微调），最后完成评估。你可以在 `speedrun.log` 文件中实时监控进度。 #### 3. 部署与交互 训练完成后，你的项目目录下会生成模型权重和一份 `report.md` 评估报告。现在，是时候与你的“孩子”对话了。 确保你的 Python 虚拟环境已激活，然后启动 Web 服务： ```bash python -m scripts.chat_web ``` 该命令会启动一个本地 Web 服务器。你需要通过云主机的公网 IP 地址和指定的端口（例如 `http://:8000`）来访问这个界面。现在，你可以向它提问、让它写诗，或者测试它的“幻觉”。尽管这个百元模型的能力有限（Karpathy 形容其如同“幼儿园小朋友”），但它确确实实是你亲手创造的。 ### 理解你的模型：解读 `report.md` `speedrun.sh` 脚本运行结束后，生成的 `report.md` 文件是理解模型能力的关键。这份报告详细记录了模型在多个行业标准基准测试（如 MMLU、GSM8K、HumanEval）上的表现。通过这份报告，你可以量化地看到从预训练基座模型（BASE）到指令微调后（SFT）的性能提升，直观地感受到训练过程带来的价值。 ### 超出百元预算：如何扩展与调整 NanoChat 的魅力不止于百元实验。项目本身就为希望投入更多资源、训练更强模型的用户提供了明确的指导。 #### 1. 训练更大规模的模型 如果你希望训练一个性能媲美 GPT-2 的模型（约 300 美元预算），只需对 `speedrun.sh` 脚本做几处简单修改： * **增加数据分片**：为更大模型准备更多的训练数据，避免在小数据集上过度重复。 * **增加模型深度**：通过调整 `depth` 参数来扩大模型规模。 * **调整设备批量大小**：为防止显存溢出（OOM），在增大模型时需要相应地减小 `device_batch_size`。脚本会自动通过梯度累积来补偿，确保训练效果的一致性。 #### 2. 适应不同硬件环境 NanoChat 具有出色的灵活性，可以适应不同的硬件配置： * **单 GPU 训练**：只需去掉 `torchrun` 命令，脚本会自动切换到单 GPU 模式，并通过梯度累积模拟多 GPU 环境，但耗时会相应增加。 * **小显存 GPU**：如果你的 GPU 显存小于 80GB，关键在于不断调低 `--device_batch_size` 参数（例如从 32 降至 16、8、4、...），直到模型能顺利载入显存。这是在资源受限环境下完成训练的最直接有效的方法。 ### 结论：在亲手构建中学习 NanoChat 的真正价值，不在于挑战 SOTA（State-of-the-art）模型的性能，而在于它将 LLM 的构建过程“祛魅”，使其成为个人开发者和小型团队可以触及和实践的技术。它通过一个具体的、可复现的、经济上可行的路径，鼓励人们动手实践，从而深刻理解数据、算法和算力在模型能力形成过程中的相互作用。 正如 Karpathy 在项目中所强调的，NanoChat 追求的是一个“可读、可修改、可复刻”的强基线。无论你是希望进入 LLM 领域的新手，还是寻求深度理解模型内部机制的资深工程师，这个“百元 ChatGPT”项目都为你提供了一张不可多得的入场券。 ## 同分类近期文章 ### [NVIDIA PersonaPlex 双重条件提示工程与全双工架构解析](/posts/2026/04/09/nvidia-personaplex-dual-conditioning-architecture/) - 日期: 2026-04-09T03:04:25+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 NVIDIA PersonaPlex 的双流架构设计、文本提示与语音提示的双重条件机制，以及如何在单模型中实现实时全双工对话与角色切换。 ### [ai-hedge-fund：多代理AI对冲基金的架构设计与信号聚合机制](/posts/2026/04/09/multi-agent-ai-hedge-fund-architecture/) - 日期: 2026-04-09T01:49:57+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析GitHub Trending项目ai-hedge-fund的多代理架构，探讨19个专业角色分工、信号生成管线与风控自动化的工程实现。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation-framework/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [LiteRT-LM C++ 推理运行时：边缘设备的量化、算子融合与内存管理实践](/posts/2026/04/08/litert-lm-cpp-inference-runtime-quantization-fusion-memory/) - 日期: 2026-04-08T21:52:31+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 LiteRT-LM 在边缘设备上的 C++ 推理运行时，聚焦量化策略配置、算子融合模式与内存管理的工程化实践参数。