# 从零实现自举编译器：compiler-writing-journey 完整实践指南 > 深入解析 GitHub 开源项目 compiler-writing-journey，完整呈现从词法扫描、语法解析到多平台代码生成的自举编译器实现路径。 ## 元数据 - 路径: /posts/2026/03/25/compiler-writing-journey-complete-guide/ - 发布时间: 2026-03-25T15:50:06+08:00 - 分类: [compilers](/categories/compilers/) - 站点: https://blog.hotdry.top ## 正文 在编译器开发领域，有一个开源项目正在帮助无数开发者理解编译器的核心原理。**A Compiler Writing Journey**（简称 acwj）是由 Warren Toomey（GitHub ID DoctorWkt）创建的教学型编译器项目，目前已在 GitHub 上获得超过 13000 颗星标和 1200 次分叉。这个项目以其循序渐进的教学方式著称，从零开始带领开发者完成一个能够自举的 C 语言子集编译器。 ## 项目设计理念与学习路径 这个编译器项目的核心设计理念是「实践优先」。与传统的编译原理教材不同，作者并不打算堆砌大量的理论概念，而是让学习者在一步步的实现过程中自然领会编译器各阶段的工作原理。项目选择了 C 语言的一个合理子集作为目标语言，既保留了 C 语言的核心理念，又将复杂度控制在可管理的范围内。 整个项目被组织为 64 个渐进的部分，每个部分都建立在前一个部分的基础之上。学习者可以从最简单的表达式解析开始，逐步添加变量、函数、结构体、指针等特性，最终实现一个能够编译自身的编译器。这种增量式的开发方式让每一个里程碑都变得可触及，极大地降低了学习曲线。 ## 词法分析阶段：Scanner 的实现艺术 词法分析是编译过程的第一个重要阶段。在 compiler-writing-journey 项目中，词法扫描器负责将输入的源代码字符流转换为记号（Token）序列。作者在这个阶段的设计非常务实：使用简单的状态机来识别关键字、标识符、数字和运算符。 扫描器的实现需要处理几个关键问题：空白字符的跳过、多字符运算符的识别、字符串字面量的提取以及注释的过滤。在项目中，作者采用了单字符前瞻的技术来解决双字符运算符（如 `==`、`!=`、`<=`）的识别问题。记号的数据结构设计也值得注意，通常包含记号类型、具体值以及行号信息用于错误报告。 值得注意的是，词法分析器的实现虽然是编译器的「入口」，但其复杂度相对可控。一个经验法则是，优秀的词法分析器应该能够处理所有合法的输入模式，同时对非法输入给出清晰的错误提示。在实际工程中，很多编译器的性能瓶颈往往出现在词法分析阶段，因此优化扫描效率是一个值得关注的点。 ## 语法分析阶段：从递归下降到 AST 构建 语法分析是编译器的核心环节。项目采用了递归下降解析器（Recursive Descent Parser）来实现语法分析，这是一种直观且易于理解的解析方法。与之配套的是运算符优先级解析技术，用于处理表达式中的各种运算符优先级问题。 递归下降解析器的核心思想是将每个语法产生式映射为一个函数。对于表达式解析，关键在于正确建立运算符的优先级关系。在项目中，作者通过引入优先级表来解决这个问题：优先级越高的运算符越先被绑定。在实现二元表达式时，需要先解析优先级较高的子表达式，然后根据遇到的运算符决定是否继续解析。 抽象语法树（AST）的构建是语法分析的另一个重要产出。AST 以树形结构表示程序的语法结构，消除了歧义性并为后续的语义分析和代码生成提供了便利。在实际实现中，可以选择边解析边生成目标代码（语法制导翻译），也可以先构建完整的 AST 再遍历生成代码。项目采用了前者的方式，这种方法在教学场景中更加直观。 ## 代码生成：多平台支持与寄存器分配 代码生成是编译器后端的核心工作。compiler-writing-journey 项目的一个显著特点是支持多个目标平台：x86（32位）、ARM 以及 6809 微处理器。这种多平台支持的设计让学习者能够理解不同体系结构之间的共性与差异。 在目标代码生成方面，项目首先实现了 x86 平台的汇编输出。选择 x86 作为首个目标平台是合理的，因为其汇编语言相对常见且工具链完善。生成的代码采用 AT&T 语法格式，这与常见的 GNU 工具链兼容。代码生成器需要处理函数调用约定、栈帧布局以及局部变量的内存管理等细节问题。 寄存器分配是代码生成中的经典难题。项目中实现了一个简化的寄存器分配策略：优先使用可用的寄存器，当寄存器不足时将变量 spill 到栈上。这种方法虽然不如图着色算法那样最优，但在教学场景中足以展示寄存器分配的基本原理。实际生产级编译器通常会采用更复杂的寄存器分配算法，如线性扫描寄存器分配或图着色算法。 ## 自举与三重测试：编译器的自我验证 自举（Bootstrap）是编译器开发中的重要里程碑。当一个编译器能够编译自身的源代码时，就实现了自举。这不仅证明了编译器的功能完整性，也为后续的改进提供了便利：可以用新版本的编译器来编译自己的改进版本。 三重测试（Triple Test）是验证自举成功性的标准方法。具体做法是：用第一版编译器编译源代码得到目标程序；然后用新编译器再次编译同一源代码；最后比较两次生成的目标程序是否完全一致。如果两次编译结果完全相同，说明编译器的自举过程是稳定的。这一验证方法在项目的第 60 部分得到了详细阐述。 实现自举需要编译器能够支持足够的语言特性来编译自身的源代码。这意味着需要实现完整的表达式语法、函数定义、结构体和指针等特性。项目在第 59 和 60 部分详细记录了实现自举过程中遇到的各种问题及解决方案，这些经验对于任何尝试自举的开发者都具有重要参考价值。 ## 工程实践参数与监控要点 如果你计划跟随这个项目实现自己的编译器，以下是一些关键的工程实践参数。首先是词法分析器的缓冲区大小设置，建议使用 1024 字节的输入缓冲区，并实现回读功能以支持前瞻。其次是符号表的实现，常见的做法是使用哈希表来实现高效的符号查找，初始容量可设置为 256。 在代码生成阶段，需要关注目标平台的调用约定。x86 平台使用 cdecl 调用约定，函数参数通过栈传递；ARM 平台则使用 AAPCS 标准，前四个参数使用寄存器传递。生成代码时的优化级别可以从简单的常量折叠开始，项目在第 44 部分实现了这一优化。 测试是编译器开发中不可忽视的环节。建议为每个编译阶段编写独立的测试用例，使用回归测试来确保新特性的加入不会破坏已有功能。项目第 27 部分详细讨论了测试框架的搭建。此外，错误信息的可读性也很重要，应该提供行号信息和问题描述，帮助用户定位错误。 compiler-writing-journey 项目代表了开源社区对编译器教育的重要贡献。它证明了一个复杂的系统工程可以通过恰当的分解和循序渐进的方式被理解和实现。对于希望深入理解编译原理的开发者而言，这个项目提供了一个难得的实践机会，让理论知识在真实代码中得到验证和巩固。 资料来源：GitHub 仓库 https://github.com/DoctorWkt/acwj ## 同分类近期文章 ### [C# 15 联合类型：穷尽性模式匹配与密封层次设计](/posts/2026/04/08/csharp-15-union-types-exhaustive-pattern-matching/) - 日期: 2026-04-08T21:26:12+08:00 - 分类: [compilers](/categories/compilers/) - 摘要: 深入分析 C# 15 联合类型的语法设计、穷尽性匹配保证及其与密封类层次结构的工程权衡。 ### [LLVM JSIR 设计解析：面向 JavaScript 的高层 IR 与 SSA 构造策略](/posts/2026/04/08/jsir-javascript-high-level-ir/) - 日期: 2026-04-08T16:51:07+08:00 - 分类: [compilers](/categories/compilers/) - 摘要: 深度解析 LLVM JSIR 的设计动因、SSA 构造策略以及在 JavaScript 编译器工具链中的集成路径，为前端工具链开发者提供可落地的工程参数。 ### [JSIR：面向 JavaScript 的高级 IR 与碎片化解决之道](/posts/2026/04/08/jsir-high-level-javascript-ir/) - 日期: 2026-04-08T15:51:15+08:00 - 分类: [compilers](/categories/compilers/) - 摘要: 解析 LLVM 社区推进的 JSIR 如何通过 MLIR 实现无源码丢失的往返转换，并终结 JavaScript 工具链碎片化困境。 ### [JSIR：面向 JavaScript 的高层中间表示设计实践](/posts/2026/04/08/jsir-high-level-ir-for-javascript/) - 日期: 2026-04-08T10:49:18+08:00 - 分类: [compilers](/categories/compilers/) - 摘要: 深入解析 Google 推出的 JSIR 如何利用 MLIR 框架实现 JavaScript 源码的高保真往返，并探讨其在反编译与去混淆场景的工程实践。 ### [沙箱JIT编译执行安全：内存隔离机制与性能权衡实战](/posts/2026/04/07/sandboxed-jit-compiler-execution-safety/) - 日期: 2026-04-07T12:25:13+08:00 - 分类: [compilers](/categories/compilers/) - 摘要: 深入解析受控沙箱中JIT代码的内存安全隔离机制，提供工程化落地的参数配置清单与性能优化建议。