# 最小Transformer实现10位加法：AdderBoard优化实践 > 剖析Anadim AdderBoard中最小参数Transformer的关键优化：数字级分词、专用位置编码与无BPE崩溃的训练策略，实现可靠10位加法。 ## 元数据 - 路径: /posts/2026/02/28/minimal-transformer-arithmetic-adderboard/ - 发布时间: 2026-02-28T10:17:30+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 站点: https://blog.hotdry.top ## 正文 在Transformer架构中，实现可靠的多位数加法运算一直是测试模型泛化与最小化能力的经典挑战。Anadim推出的AdderBoard项目，将这一挑战推向极致：构建参数最少的自回归Transformer，能够在保留测试集上以99%以上准确率完成两个10位整数的加法。[1] 本文聚焦单一技术路径——通过优化分词方式、位置编码机制以及训练策略，避免传统BPE分词在数字序列上的崩溃，实现参数级别的极致压缩，同时确保从个位到最高位的进位传播可靠落地。 ### 数字级分词：摒弃BPE，避免序列崩溃 传统语言模型依赖BPE（Byte-Pair Encoding）子词分词，在处理长数字时容易产生不均匀的token粒度，导致进位传播依赖隐式模式学习，参数需求激增。AdderBoard参赛方案普遍采用**纯数字级（digit-level）分词**，将每个数字拆为单个字符token（0-9，加上分隔符如'+'、'='），总词汇表大小仅11-20。这种token-free于子词的策略，直接将输入表示为固定长度序列，例如反转数字顺序（从最低有效位LSD开始），格式如“123+456=”后逐位生成输出。 关键落地参数： - **输入格式**：数字反转 + 固定分隔符，例如“9 8 7 + 6 5 4 =”逐token输入，确保对齐。 - **输出解码**：自回归生成，从LSD开始预测sum_digit + carry_out（联合20类分类：10sum×2carry）。 - **嵌入维度压缩**：因子化嵌入（factorized embed），d_model=4-7，仅学习低秩表示，参数节省50%以上。 这一分词避免了BPE在数字上的“崩溃”（如“999+999”被拆为不规则子词），证据见排行榜中311参数模型，使用rank-3因子化嵌入，在d=4时实现99.999%准确。[1] 实践清单：词汇表=digits(10)+pad/sep(2-3)，嵌入共享input/output，节省参数达30%。 ### 专用位置编码：基10权重与进位路由 位置编码是进位传播的核心瓶颈，标准Sinusoidal在长序列衰减快，而RoPE在小模型中旋转过度。AdderBoard方案创新采用**混合位置编码**： - **ALiBi (Attention with Linear Biases)**：斜率log(10)，模拟基10位置权重，最小36参数手码模型即用此实现100%准确。 - **RoPE (Rotary Position Embedding)**：周期19或digit-routing变体，hd=2，确保低维d=2-5时位置区分清晰。 - **Sinusoidal PE**：周期11（匹配10进制+1），用于Q旋转或稀疏嵌入。 这些编码参数不计入总数（遵循原Transformer约定），但极大提升小模型容量。证据：40参数模型用RoPE period-19 + tied Q/K，实现完美对齐与进位。[1] 可落地配置： | 编码类型 | 适用d_model | 关键超参 | 效果 | |----------|-------------|----------|------| | ALiBi log(10) | 2-5 | slope=ln(10) | 基10权重，36p最佳 | | RoPE digit-route | 3-4 | period=19, hd=2 | 进位链路由 | | Sin period=11 | 4 | freq=11/2π | 低秩Q旋 | 集成时，优先ALiBi于单层解码器，避免学习PE参数。 ### 无BPE崩溃训练策略：课程学习与Grokking 训练小Transformer易卡在浅层模式（如无进位），需专用regime避免BPE式崩溃（数字模式碎片化）。核心策略： - **课程学习（Curriculum）**：先预训I/O身份映射（identity acc=1.0），再全状态转移（200种carry_in + a/b_digit组合，穷举而非随机）。 - **Grokking与相变**：延长时间至10k步，观察~800参数悬崖（sudden generalization）。用Adam，grad clip=1.0，早停于exact match。 - **架构辅助**：rank-3分解（shared-A tied-KV），RMSNorm，no bias FFN（或ff=0无FFN），MQA（multi-query attn）。 74参数模型示例：共享I/O解码器 + 核心算术层，45s训练即达test10k=1.0，无FFN仅scalar attn。[2] 风险控制： - 过拟合：用held-out 10k验证，seed=2025固定。 - 泛化限：限10位，超长需scale d_model×1.5。 实践训练清单： 1. 数据：10位随机对，LSD-first，反转编码。 2. 优化：Adam lr=1e-3，batch=256，steps=10k-50k。 3. 监控：io_identity_acc→1，core_transition_acc→1，val_exact>0.99。 4. 回滚：若grok无相变，降rank-2或加ff=4。 这些优化使311参数训练模型超越1644参数基线，证明minimal Transformer可可靠算术。实际部署，结合verify.py验证，确保自回归forward纯净（无问题特定循环）。 ### 总结与扩展 AdderBoard揭示：通过digit分词、log10-PE、课程grokking，小Transformer（<500p）即可端到端10位加法，远优传统BPE大模型。未来，可扩展乘法（加d=8，rank-4）或多模（图像数字）。 资料来源： [1] https://github.com/anadim/AdderBoard (2026访问，leaderboard最新)。 [2] https://answqhnqv.blogspot.com/?page=en-git-anadim-adderboard-1771994421478 (74p案例)。 （正文约1250字） ## 同分类近期文章 ### [NVIDIA PersonaPlex 双重条件提示工程与全双工架构解析](/posts/2026/04/09/nvidia-personaplex-dual-conditioning-architecture/) - 日期: 2026-04-09T03:04:25+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 NVIDIA PersonaPlex 的双流架构设计、文本提示与语音提示的双重条件机制，以及如何在单模型中实现实时全双工对话与角色切换。 ### [ai-hedge-fund：多代理AI对冲基金的架构设计与信号聚合机制](/posts/2026/04/09/multi-agent-ai-hedge-fund-architecture/) - 日期: 2026-04-09T01:49:57+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析GitHub Trending项目ai-hedge-fund的多代理架构，探讨19个专业角色分工、信号生成管线与风控自动化的工程实现。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation-framework/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [LiteRT-LM C++ 推理运行时：边缘设备的量化、算子融合与内存管理实践](/posts/2026/04/08/litert-lm-cpp-inference-runtime-quantization-fusion-memory/) - 日期: 2026-04-08T21:52:31+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 LiteRT-LM 在边缘设备上的 C++ 推理运行时，聚焦量化策略配置、算子融合模式与内存管理的工程化实践参数。