在6502汇编上实现反向传播：Apple II微型神经网络的内存优化

在资源受限的经典硬件如Apple II上实现神经网络训练算法，面临着严峻挑战。6502处理器作为8位架构，主频仅1MHz，地址空间限制在64KB，这要求我们对反向传播（Backpropagation, BP）算法进行深度优化。本文聚焦于微型神经网络的实现，强调内存高效的梯度计算和权重更新策略，避免浮点运算，转而采用定点数表示，以实现可行的训练过程。这种方法不仅验证了BP算法在极简环境下的鲁棒性，还为现代嵌入式AI系统提供历史性借鉴。

首先，理解BP算法的核心：在多层前馈网络中，通过前向传播计算输出，后向传播计算误差梯度，并更新权重。对于6502，我们设计一个极简网络：输入层4个神经元（模拟简单特征，如像素或传感器数据），隐藏层3个神经元，输出层2个神经元（二分类任务）。总权重矩阵规模小：输入到隐藏（4x3 + 3偏置=15参数），隐藏到输出（3x2 + 2偏置=8参数），总计23个参数。每参数使用8位定点数（Q7.0格式，范围-128至127），总内存占用不足200字节，轻松置于页面零区（$00-$FF）以加速访问。

证据显示，这种简化架构在6502上可行。历史文献如Rumelhart等人的1986年论文证明，BP通过链式法则高效计算梯度：δ_output = (y - t) * sigmoid'(z)，δ_hidden = (W^T * δ_output) * sigmoid'(z)。在6502汇编中，我们用整数近似sigmoid：一个查找表（LUT）存储预计算值，占用256字节（$100-$1FF）。乘法使用软件模拟（6502无硬件乘法器），通过循环移位和加法实现，约需50-100周期/操作。对于梯度计算，避免矩阵转置的复杂性，直接展开循环：对于隐藏层δ_j = sum_k (w_jk * δ_k) * (1 - o_j) * o_j。

可落地参数包括：学习率η=0.01（定点表示为1/100=0.01*128=1.28，约1），以防溢出；批量大小=1（单样本训练，节省内存）；迭代次数上限1000（约几分钟模拟时间，6502循环约1ms/迭代）。权重初始化：随机-0.5至0.5（定点-64至64）。激活函数：近似sigmoid o = 1 / (1 + exp(-z)) 用LUT替换exp，输入z定点缩放至-7至7。误差监控：均方误差MSE = sum (y - t)^2 / n，存储在$0200，每10迭代打印至屏幕（使用Apple II的软开关$ C050控制显示）。

实现步骤以汇编伪码展示前向传播：

; 前向传播：输入A($00-$03)，计算隐藏H($10-$12)，输出O($20-$21)

LDA input1 ; 加载输入

STA temp_z1

LDA w11 ; 权重

SOFT_MUL ; 软件乘法，结果acc

ADC temp_z1 ; 累加

; 类似循环所有权重，计算z_hidden1

LDA z_h1

SIGMOID_LUT ; JSR to LUT subroutine, index z_h1 >>1 (scale)

STA h1

; 重复隐藏到输出

这确保了高效执行，总周期约5000/前向pass。

后向传播类似：从输出δ开始。

; 输出δ：δ1 = (O1 - T1) * o1 * (1 - o1)

LDA o1

SEC

SBC target1

STA delta1_temp

LDA o1

SOFT_MUL with (1 - o1) ; precompute 1-o1

STA delta1

; 传播到隐藏：δ_h1 = sum (w_h1k * δ_k) * h1 * (1-h1)

; 展开sum：LDA w_h11 * LDA delta1 * SOFT_MUL * ADC to accum

权重更新：w_new = w_old + η * δ * input

; η=1 (scaled), so w11 = w11 + delta_h1 * input1

LDA w11

CLC

SOFT_MUL delta_h1 and input1 (scaled)

ADC w11

STA w11

为避免溢出，更新后夹紧至-128/127。风险包括定点精度丢失导致梯度消失，但通过小网络和低学习率缓解。

监控要点：使用Apple II监视器（括号键）检查内存$0000-$01FF权重变化；若MSE<0.1，收敛。回滚策略：若溢出，复位权重至初始。

这种实现证明，即使在64KB约束下，BP可训练简单分类器，如XOR门（输入4位，输出1位）。参数清单：网络大小(4-3-2)，定点Q7.0，LUT 256 entries，学习率1 (scaled)，max epochs 1000。扩展：用页面翻转管理更大数据集（$2000-$BFFF）。

总之，在6502上模拟BP不仅技术可行，还启发现代低功耗AI：优先定点、展开循环、LUT优化。未来，可移植至模拟器验证历史准确性。