在大型语言模型领域，可解释性长期被视为「事后补救」的特性 —— 研究者们在模型训练完成后，通过注意力可视化、梯度归因或探测分类器等外部手段尝试理解模型行为。然而这种「事后解释」本质上是不稳定的，同一模型可能对同一输入产生截然不同的归因结果。Guide Labs 于 2026 年 2 月发布的 Steerling-8B 改变了这一范式，它首次在模型架构层面内置了可解释性机制，使每个生成 Token 都能追溯到具体的输入 Token、概念以及训练数据来源。这种「内在可解释性」（Inherent Interpretability）设计究竟如何实现？本文将深入解析其技术架构与工程实践。
概念分解：构建可解释的模型表征
Steerling-8B 的核心创新在于将模型的嵌入层分解为三条明确的路径：约 33,000 个监督「已知概念」（Supervised Known Concepts）、约 100,000 个模型自行发现的「习得概念」（Discovered Concepts），以及一个捕获剩余信息的残差路径。这三种成分通过线性组合的方式直接作用于最终的 Logit 输出，形成了从概念到预测的透明映射关系。模型训练过程中引入了特定的损失函数约束，确保预测信号主要通过概念路径流动，而非隐藏在残差通道中。根据官方在验证集上的测量，超过 84% 的 Token 级贡献来自概念模块，这意味着模型确实在使用概念进行预测，而非将概念层作为装饰性的附加组件。
这种设计的关键价值在于「可干预性」。由于每个概念的贡献是显式可加的，研究者可以在推理时直接修改特定概念的权重，实现对模型行为的精准控制，而无需重新训练整个模型。例如，如果希望模型在生成医疗建议时更加谨慎，可以降低相关医学概念的正向权重；如果需要抑制模型复现训练数据中的敏感内容，可以对涉及版权或隐私的概念施加负向偏移。这种概念级别的干预取代了传统的数千条安全训练示例微调方式，仅需少量显式的概念级指导即可达到类似甚至更好的对齐效果。
三层追溯：Token 级别的完整归因
Steerling-8B 为每个生成的 Token（或 Token 序列）提供了三层可追溯信息，形成完整的归因链条。第一层是输入特征归因（Input Feature Attribution），指示 Prompt 中哪些 Token 对当前输出产生了最强影响，这种归因类似于传统可解释性方法中的注意力权重，但它是模型架构内置的、结构化的结果，而非事后估算。第二层是概念归因（Concept Attribution），展示模型在生成该 Token 时激活了哪些概念以及各自的贡献权重，这些概念既包括预先定义的监督概念（如「分析性语气」「临床风格」），也包括模型在训练过程中自动发现的潜在概念。第三层是训练数据归因（Training Data Attribution），揭示概念背后的知识来源于哪些训练数据源（如 ArXiv、Wikipedia、FLAN 等），使研究者能够评估特定输出的知识来源与潜在的记忆化程度。
这种三层追溯机制在实际应用中具有重要价值。对于需要高度可靠性的场景（如医疗诊断、法律咨询），决策者可以检查模型输出的概念归因，验证模型是否基于合理的知识路径得出结论，而非依赖虚假关联。对于模型审计与红队测试而言，训练数据归因能够直接回答「模型的这部分知识究竟来自哪里」这一根本性问题，从而更精准地识别潜在的版权风险或数据偏见。
性能与可解释性的权衡
引入概念层是否会牺牲模型的基准性能？这是研究团队必须面对的核心问题。Steerling-8B 在 1.35 万亿 Token 的训练数据上完成训练，尽管使用的计算资源显著低于同类模型（LLaMA2-7B、Deepseek-7B 等），但在 LM Harness 等标准基准测试中实现了与这些模型相当的综合表现。官方对比显示，Steerling-8B 的平均性能超越 LLaMA2-7B 和 Deepseek-7B，且保持在使用 2 至 10 倍计算资源的模型范围之内。这意味着可解释性并非以性能崩溃为代价，而是作为「固定税收」存在 —— 一个恒定的、轻微的额外开销，不随模型规模放大而显著恶化。
团队还进行了概念模块消融实验：在移除残差路径后，模型在多项基准任务上的性能下降幅度很小，进一步证实预测信号主要通过概念路径传递。这一发现对可解释性工程具有重要意义 —— 只有当模型的真实预测确实流经概念时，对概念的编辑才能真正改变模型行为，否则所谓的概念干预不过是在侧通道上微调，而真正的决策仍由不可见的残差完成。
实践启示与部署考量
Steerling-8B 的发布为 AI 系统构建者提供了若干重要启示。首先，可解释性应当作为一级设计目标而非事后补救。传统的后验解释方法（如 saliency maps、集成梯度）往往产生不一致的归因结果，难以满足审计与合规的严格要求，而内在可解释模型通过架构约束从根本上保证了归因的可靠性。其次，概念工程将成为模型调优的新范式。与其编写大量提示词或进行全参数微调，开发者可以直接操作概念权重，实现细粒度的行为控制。官方预告的功能包括：概念级抑制（无需重新训练即可删除特定知识）、对齐微调（用显式概念干预替代数千条安全示例）以及记忆化检测（利用内部信号识别并压制训练数据复现）。
部署层面需要注意的是，概念层的有效性高度依赖于概念集的完整性与准确性。如果概念集存在盲区，模型可能将重要知识推入残差路径，从而失去可追溯性与可干预性。因此，前期的概念设计（无论是监督定义还是自动发现）需要结合具体应用场景进行迭代优化。Steerling-8B 已在 Hugging Face 发布模型权重与配套代码，开发者可以加入等待列表获取访问权限，亲身体验概念追溯与干预的工程实践。
参考资料
- Guide Labs 官方博客：Steerling-8B: The First Inherently Interpretable Language Model（https://www.guidelabs.ai/post/steerling-8b-base-model-release/）