SGS-1 摒弃 Transformer：解析其 GNN 或扩散模型架构的工程可行性

Spectral Labs 发布的 SGS-1，作为首个面向结构化计算机辅助设计（CAD）的生成模型，其最引人注目的技术宣言并非功能本身，而是其对当前 AI 领域绝对主流——Transformer 架构的“摒弃”。这一决策背后，蕴含着对物理系统空间智能的深刻理解与工程现实的务实考量。与其说 SGS-1 是一个模型，不如说它是一次架构哲学的宣言：当数据的本质是空间结构而非序列时，强行套用为序列数据设计的 Transformer，无异于削足适履。本文将深入探讨 SGS-1 为何极可能采用图神经网络（GNN）或扩散模型作为其核心架构，并分析这一选型在工程化落地中的可行性、优势与必须面对的挑战。

首先，我们必须理解 SGS-1 的使命与其数据的本质。Spectral Labs 明确指出，现有基础模型缺乏“固有的空间理解能力”，无法胜任工程设计与制造的关键角色。CAD 数据的核心并非文本或图像像素，而是一个由点、线、面、体构成的精确几何与拓扑结构，其本质是一个高度结构化的图（Graph）。节点代表几何实体（如顶点、边、面），边则代表它们之间的空间关系（如连接、邻接、包含）。Transformer 架构的核心优势在于处理序列数据中的长距离依赖，它通过自注意力机制计算序列中任意两个元素的相关性。然而，将一个三维空间中的 CAD 模型强行展平为一维序列，会彻底破坏其内在的空间邻接性和层次结构。自注意力机制虽然理论上能“看到”所有元素，但在实践中，它需要巨大的计算资源来学习本应由数据结构本身显式表达的空间关系，效率低下且容易引入噪声。正如在晶体结构预测中，GNN-based 扩散模型被指出存在“局部性偏差”，但即便如此，它仍比处理展平序列的 Transformer 更贴近物理现实。

因此，GNN 成为 SGS-1 最自然、最有力的候选架构。GNN 的设计哲学与 CAD 数据完美契合：它直接在图结构上进行操作，通过消息传递机制，让每个节点聚合其邻居的信息，从而在多层网络中逐步捕获局部乃至全局的结构特征。这种“在数据的原生结构上计算”的方式，赋予了 GNN 无与伦比的空间感知能力。具体到工程可行性，GNN 的优势体现在三个方面。第一，是计算效率。对于一个包含 N 个节点的图，GNN 的计算复杂度通常与边的数量 E 成正比（O(E)），而 Transformer 的复杂度则是 O(N²)。在大型、稀疏的 CAD 模型中，E 远小于 N²，这使得 GNN 在推理速度和内存占用上具有压倒性优势，这对于需要实时交互的设计场景至关重要。第二，是归纳偏置（Inductive Bias）。GNN 天生具备“局部性”和“置换不变性”的归纳偏置，这意味着它默认认为相邻的几何元素更相关，且模型的输出不依赖于节点的输入顺序。这与工程师对物理世界的认知完全一致，极大地降低了模型学习的难度，提升了泛化能力。第三，是可解释性。GNN 的消息传递过程相对透明，工程师可以追溯某个设计决策是如何通过局部几何关系的层层聚合而得出的，这对于高风险的工程领域而言，其价值不亚于模型本身的性能。

然而，GNN 并非万能。其最大的挑战在于“过平滑”（Over-smoothing）和“欠平滑”（Under-smoothing）问题。在深层网络中，节点的特征会因反复聚合邻居信息而趋于同质化，丢失区分度（过平滑）；而在浅层网络中，信息又无法有效传播到远距离节点（欠平滑）。针对这一挑战，SGS-1 很可能借鉴了前沿研究中的解决方案，例如“图神经扩散网络”（GND-Nets）。这类模型将传统的线性图扩散（如热核扩散）与神经网络结合，使扩散过程中的权重参数不再是固定的，而是可学习的，从而能自适应地平衡局部与全局信息的传播。此外，SGS-1 也可能采用“跳跃连接”（Skip Connection）或“多尺度聚合”策略，将不同网络层的输出进行融合，以保留不同尺度的结构信息。这些技术的工程化，意味着 SGS-1 的团队必须在模型深度、扩散步长、聚合函数等超参数上进行精细的调优，这是一个需要大量实验和领域知识的艰巨任务。

除了 GNN，扩散模型（Diffusion Model）是另一个强有力的候选者，甚至可能是与 GNN 结合使用的“双引擎”。扩散模型通过学习数据从噪声到清晰的逆向过程来生成样本，其在图像和分子结构生成领域已展现出惊人的创造力。对于 CAD 生成，扩散模型的优势在于其强大的生成能力和对复杂数据分布的建模能力。它可以从一个随机噪声的几何体开始，通过一系列去噪步骤，逐步“雕刻”出符合物理约束和设计意图的精确结构。更重要的是，扩散模型天然适合与 GNN 结合。我们可以设想一个“GNN-Diffusion”架构：GNN 作为“空间理解器”，负责在每一步去噪过程中，为扩散模型提供精确的、基于局部几何上下文的指导，告诉模型“在这个位置，根据周围的结构，应该生成什么样的几何特征”。这种结合既能利用扩散模型强大的生成能力，又能通过 GNN 注入对物理空间的深刻理解，避免生成在几何上不可能或工程上无意义的结构。有研究已证明，在分子设计领域，GNN 编码结构、扩散模型负责生成的方案，能有效加速模型收敛并提升生成分子的性质。

综上所述，SGS-1 摒弃 Transformer 并非标新立异，而是回归问题本质的必然选择。无论是采用 GNN、扩散模型，还是二者的融合架构，其核心目标都是构建一个真正理解“空间”的 AI。这种架构选型在工程上是完全可行的，并已在相关领域得到初步验证。其可行性建立在对 CAD 数据图结构本质的尊重、对计算效率的极致追求以及对物理世界归纳偏置的巧妙利用之上。当然，挑战依然存在，如深层 GNN 的优化、扩散过程的引导与加速等，但这些正是 Spectral Labs 这样由顶尖工程与 AI 人才组成的团队所擅长攻克的领域。SGS-1 的出现，预示着 AI for Engineering 的未来将不再由通用序列模型主导，而是由深刻理解物理世界结构的专业架构所引领。这不仅是技术的胜利，更是工程思维对 AI 模型设计的一次成功“反哺”。