OpenSCAD 3D LLM 基准评估：结构有效性与流形几何的量化方法

大型语言模型在 3D CAD 代码生成领域的应用正迅速扩展，但如何系统性地评估生成代码的质量仍是一个开放问题。与文本或图像生成不同，3D 对象的结构有效性、几何完整性和制造可行性难以通过简单的语法检查来验证。本文聚焦于 OpenSCAD 这一脚本化 CAD 工具，探讨针对 3D LLM 的基准评估方法，提供可落地的验证参数与工具链建议。

3D CAD 代码生成的核心挑战

LLM 生成的 CAD 代码面临三重验证难题。首先是语法正确性，即代码能否通过编译器解析；其次是几何有效性，生成的 3D 模型是否为闭合的流形（watertight manifold）；最后是语义一致性，模型是否符合自然语言描述中的功能与结构约束。

研究表明，即使是 GPT-4 这样的先进模型，在 CADPrompt 基准测试中的初始编译成功率约为 96.5%，但在复杂几何结构上的点云距离误差仍有优化空间。这凸显了评估框架需要超越简单的 "能否编译" 二元判断，深入到几何保真度的量化层面。

三大评估维度

结构有效性验证

结构有效性关注代码生成的 3D 对象是否具有物理合理的拓扑结构。根据错误分析，约 48% 的生成错误属于结构配置错误（Structural Configuration Error），包括部件错位、连接关系混乱等。验证流程应包含：

• 组件层级检查：验证模块定义与调用关系是否符合描述
• 空间关系验证：检查部件间的相对位置、对齐方式
• 布尔运算审查：确保 union、difference、intersection 操作的逻辑正确性

流形几何检查

流形（Manifold）是 3D 打印和有限元分析的基础要求。一个有效的流形网格要求每条边恰好被两个面共享，且不存在自相交或孤立边。OpenSCAD 社区正在推进 Manifold 几何后端以替代传统的 CGAL Nef 多面体，后者在复杂布尔运算中易产生非流形结果。

验证流形完整性的工具链包括：

• STL 导出验证：使用 manifold3d 等库检测网格缺陷
• 水密性检查：确保模型无孔洞、无重叠面
• 边面关联分析：验证每条边的邻接面数量

约束满足度量化

建筑与机械设计中的约束包括尺寸精度、对称性、功能孔位等。CADPrompt 基准采用三类几何指标进行量化评估：

点云距离（Point Cloud Distance）：计算生成模型与基准模型间采样点的平均距离，反映整体几何相似度。该指标对 GPT-4 在 CADPrompt 上的测试显示，经过两轮优化后距离可从 0.137 降至 0.120。

Hausdorff 距离：捕捉最大偏离程度，对局部结构缺陷敏感。在复杂模型上，该指标能有效识别细微的结构偏差。

IoGT（Intersection over Ground Truth）：计算生成模型与基准模型体积交集占基准体积的比例，直观反映形状重合度。

工程实践：OpenSCAD 几何后端选择

OpenSCAD 的几何内核选择直接影响 LLM 生成代码的执行效率与可靠性。当前有三个主要后端：

对于 LLM 生成的代码，建议采用 Manifold 后端 配合前置验证，因为：

• 单精度浮点运算更适合 AI 生成的近似几何
• 多线程支持显著加速迭代验证流程
• 对无效几何的拒绝机制有助于及早发现问题

可落地的评估参数清单

基于上述分析，建议采用以下分层评估策略：

第一层：编译与执行

• 编译成功率阈值：> 95%
• 执行超时设置：30 秒（复杂模型可放宽至 120 秒）
• 内存限制：4GB（防止无限递归导致的内存泄漏）

第二层：几何有效性

• 流形检查通过率：100%（硬性要求）
• 网格自相交检测：零容忍
• 退化面比例：< 0.1%

第三层：语义保真度

• 点云距离：< 0.15（归一化后）
• Hausdorff 距离：< 0.5（归一化后）
• IoGT：> 0.85

第四层：功能约束

• 尺寸误差：< 5%（关键尺寸）
• 孔位对齐误差：< 2mm（机械装配场景）
• 对称性偏差：< 1°（旋转对称件）

自动化验证流水线

构建高效的 LLM CAD 评估流水线需要整合多类工具：

1. 代码生成：使用 Few-shot 提示提升初始代码质量
2. 编译执行：OpenSCAD CLI 配合 --export-format 参数生成 STL
3. 几何验证：Python 脚本调用 manifold3d 或 pymesh 进行网格检查
4. 语义比对：Open3D 库计算点云距离与体积交集
5. 反馈迭代：将验证结果作为下一轮生成的上下文提示

该流水线支持模型无关的反馈机制，即使用 GPT-4 生成验证问题，可指导 CodeLlama 等模型的代码修正，实现跨模型的质量提升。

局限与展望

当前评估指标仍存在局限。点云距离与 Hausdorff 距离仅反映空间相似度，难以捕捉结构逻辑差异（如桌腿与桌面间的间隙是否可接受）。未来工作应探索融合设计原理的评估方法，将功能约束、制造可行性和美学准则纳入量化框架。

此外，自然语言描述的歧义性仍是挑战。同一对象可功能化描述（"四腿桌"）或几何化描述（"矩形顶面由四个角柱支撑"），不同描述方式对 LLM 的生成质量有显著影响。建立标准化的提示工程规范将是提升评估可重复性的关键。

资料来源

• Alrashedy et al., "Generating CAD Code with Vision-Language Models for 3D Designs", arXiv:2410.05340
• OpenSCAD Benchmark Repository: https://github.com/kintel/openscad-benchmark
• CADPrompt Dataset: https://github.com/Kamel773/CAD_Code_Generation

ai-systems