随着大型语言模型在创意写作领域的广泛应用，诗歌生成已成为 AI 创作能力的重要测试场。然而，如何系统性地评估 LLM 生成的诗歌质量，从简单的形式合规性到深层的审美价值，成为当前 AI 系统设计中的关键挑战。本文提出一个工程化的诗歌质量评估框架，涵盖韵律分析、语义密度量化和审美指标三个核心维度，为 LLM 诗歌生成的自动化评估提供可落地的技术方案。
韵律分析：从音素提取到模糊匹配算法
韵律是诗歌形式美的基础，也是评估 LLM 诗歌生成能力的第一道技术门槛。传统的韵律检测方法往往过于刚性，无法处理现代诗歌中的模糊押韵和创意变体。POEMetric 框架提出的规则基础算法为这一问题提供了工程化解决方案。
该算法的核心流程分为三个阶段：首先提取每行的结尾部分，通常关注最后 2-3 个音节；然后通过音素转换生成韵律签名，将文字转换为可计算的音素序列；最后使用 Levenshtein 距离进行模糊匹配，识别 AABB、ABAB 等标准韵律模式。这一方法的关键创新在于引入了模糊匹配阈值（通常设为 0.7），允许一定程度的音变和创意偏离，既保证了技术严谨性，又尊重了诗歌创作的艺术灵活性。
俄罗斯诗歌韵律工具（RPST）则提供了另一种技术视角，其技术性评分系统（0-1 分）不仅检测标准押韵，还能识别模糊押韵（slant rhymes）。这种评分机制特别适合评估 LLM 在特定语言和文化背景下的韵律掌握程度。在实际部署中，建议将韵律分析模块设计为可配置的管道，允许根据不同诗歌类型（如十四行诗、自由诗）调整检测严格度。
语义密度量化：多维度指标构建
语义密度是衡量诗歌信息承载能力和语言效率的核心指标，但在现有研究中往往被简化为词汇多样性。我们提出一个多维度的语义密度评估框架，包含以下可量化参数：
词汇多样性指标：采用 Type-Token Ratio（TTR）作为基础度量，但针对诗歌特点进行优化。考虑到诗歌篇幅较短，引入修正的 TTR 计算公式，避免因文本长度导致的偏差。同时，计算词汇的语义场覆盖度，通过词向量聚类分析评估词汇在语义空间中的分布广度。
意象密度参数：识别诗歌中的意象性词汇（如隐喻、象征、拟人等修辞手法），计算意象词占总词汇的比例。这一指标需要结合预训练的语言模型进行语义角色标注，识别名词的修饰关系和动词的动作特性。例如，在 “月光如水洒窗前” 中，“月光如水” 构成明喻意象，系统需要识别 “如” 这一比喻词及其连接的两个概念。
概念深度评分：通过知识图谱嵌入技术，评估诗歌中涉及概念的抽象层级和关联复杂度。具体实现时，可以将诗歌中的关键概念映射到 WordNet 或 ConceptNet 等知识库，计算概念节点的平均深度和关联密度。这一指标能够反映 LLM 在诗歌创作中的概念运用能力，而不仅仅是词汇堆砌。
审美指标工程化：从主观评价到可量化参数
审美评价的传统主观性是其工程化的主要障碍。我们借鉴 POEMetric 框架的 LLM-as-a-judge 方法，但将其系统化为可复现的评估流程。
情感共鸣强度：通过情感分析模型计算诗歌的情感向量，并与预设主题的情感期望进行对比。例如，对于 “离别” 主题的诗歌，系统期望检测到悲伤、怀念等情感维度。使用余弦相似度计算实际情感向量与期望向量的匹配度，作为情感共鸣的量化指标。
文学手法运用评估：建立文学手法知识库，包含常见的修辞手法（比喻、排比、对偶等）和结构技巧（起承转合、首尾呼应等）。通过模式匹配和句法分析识别这些手法的运用频率和恰当性。特别地，对于隐喻识别，采用概念映射算法，分析源域和目标域之间的语义距离和创造性关联。
整体协调性评分：评估诗歌在形式、内容和情感三个维度的内在一致性。形式协调性通过韵律模式的规律性和变体合理性来衡量；内容协调性检查意象、主题和情感的逻辑连贯性；情感协调性分析情感变化的自然度和节奏感。这三个子评分加权求和，得到整体协调性分数。
自动化评分系统架构
基于上述三个维度的评估指标，我们设计一个模块化的自动化评分系统架构：
数据预处理层：负责诗歌文本的清洗、分词和基础标注。这一层需要处理多语言支持和特殊字符编码问题，特别是对于包含古汉语或方言的诗歌。
特征提取管道：并行执行韵律分析、语义特征提取和审美特征计算。每个模块设计为可插拔的组件，支持算法替换和参数调整。特征提取结果存储为结构化的 JSON 格式，便于后续分析和可视化。
评分聚合引擎：采用加权求和的方式整合各维度评分，但权重可根据评估目标动态调整。例如，对于传统格律诗的评估，可提高韵律分析的权重；对于现代自由诗，则更侧重语义密度和审美指标。系统提供预设的权重配置文件，也支持用户自定义。
反馈生成模块：不仅输出总体评分，还生成详细的评估报告，指出诗歌在各个维度的优缺点。这一模块结合模板生成和自然语言生成技术，提供建设性的改进建议，如 “第三行与第五行的押韵不够紧密，建议调整韵脚” 或 “意象使用较为单一，可增加隐喻变化”。
实施要点与监控指标
在实际部署 LLM 诗歌评估系统时，需要关注以下工程化要点：
性能基准建立：收集人类创作的经典诗歌和 LLM 生成的诗歌作为基准数据集，建立各评估指标的参考范围。定期使用新数据更新基准，确保评估标准与时俱进。
评估一致性监控：设计 A/B 测试流程，检查系统在不同时间、不同配置下对同一诗歌的评估一致性。引入一致性系数（如 Cohen's kappa）作为系统稳定性的监控指标。
人工验证机制：虽然目标是自动化评估，但仍需保留人工验证环节。建立专家评审抽样机制，定期抽取系统评估结果进行人工复核，校准算法偏差。
可解释性增强：为每个评分提供可追溯的解释路径，展示影响该评分的关键特征和计算过程。这不仅增加系统的可信度，也为 LLM 的诗歌生成优化提供具体指导。
技术挑战与未来方向
当前 LLM 诗歌评估系统面临的主要技术挑战包括文化语境敏感性、风格多样性适应和创意边界识别。未来发展方向可能包括：
跨文化评估框架：针对不同语言和文化背景的诗歌，建立适配的评估标准和特征集。例如，中文诗歌的平仄格律与英文诗歌的轻重音律需要不同的分析算法。
风格迁移评估：评估 LLM 模仿特定诗人风格的能力，而不仅仅是通用诗歌质量。这需要建立诗人风格特征库和风格相似度度量方法。
创意新颖性检测：区分真正的创意突破和简单的形式变异。可能需要结合大规模诗歌语料库，计算生成诗歌与现有作品的语义距离和结构新颖度。
通过上述工程化框架的实施，我们不仅能够系统评估 LLM 的诗歌生成质量，还能为 AI 创意写作的优化提供数据驱动的反馈循环。这一评估系统的价值不仅在于评分本身，更在于其揭示的创作规律和改进路径，推动 AI 从形式模仿走向真正的艺术创作。
资料来源：
- POEMetric 框架论文（OpenReview）提出的 LLM 诗歌评估多维度指标
- Erato: Automatizing Poetry Evaluation (arXiv:2310.20326) 的自动化评估框架设计思路