LLM输出气味分类体系：从模式识别到工程检测清单

在将大语言模型（LLM）部署到生产环境时，工程师们逐渐意识到一个核心问题：模型输出的 "气味"（smells）远比表面上的错误更为复杂。这些气味包括幻觉、风格漂移、过度道歉、重复生成等微妙模式，它们往往预示着输出质量的下降。与构建检测系统本身不同，本文聚焦于这些气味本身的分类学构建 —— 从现象识别到可操作检测清单的系统化归纳。

一、为什么需要分类体系

当前 LLM 检测实践往往陷入 "头痛医头" 的困境：发现幻觉就加一层事实核查，遇到重复就调低 temperature。这种碎片化方法的根本缺陷在于缺乏对气味本质的理解。一个系统化的分类体系能够帮助我们回答三个关键问题：这种气味属于哪一类问题？它的触发条件是什么？应该采用什么检测策略？

更重要的是，研究表明幻觉在可计算 LLM 中具有理论上的不可避免性。这意味着我们无法彻底消除这些问题，只能通过分类和理解来建立更有效的检测与缓解机制。

二、第一层分类：内在 vs 外在、事实性 vs 忠实性

最基础的分类维度来自输出与什么发生了矛盾：

内在幻觉（Intrinsic Hallucination）：输出与输入上下文直接矛盾。例如，用户要求 "用 Python 写一个冒泡排序"，模型却提供了快速排序的实现。这类问题的检测相对直接，通过输入 - 输出的语义比对即可识别。

外在幻觉（Extrinsic Hallucination）：输出与训练数据或客观现实不一致。例如，模型声称 "爱因斯坦在 1921 年获得了诺贝尔化学奖"（实际是物理学奖）。这类检测需要外部知识库的支撑。

另一个关键维度是事实性（Factuality）与忠实性（Faithfulness）。事实性关注内容的绝对正确性，而忠实性关注对输入指令的遵循程度。一个输出可能完全事实正确（如准确描述了量子力学），但对用户问题毫不忠实（用户问的是如何做红烧肉）。

三、第二层分类：具体表现形式

基于上述维度，LLM 气味在具体任务中呈现为多种形态：

事实性错误：包括实体错误（人名、地名、机构名混淆）、时间错误（年代、顺序错位）、数值错误（统计数据、计量单位偏差）。这类错误在开放域问答和摘要生成中最为常见。

上下文与逻辑不一致：模型在长篇生成中前后矛盾，或推理链条存在逻辑断裂。例如，前文声称 "该公司成立于 2010 年"，后文却说 "在 2008 年的创立初期"。

时间定向障碍：模型对时间敏感信息的处理能力缺陷，包括无法正确理解 "当前"、"最近"、"去年" 等相对时间表达，以及将过时信息当作最新知识呈现。

伦理与偏见违规：生成内容包含歧视性表述、有害建议或不当价值观。这类气味往往更隐蔽，需要价值对齐的评估框架。

任务特定幻觉：在代码生成中表现为语法正确但逻辑错误的代码；在多模态场景中表现为图像描述与视觉内容不符；在数学推理中表现为计算步骤看似合理但结果错误。

四、第三层分类：风格漂移与重复模式

除了内容层面的问题，输出风格的气味同样值得关注：

风格漂移（Style Drift）：生成过程中语气、专业程度或详细程度发生不自然变化。例如，技术文档突然转为口语化表达，或正式报告插入不恰当的幽默。研究表明，风格漂移往往与事实漂移相伴而生，可作为质量下降的早期信号。

重复与冗余：包括词汇重复（同一词语高频出现）、句式重复（结构相似的句子连续出现）、以及语义重复（用不同措辞表达相同信息）。过度重复可能暗示模型陷入局部最优，或训练数据中的模式被过度学习。

过度道歉与免责声明：模型频繁使用 "抱歉"、"需要注意的是"、"我不能保证" 等防御性表达。这种模式虽然降低了风险，但严重损害用户体验和输出可用性。

五、可操作的工程检测清单

基于上述分类体系，以下是可直接落地的检测参数与策略：

语义一致性检测：

• 对长文本进行段落级语义嵌入比对，设定余弦相似度阈值（建议 0.85）识别逻辑断裂
• 实施多轮生成一致性检查，对同一问题的多次回答进行语义聚类，异常离散度（语义熵过高）提示潜在幻觉

事实性验证层：

• 对命名实体进行 NER 提取并对接知识库验证
• 对数值声明设置置信度阈值，低置信度内容触发人工复核
• 时间敏感查询自动附加知识截止日期检查

风格监控指标：

• 建立语料风格指纹（formality score、readability index），实时监测偏离度
• 设置重复检测窗口（建议 3-5 句），n-gram 重复率超过阈值（建议 0.3）触发告警
• 统计防御性词汇密度，异常升高时提示可能的过度保守生成

输入 - 输出对齐检查：

• 使用意图分类器验证输出与输入任务的匹配度
• 对指令遵循进行结构化评估（如 JSON 格式校验、关键词命中检查）

六、结论与展望

LLM 气味分类体系的价值在于将模糊的质量直觉转化为可操作的工程知识。需要强调的是，没有单一的检测银弹能够覆盖所有气味类型。生产级系统应当采用分层防御策略：轻量级启发式规则进行快速过滤，语义一致性检查捕获中等复杂度的漂移，重型的知识检索和推理验证则留给高风险场景。

随着多模态模型和 Agent 系统的普及，气味分类体系也将持续演化。视觉 - 语言不一致、工具调用错误、多 Agent 协作中的信息失真等新气味类型正在涌现。建立可扩展的分类框架，将是 LLM 工程化落地的长期基础设施。

参考来源：

• Cossio, M. (2025). A comprehensive taxonomy of hallucinations in Large Language Models. arXiv:2508.01781
• Farquhar et al. (2024). Detecting hallucinations in large language models using semantic entropy. Nature

ai-systems