在大语言模型（LLM）落地生产环境的实践中，推理失败检测是一个长期被忽视的领域。现有技术文章大多聚焦于推理优化（如 KV-cache、量化、流式延迟）与安全护栏（如 guardrails 绕过检测），却很少讨论 LLM 推理过程本身可能出现的系统性失败模式。2026 年发表的综述论文《Large Language Model Reasoning Failures》首次系统性地提出了推理失败的分类框架，为工程化检测提供了理论基础。本文基于该论文的分类学，构建一套生产级 LLM 推理失败检测系统，涵盖运行时失败模式识别、可观测性指标与自动降级策略。
一、推理失败的两轴分类体系
论文提出了一种二维分类框架，将推理失败沿着两个独立轴进行划分。第一个轴是推理类型（Reasoning Type），分为具身推理（Embodied Reasoning）和非具身推理（Non-embodied Reasoning），后者进一步细分为非正式推理（Informal/Intuitive）和正式推理（Formal/Logical）。第二个轴是失败类型（Failure Type），包括根本性失败（Fundamental Failures，应用级架构与训练内在缺陷）、应用特定局限（Application-specific Limitations，特定领域能力不足）和鲁棒性问题（Robustness Issues，对输入扰动的敏感性）。
这种分类的价值在于，它将分散在不同研究领域的失败模式统一到同一框架下，使得检测系统可以针对不同维度设计针对性的监控策略。例如，根本性失败通常源于模型架构层面的限制，如工作记忆容量不足导致的长上下文推理断裂；鲁棒性问题则表现为对微小输入变化的剧烈响应，如前提词序变化导致准确率大幅下降。
二、运行时失败模式识别机制
2.1 工作记忆与注意力分散检测
LLM 的工作记忆容量显著低于人类，这在 Transformer 架构中表现为注意力分散（Attention Dispersion）问题。当推理链过长时，模型难以有效聚焦相关信息，导致前摄干扰（Proactive Interference）现象 —— 早期信息严重干扰后期信息的检索。工程实践中可通过以下指标检测此类失败：生成的 token 序列中出现与当前推理步骤无关的重复模式频率、推理步骤数超过阈值（如超过 8 步）后的准确率衰减曲线、以及自回归生成过程中注意力权重的熵值变化。
具体检测阈值建议如下：当单次推理的思维链（Chain-of-Thought）步骤数超过 12 步时，触发增强监控；注意力权重熵值在连续 3 个推理步骤内上升超过基准值的 20% 时，标记为高风险状态。监控周期建议设置为滑动窗口 5 分钟，采样频率不低于每秒 1 次推理请求。
2.2 认知偏差的在线检测
LLM 在训练过程中继承了人类认知偏差，包括确认偏差（Confirmation Bias）、锚定偏差（Anchoring Bias）和框架效应（Framing Effect）。确认偏差表现为模型倾向于生成支持先前假设的论证，而忽视反驳证据。锚定偏差指早期输入信息不成比例地影响后续推理。框架效应则体现为相同语义内容在不同表述下产生差异化结论。
在线检测需要构建多版本探测输入集。对同一语义问题，生成至少 3 种不同表述方式（改变问题框架、调整选项顺序、替换无关实体），计算模型输出的一致性。当一致性低于 70% 时，判定存在框架效应风险。锚定偏差检测则在探测 prompt 中插入数值锚点（如 “假设预算为 X 元”），观察后续推理是否过度依赖该数值，偏离基准超过 30% 视为异常。
2.3 反转诅咒与组合推理失败
反转诅咒（Reversal Curse）是 LLM 的标志性失败模式：模型在训练数据中见过 "A is B"，却无法推理出 "B is A"。例如模型知道 "Tom Cruise 的母亲是 Mary Lee Pfeiffer"，但被问及 "Mary Lee Pfeiffer 的儿子是谁" 时则无法回答。组合推理（Compositional Reasoning）失败则表现为模型能够正确处理单个推理步骤，但在多步组合时失败 —— 两跳关系推理准确率显著低于单跳推理。
检测策略包括：在知识密集型推理场景中构造双向探测问题对，计算正反向推理的一致率；组合推理失败则可通过插入无关干扰项的复合问题来激发，观察模型是否能够正确忽略干扰并完成组合推导。建议的触发阈值是：双向一致性低于 85%、组合推理准确率较单步推理下降超过 25 个百分点。
2.4 心理理论与社会推理缺陷
心理理论（Theory of Mind，ToM）失败是社交推理中的关键风险。模型在低阶 ToM 任务（如理解他人错误信念）上表现尚可，但在高阶 ToM（理解 "A 认为 B 认为 C 知道" 这类嵌套心智状态）上准确率急剧下降。这种失败在多轮对话中尤为危险，可能导致模型误解用户意图并生成不恰当的响应。
检测机制需要构造标准化 ToM 探测集，包含至少 30 个不同复杂度的心智状态推理问题，按嵌套深度分层。实时监控指标为高阶 ToM 问题（嵌套深度≥3）的准确率，当其低于同批次基线 20 个百分点时触发告警。同时在对话日志中标记包含情感推理依赖的上下文，纳入人工复核队列。
三、可观测性体系与关键指标
生产级检测系统需要完善的监控体系。建议采用多层级指标架构：请求级指标捕获单次推理的特征（响应延迟、token 数、置信度分布）；会话级指标聚合多轮交互中的推理一致性；系统级指标追踪跨请求的异常模式聚类。
核心可观测性指标包括：推理成功率（定义为输出通过完整性校验且符合预期格式的比例，目标值应维持在 95% 以上）、认知偏差暴露指数（通过探测集评估，理想值应低于 0.15）、思维链质量评分（基于中间推理步骤的逻辑连贯性评估，建议使用自动化评估与人工抽检结合）、以及回退触发频率（统计降级策略被触发的次数占比，异常阈值设为超过 5% 请求）。
告警分级建议采用三级制：黄色预警对应单一指标超过阈值但不影响最终输出；橙色预警对应核心指标持续恶化或多个次要指标同时超标；红色告警则意味着推理失败正在导致业务结果错误，需要立即介入。
四、自动降级策略设计
检测系统的最终目的是在发现推理失败时能够自动触发降级策略，保障服务质量。建议采用分层降级机制：第一层降级是简化推理路径 —— 将多步推理压缩为单步直接回答，适用于工作记忆过载检测；第二层降级是切换模型 —— 从大型推理模型切换到小型稳定模型，适用于持续性认知偏差暴露；第三层降级是回退到检索增强生成（RAG）模式，引入外部知识库校验模型输出，适用于知识型推理失败。
降级触发条件需要精细配置。以组合推理失败为例，建议的自动降级规则为：连续 3 次组合推理请求失败，或单日内组合推理准确率低于 80%，则将后续同类请求自动切换至 RAG 模式。对于 ToM 相关推理失败，考虑到其高风险性，建议采用更保守的策略 —— 检测到任何高阶 ToM 失败即触发人工复核流程，并将响应置信度阈值上调至 0.9 以上。
五、工程实现要点
构建检测系统还需要关注以下工程实践。数据采集层面，需要对推理请求进行采样以平衡检测开销与覆盖度，建议采样率不低于 10%，高风险场景应达到 100%。模型集成层面，检测模块应与推理服务解耦，通过异步消息队列通信，避免引入额外延迟。存储层面，推理日志需要支持实时查询与批量分析，推荐使用时序数据库存储原始轨迹，对外提供统一查询接口。
检测系统的迭代优化同样重要。建议每月更新探测集以覆盖新发现的失败模式，每季度校准阈值参数以适应模型版本演进，并建立用户反馈闭环 —— 将实际业务场景中的推理错误 case 回流用于优化检测规则。
资料来源
本文主要参考论文《Large Language Model Reasoning Failures》（arXiv:2602.06176），该论文首次系统性地对 LLM 推理失败进行了分类，涵盖非具身推理中的形式推理与非形式推理失败，以及具身推理中的多模态物理推理失败，为工程化检测提供了理论框架。