思维链（Chain-of-Thought, CoT）提示工程自 2022 年提出以来，已成为提升大语言模型（LLM）复杂推理能力的标准方法。通过引导模型生成逐步推理路径，CoT 在数学、常识和符号任务上显著优于零样本或少样本提示，尤其在大模型如 PaLM 540B 上表现突出。然而，随着工程实践深入，CoT 的缺陷日益凸显：推理链长度爆炸导致 token 消耗激增、一致性低因贪婪解码易陷入局部最优、幻觉在链中放大引发灾难性错误。这些问题在生产环境中放大，促使从业者转向更鲁棒的替代方案，如自我一致采样（Self-Consistency）和蒙特卡罗树搜索（MCTS）增强的思维树（Tree-of-Thoughts, ToT）。
首先剖析 CoT 的核心缺陷。长度爆炸是首要痛点：复杂任务如 GSM8K 数学题，CoT 链往往超过 500 tokens，甚至上千，推理延迟成倍增加。在高并发场景下，单次调用 token 预算易超限，成本飙升。以 GPT-4 为例，标准 CoT 在长链任务中 token 利用率不足 60%，剩余空间被冗余填充。其次，一致性低源于贪婪解码：模型每步选最高概率 token，形成单一路径，忽略备选方案。Samsja 在其文章中指出，“CoT 的贪婪解码往往导致不一致结果，尤其在分支决策点”。实验显示，GSM8K 上贪婪 CoT 准确率仅 57%，而备选路径可救场。最后，幻觉放大：中间步微错（如算术失误）会级联传播，后续依赖失效。报告显示，CoT 链中幻觉率达 15%，远高于直接提示的 8%。
为缓解这些，转向 Self-Consistency 实践。该方法保留 CoT 生成链，但替换贪婪解码为采样多路径后投票。核心流程：1）用 CoT 提示生成 N 条独立链（N=20-40）；2）从每链末尾提取答案；3）多数投票或边际化选最一致者。参数推荐：采样数 N=40（平衡准确与延迟，提升 17.9% GSM8K）；温度 temp=0.7（确保多样性，避免模式崩溃）；max_tokens=1024 / 链。落地清单：A）预热采样 5 条验证提示有效；B）并行调用 API 减延迟（e.g. OpenAI batch）；C）后处理解析答案（正则匹配数字 / 选项）；D）监控一致率，若 < 80% 则回滚零样本。工程中，Self-Consistency 在 SVAMP 上提升 11%，AQuA 12.2%，无需改模型，仅增 2-5x 计算。
进一步，MCTS 驱动的 ToT 提供系统搜索替代。ToT 将推理建模为树：根节点为问题，每 “thought”（20-100 tokens 连贯步）为节点，分支由生成器产生（k=3-5 备选）。搜索算法（BFS/DFS/MCTS）探索：MCTS 迭代模拟 1000 次，选 / 扩 / 回传价值。价值评估用 LLM 提示：“此状态解决进度 0-10 分？”。参数：分支因子 k=5、深度 4（预算内最优）、模拟数 1000、价值提示 “评估此部分解题价值，高分表示接近解”。清单：A）thought 分解提示 “生成 3 种续想”；B）评估器零样本 CoT “打分并解释”；C）剪枝阈值 < 4 分丢弃；D）BFS 低深度广搜，MCTS 高预算深搜。ToT 在 24 点游戏解决率 74%（CoT 仅 4%），创意写作连贯性 + 50%。与 Self-Consistency 互补，前者投票多链，后者搜索树状。
落地监控与回滚至关重要。部署清单：1）A/B 测试：CoT vs Self-Consistency vs ToT，指标准确率 /token/ 延迟；2）阈值：一致率 <70% 或 token>2k 回滚；3）日志：链 / 树可视化，幻觉检测（事实校验 API）；4）预算：Self-Consistency 40 路径 < 5s，MCTS 1000 模拟 < 10s（GPU 并行）；5）规模：7B + 模型生效，小模型用 Self-Consistency。风险：高采样噪声（降 temp）、评估偏差（多 LLM 投票）。实测生产：推理服务准确 + 15%，成本控 2x 内。
总之，CoT 缺陷推动工程向采样与搜索演进。Self-Consistency 参数简单即插即用，MCTS-ToT 战略规划强。结合监控，形成闭环实践。
资料来源：Samsja《What I don’t like about chains of thoughts》；Self-Consistency 论文（arXiv）；ToT 论文（arXiv:2305.10601）；HN 讨论。