当我们评估一个大语言模型的能力时，往往依赖 MMLU、HumanEval 等标准化基准。这些基准固然重要，但它们难以捕捉模型在真实场景中理解用户意图的能力。最近，Opper AI 开展的 Car Wash 基准测试提供了一个独特的视角 —— 用一道看似简单的问题，测试 53 个主流 LLM 的推理表现。
Car Wash 基准的设计逻辑
Car Wash 基准的核心问题非常简洁：「我想洗车。洗车场离我大约 40 到 50 米。我应该走路去还是开车去？」这个问题的答案显然应该是「开车」，因为你要洗的是那辆车，必须把车开到洗车场去。然而，正是这个看似 trivial 的问题，暴露了众多模型在常识推理和意图理解上的深层缺陷。
这个基准的设计巧妙之处在于，它刻意设置了一个「干扰项」。走路只有 50 米，健康、环保 —— 这些看起来合理的考量因素，实际上完全偏离了用户的核心意图。模型能否抵制这种表面合理但实质错误的推理路径，才是测试的真正目的。一个合格的模型应当理解：用户的问题是关于如何让车到达洗车场，而不是关于个人出行方式的选择。
测试采用的是零样本 prompting，每个模型被要求回答 10 次，记录正确次数作为得分。这种设计虽然样本量不大，但足以识别出模型在推理稳定性方面的显著差异。
53 个模型的测试结果全景
测试结果揭示了当前大语言模型阵营在推理能力上的巨大鸿沟。获得满分 10/10 的模型仅有 5 个：Claude Opus 4.6、Gemini 2.0 Flash Lite、Gemini 3 Flash、Gemini 3 Pro 以及 Grok-4。这些模型展现出了稳定且正确的意图理解能力，无论重复提问多少次，都能准确识别用户需要将车开到洗车场这一核心需求。
紧随其后的是 8/10 级别的模型，包括 GLM-5 和 Grok-4-1 Reasoning。这些模型在大多数情况下能够正确推理，但存在偶尔失效的情况，说明其推理链路还不够稳健。值得注意的是，GPT-5 作为最新一代模型，得分仅为 7/10，10 次尝试中有 3 次给出了错误的「走路」建议，这个结果颇具讽刺意味 —— 最新最强的模型反而在简单常识题上栽了跟头。
最令人震惊的是所谓的「失败阵营」。在 53 个被测试的模型中，有 33 个模型得分挂零，包括 GPT-4o、GPT-4.1、GPT-5-mini、GPT-5-nano、所有 Llama 系列模型、所有 Mistral 系列模型，以及部分 DeepSeek 和 Grok 版本。这意味着这些模型在 10 次尝试中从未正确回答过这个问题，它们无一例外地选择了「走路」，并给出了听起来合理但完全错误的理由。
失败案例的深层剖析
为了理解模型为何会失败，我们来看几个典型错误模式。最常见的一类是「环保健康派」—— 模型会煞有介事地论证走路更健康、更环保，50 米的距离走路对身体有益处。这类回答完全忽略了问题的前提：用户要洗的是那辆车，不是人。模型被表面合理的道德考量带了节奏，忘记了任务的核心目标。
更有甚者，Perplexity Sonar 模型展现了一种堪称「过度思考」的错误风格。它曾给出过一个令人哭笑不得的回答：走路其实更不环保，因为走路会消耗卡路里，而食物生产会产生碳排放，所以开车反而可能是更环保的选择。这种链式推理看似逻辑严密，实则完全偏离了任务本质 —— 它聪明地分析了一个根本不应该被分析的问题。
这些失败案例揭示了当前模型在工具性推理层面的根本缺陷。模型能够进行复杂的逻辑推导，却在理解「我想要 X」这个简单陈述的目标意图上栽跟头。这与 prompt engineering 无关，与模型架构和训练数据中的推理模式密切相关。
给工程师的选型建议
基于 Car Wash 基准的结果，我们可以提炼出几条实用的模型选型原则。首先，对于需要精确理解用户意图的生产系统，应优先选择在该基准上表现稳定的模型。Claude Opus 4.6、Gemini 2.0 Flash Lite 和 Grok-4 是当前最可靠的选择，它们不仅能正确回答简单问题，其推理稳定性也在长期运行中得到验证。
其次，这个基准也提醒我们不能盲目迷信最新模型。GPT-5 虽然参数更大、能力更强，但在简单意图理解任务上的表现甚至不如一些更老的模型。这说明模型的通用能力与特定场景下的推理表现并不完全正相关。在选型时，应当针对具体业务场景进行针对性测试，而不是单纯追求模型代际。
第三，对于必须在生产环境中使用失败阵营模型的情况，工程师需要设计额外的校验机制。例如，可以在 prompt 中加入明确的约束条件，如「请记住，你需要洗的是那辆车」，或者在应用层增加结果验证逻辑。这些补救措施虽然不是最优解，但在模型能力受限的情况下是务实的选择。
基准测试的局限性
Car Wash 基准虽然提供了有价值的洞察，但我们也要清醒地认识到它的局限性。首先，10 次采样的统计显著性有限，单次失败可能只是噪声而非系统性缺陷。其次，这个基准只测试了单一维度的能力 —— 意图理解，无法代表模型的整体智能水平。一个在 Car Wash 上表现糟糕的模型，可能在代码生成或数学推理上表现出色。
Opper AI 的 TaskBench 提供了更全面的评估框架，涵盖上下文推理、SQL、agents、规范化、多语言等多个维度。Car Wash 测试更像是一个「快速健康检查」，而非完整的性能评估体系。工程师在选型时，应当结合业务场景的具体需求，选择多个基准进行综合评估。
结语
Car Wash 基准以其简洁的设计，揭示了当前大语言模型在常识推理和意图理解方面的真实水平。53 个模型中仅有 5 个获得满分，这个比例本身就说明了问题的普遍性。对于 AI 系统的构建者而言，这项测试的价值不仅在于提供了一个选型参考，更在于提醒我们：模型的智能不是均匀分布的，在看似简单的问题上，强大的模型也可能犯下低级错误。在生产环境中，永远需要对模型输出保持审慎的验证态度。
资料来源：Opper AI TaskBench（https://opper.ai/models）