2026 年 4 月，DeepSeek 发布 V4 Pro 预览版，官方技术报告宣称其在 SWE-Bench Verified、LiveCodeBench 等核心基准上与 GPT-5.4、Claude Opus 4.6 持平甚至领先。然而，NIST 下属 CAISI（AI 标准与创新中心）在 5 月发布的独立评估报告却给出了不同结论：DeepSeek V4 在厂商自报基准上表现亮眼，但在 CAISI 独立设计的未公开基准上，整体能力落后前沿模型约 8 个月。这种差异并非模型本身的问题，而是评估方法论与测试集设计的系统性分歧所致。
核心基准的多维拆解
DeepSeek V4 Pro 的基准表现呈现明显的领域分化。在代码生成维度，V4 Pro 展现出强劲竞争力：LiveCodeBench Pass@1 达到 93.5%，超越 Claude Opus 4.6 的 88.8% 和 Gemini 3.1 Pro 的 91.7%；Codeforces 评分 3206，领先 GPT-5.4 的 3168；SWE-Bench Verified 80.6% 与 Claude（80.8%）和 Gemini（80.6%）基本持平。这些数据支撑了官方 "开源模型首次在代码基准上追平闭源前沿" 的叙事。
但在知识检索与事实准确性维度，差距显现：Humanity's Last Exam（HLE）仅 37.7%，低于 Claude 的 40.0% 和 Gemini 的 44.4%；SimpleQA-Verified 57.9% 与 Gemini 的 75.6% 存在显著落差。这种分化揭示了一个关键事实 —— 不同基准测试的是模型的不同能力切面。代码基准（SWE-Bench、LiveCodeBench）评估的是结构化推理与程序合成能力，而 HLE 和 SimpleQA 则测试跨领域知识整合与事实召回能力。
数学推理维度呈现复杂图景：MMLU-Pro 87.5%、GPQA Diamond 90.1% 表现稳健，但 HMMT 2026 95.2% 落后于 Claude（96.2%）和 GPT-5.4（97.7%）。值得注意的是，V4 Pro 在 OTIS-AIME-2025 上取得 97%，PUMaC 2024 与 GPT-5.4 并列 96%，显示其在竞赛级数学问题上的强大潜力。
IRT 方法论与评估偏差
CAISI 评估采用项目反应理论（Item Response Theory, IRT）框架，这是心理测量学中用于评估考生能力的经典方法。在 IRT 模型中，每个模型被视为 "考生"，每个基准任务视为 "考题"，通过逻辑回归拟合模型能力参数 θ 与任务难度参数 δ，计算模型成功概率 p = σ(θ - δ)。这种方法的优势在于能够跨基准进行标准化比较，并给出置信区间估计。
CAISI 的关键发现是：DeepSeek V4 在自报基准上与 GPT-5.4 相当，但在 CAISI 独立设计的未公开基准（ARC-AGI-2 半私有集、PortBench 软件工程评估、CTF-Archive-Diamond 网络安全挑战）上表现明显落后。这种差异指向评估设计中的选择偏差问题 —— 厂商倾向于选择能展现模型优势的公开基准，而独立评估机构通过 "保留测试集"（held-out benchmarks）揭示模型的真实能力边界。
具体数据显示：在 ARC-AGI-2 半私有集上，V4 Pro 得分 46%，显著低于 GPT-5.5 的 79% 和 Claude 的 63%；在 PortBench（代码迁移任务）上得分 44%，低于 GPT-5.5 的 78% 和 Claude 的 60%。这些任务更接近真实世界的复杂软件工程场景，而非标准化的代码补全或数学证明。
长上下文效率的工程突破
V4 Pro 的架构创新体现在长上下文处理效率上。通过混合注意力机制（结合压缩稀疏注意力 CSA 与重度压缩注意力 HCA），在 1M token 上下文场景下，V4 Pro 仅需 V3.2 的 27% FLOPs 和 10% KV 缓存。这一优化直接转化为成本优势：输入 token $1.74/M（缓存命中 $0.0145/M），输出 token $3.48/M，约为 Claude Opus 4.6（$25/M）的七分之一。
在长上下文检索基准 MRCR 1M（百万 token 大海捞针测试）中，V4 Pro 达到 83.5%，超越 Gemini 3.1 Pro。这意味着在 RAG（检索增强生成）场景下，V4 Pro 能够以更低成本处理更长的上下文窗口，对于需要分析整本书籍、大型代码库或长对话历史的应用场景具有实际价值。
成本 - 精度权衡的工程实践
基于评估数据，可建立以下选型决策框架：
代码密集型场景：V4 Pro 在 LiveCodeBench、Terminal-Bench 2.0（67.9% vs Claude 65.4%）上的领先表现，结合其成本优势，使其成为代码生成与软件工程任务的首选。V4-Flash 版本（284B 总参数 / 13B 激活）在 SWE-Bench Verified 上达到 79.0%，与 Pro 版（80.6%）差距仅 1.6 个百分点，但成本降低约 90%，适合大规模代码补全场景。
知识密集型场景：对于需要准确事实召回的应用（研究助手、知识库问答），Gemini 3.1 Pro 在 SimpleQA 上的 75.6% 明显优于 V4 Pro 的 57.9%，应优先考虑。
数学推理场景：V4 Pro 在竞赛级数学基准上表现优异，适合数学教育、自动定理证明等应用。值得注意的是，V4-Flash 在 Putnam 数学证明任务上取得 81.0%，显著优于 Seed-2.0-Pro（35.5%）和 Gemini-3-Pro（26.5%），显示小参数模型在特定推理任务上的意外优势。
Agent 工作流场景：CAISI 评估显示 V4 Pro 在 CTF-Archive-Diamond（网络安全挑战）上得分 32%，与 GPT-5.4 mini 持平但远低于 GPT-5.5 的 71%。对于需要复杂工具调用与多步推理的 Agent 应用，闭源模型仍保持领先。
评估方法论的可落地建议
对于正在评估模型选型的工程团队，建议采用以下实践：
-
多维度基准覆盖：不要依赖单一基准（如 MMLU）做决策，应至少覆盖代码（SWE-Bench/LiveCodeBench）、数学（MATH/GPQA）、知识（SimpleQA/HLE）、推理（ARC-AGI）四个维度。
-
保留测试集验证：在公开基准之外，构建内部保留测试集，覆盖真实业务场景。厂商自报数据存在选择偏差，独立验证不可或缺。
-
成本归一化比较：比较模型时，应将准确率与每百万 token 成本结合计算 "有效成本"—— 即达到目标准确率所需的实际支出。V4 Pro 在 5/7 的 CAISI 基准上比 GPT-5.4 mini 更便宜，范围从便宜 53% 到贵 41%。
-
版本锁定与复测：基准结果高度依赖模型版本（如 GPT-5.4 vs 5.5），在采购决策中应明确版本号，并建立定期复测机制。预览版模型（如当前 V4 Pro）在正式发布后可能出现性能调整。
-
场景化选型：避免 "最好模型" 思维，建立 "场景 - 模型" 映射表。V4 Pro 是代码与长上下文场景的高性价比选择，但在知识检索与复杂 Agent 任务上仍需权衡。
DeepSeek V4 Pro 的发布标志着开源模型在特定能力维度上已具备与闭源前沿竞争的实力，但评估方法论的成熟比模型本身更能决定技术选型的成功率。理解基准背后的测试逻辑、识别厂商自报数据的潜在偏差、建立内部验证体系，是工程团队从 "追逐最高分" 转向 "最优成本 - 效用比" 的关键跃迁。
资料来源
- NIST CAISI Evaluation of DeepSeek V4 Pro (2026-05)
- DeepSeek Benchmarks 2026: V4-Pro & V4-Flash Results
内容声明：本文无广告投放、无付费植入。
如有事实性问题，欢迎发送勘误至 i@hotdrydog.com。