在传统的多模型部署架构中，一次请求通常只路由至单一模型执行，无论该请求是需要推理、创意写作还是代码生成。然而，随着模型能力分化加剧 —— 不同模型在推理深度、指令遵循、领域知识等方面各有所长 —— 业界开始探索更为精细的资源调度策略。OpenAI Prism 系统正是这一探索的典型代表，其核心创新在于将模型路由的粒度从请求级别推进至 token 级别，使单个生成过程能够根据语义片段的内在需求动态切换执行模型。本文将从工程实现角度深入剖析这一机制的关键挑战与解决方案。
从请求级到 token 级的范式跃迁
传统的请求级路由遵循「输入分析 — 模型选择 — 完整生成」的模式。系统在接收用户请求后，首先解析意图并评估复杂度，随后将整个请求导向最优模型完成生成。这种方式实现简单、延迟可控，但存在明显的效率瓶颈：对于复杂请求中相对简单的子任务（如基础描述、格式转换），调用大型推理模型往往造成资源浪费；而对于包含专业领域的请求，单一模型可能无法在所有片段上保持一致的高质量输出。
Token 级路由则打破了这一局限。在自回归解码的每一步，系统都会评估当前上下文并决定由哪个模型生成下一个 token。这种设计允许系统发挥不同模型的比较优势：推理密集型的中间步骤可由具备强大思维链能力的模型处理，而事实性陈述或格式化的输出则可交由语言建模更为精准的模型完成。理论上，这种细粒度的协作能够实现超越单一模型的综合表现，同时通过任务匹配实现成本优化。
然而，从工程角度看，token 级切换带来的复杂性远超请求级路由。主要挑战集中在三个层面：状态管理的连续性、概率空间的对齐、以及决策开销的控制。任何实际可用的系统都必须在这三者之间找到恰当的平衡点。
KV 缓存管理的工程困境与应对
现代大型语言模型依赖 Key-Value 缓存机制来加速自回归生成。在标准流程中，每个 transformer 层都会维护已生成 token 对应的 KV 向量集合，这些向量在后续推理中复用，避免了重复计算。当请求在整个生命周期内由单一模型处理时，缓存管理相对直接：缓存的生命周期与请求绑定，资源释放时机明确。但 token 级路由彻底改变了这一前提。
当系统在生成过程中切换模型时，新模型无法直接复用前序模型积累的 KV 缓存，原因在于不同模型通常具有不同的层数、注意力头配置和词表嵌入空间。即使是架构相近的模型，其参数化位置编码或 rotary embedding 的具体实现也可能存在差异，导致缓存无法兼容。这意味着每次模型切换都可能触发缓存失效，迫使新模型从空状态开始重新计算上下文表示。
针对这一问题，工程实践中通常采用两种应对策略。第一种是「预测性缓存复用」，即在切换发生前预先计算新模型可能需要的通用表示。例如，对于跨越多个模型的请求，可以事先提取并缓存文本的词嵌入序列，这些嵌入通常与模型无关，可在任意模型中作为初始输入。第二种是「状态快照与迁移」，系统定期保存当前上下文的中间表示快照，当模型切换发生时，新模型从最近的快照点继续计算，而非从头开始。后者需要模型架构层面的兼容性支持，通常仅在同系列模型间可行。
从性能角度看，缓存失效的影响程度取决于切换频率和序列长度。如果系统频繁在不同模型间跳变，缓存复用率将大幅下降，整体推理开销可能反而高于使用单一大型模型。因此，实际部署中需要根据模型切换模式的统计分布来调优缓存策略参数，包括快照保存间隔、嵌入预计算深度等。
Logit 对齐与概率空间融合
Token 级多模型协作的另一个核心挑战在于不同模型输出的概率分布可能存在显著差异。每个模型都有其独特的词表分布偏好：某些模型可能倾向于使用同义词 A 而非 B，另一个模型则可能恰好相反。当系统需要在多个模型的输出之间进行选择或融合时，直接比较原始 logit 数值是没有意义的，因为这些数值来自不同的数值空间。
解决这一问题的基础思路是对齐后的概率融合。一种常见做法是以目标模型的词表为基准，将源模型的 logit 映射到同一空间。对于共享词汇，可以通过校准系数调整概率尺度；对于词汇表中的独占词汇，则需要设计合理的填充或回退策略。另一种思路是绕过概率直接比较，转而使用隐空间表示的相似度作为决策依据，即根据当前上下文与各模型训练分布的匹配程度来选择执行模型。
在实际工程中，对齐策略的选择直接影响输出的稳定性和质量。过于激进的融合可能导致输出风格不一致，频繁在不同模型的「说话风格」之间跳变，使生成文本显得不连贯。因此，许多系统会在模型切换时引入风格平滑机制，通过插值或加权平均的方式逐步过渡，而非突然切换。不过，这种平滑操作本身也会引入额外的计算开销，需要在质量与效率之间进行权衡。
路由决策的延迟开销与优化
Token 级路由的第三个工程挑战在于决策本身的延迟。在传统请求级路由中，模型选择通常在请求入口处一次性完成，后续生成过程不再涉及路由逻辑。但 token 级路由需要在自回归的每一步都执行决策判断，这可能包括上下文编码、置信度评估、模型选择等多个环节。如果这些操作本身的开销过高，整个系统的响应延迟将难以满足实际应用需求。
优化决策延迟的工程实践通常从三个方向入手。首先是决策模型的轻量化：路由判断可以使用一个远小于主模型的小型网络，甚至基于规则或启发式方法实现，将每次决策的计算成本控制在可接受范围内。其次是批处理与预计算：对于具有相似上下文的 token 生成请求，可以批量执行路由决策，避免重复计算。再次是决策缓存：如果连续多个 token 的上下文变化不大，系统可以复用之前的路由决策结果，跳过当次判断。
从架构角度看，路由决策的延迟预算通常被限制在单个 token 生成时间的 5% 至 10% 以内，否则用户感知的响应速度将显著下降。这意味着路由模块必须经过精心优化，不能成为系统瓶颈。在某些极端低延迟场景下，系统甚至会退化为请求级路由，仅在关键节点（如需要复杂推理的段落开始处）才触发 token 级决策。
工程参数与监控要点
对于计划构建类似 token 级路由系统的工程团队，以下参数值得重点关注。路由置信度阈值决定了模型切换的触发条件，设置过低会导致频繁跳变、增加开销，设置过高则可能错失优化机会，典型值区间为 0.7 至 0.9。切换惩罚系数用于抑制不必要的模型振荡，即在短时间内连续切换回之前模型的场景，可设为 0.3 至 0.5。缓存预计算深度决定了上下文嵌入的预计算范围，通常取 32 至 128 个 token 作为滑动窗口。
监控层面，应重点追踪的指标包括：模型切换频率分布、缓存复用率、平均切换延迟、端到端生成延迟与基准模型的对比、以及输出质量的人工评估分数。这些指标能够帮助团队识别系统中的瓶颈环节，指导参数调优方向。
Token 级多模型路由代表了大型语言模型部署架构的重要演进方向。通过将模型选择粒度推进至 token 级别，系统能够更精细地匹配任务需求与模型能力，实现性能与成本的双重优化。然而，这一范式也带来了 KV 缓存管理、logit 对齐和决策延迟等新的工程挑战。实际落地需要在多个维度上进行权衡，并根据具体业务场景调优相关参数。随着模型架构逐渐趋同、跨模型状态迁移技术日益成熟，token 级路由的工程复杂度有望进一步降低，成为多模型服务的标准实践模式。
资料来源：本文参考了 HN 讨论区关于 OpenAI Prism 的技术讨论、Emergent Mind 对 Token-Level Multi-LLM Collaboration 的概述，以及 Kleiber 对 LLM 路由基础原理的系统性梳理。