揭秘 LLM 如何“看见”字符：从字节流到分治策略，告别分词限制

大型语言模型（LLM）的能力边界似乎每天都在拓展，它们可以撰写代码、创作诗歌、甚至进行复杂的逻辑推理。然而，这些庞然大物却常常在一些看似微不足道的任务上“翻车”，例如倒序拼写一个单词、执行 ROT13 密码替换，或者精确统计一段文本中某个特定字符的数量。这种现象的核心症结，在于绝大多数主流 LLM 赖以处理文本的基础——分词（Tokenization）。

本文将深入探讨分词机制为何成为 LLM 精细操作字符的“阿喀琉斯之踵”，并重点介绍两种前沿的解决方案：一种是通过架构革新，让模型直接“看见”并处理原始字节流；另一种则是巧妙利用提示工程，通过“分而治之”的策略引导现有模型完成复杂的字符级任务。

分词：效率与局限性的双刃剑

为了处理自然语言，LLM 无法直接消化原始的文本字符串。它们需要先将文本切分成一系列称作“令牌”（Token）的离散单元，然后将这些令牌转换为数值向量进行后续计算。当前最流行的分词算法，如字节对编码（Byte Pair Encoding, BPE）和 WordPiece，采用了一种子词（Subword）策略。

这种策略的初衷是为了在词汇表大小和序列长度之间取得平衡。它会将常见词或词根（如 "language", "model"）保留为单个令牌，而将不常见的词（如 "tokenization"）切分为多个子词令牌（例如 "token" 和 "ization"）。这种做法极大地提高了处理效率，并能有效应对词汇表外（Out-of-Vocabulary, OOV）的问题。

然而，效率的代价是精度的损失。一旦一个或多个字符被打包成一个原子化的、不可再分的令牌，模型就失去了访问其内部字符结构的能力。对于模型而言，“strawberry”可能不是由 10 个独立字母组成，而是被视为一个或两个完整的令牌。因此，当你要求它倒序拼写这个单词时，它实际上无法“看到”构成这个单词的字母 s-t-r-a-w-b-e-r-r-y，自然也就难以完成任务。这正是为何 LLM 在执行字符串反转、字符替换等基础操作时表现不佳的根本原因。

架构突围：拥抱字节流的“感知字符”模型

要从根本上解决这个问题，最直接的方法就是彻底抛弃或改造分词阶段，让模型具备直接感知原始字符或字节的能力。这催生了“感知字符”（Character-aware）或“无分词器”（Tokenizer-free）的模型架构。

这类模型的典型代表是 ByT5，它直接在 UTF-8 字节序列上进行操作。在这种设计下，输入的任何文本都被编码为其底层的字节表示。由于任何文本都可以由有限的 256 个字节组合而成，这种方法彻底消除了 OOV 问题，并且赋予了模型前所未有的细粒度。无论是单个字母、一个汉字还是一个 emoji，模型都能在最基础的层面上进行观察和处理。

核心优势与技术参数：

1. 完全的字符可见性：模型可以直接访问和操作文本的每一个字节，使得字符级的任务（如拼写、反转）变得易如反掌。
2. 跨语言通用性：BPE 等分词器通常需要针对特定语言进行训练，而字节流天然支持所有遵循 UTF-8 编码的语言，具有更强的普适性。
3. 鲁棒性：对拼写错误、文本噪声和对抗性攻击（如使用特殊 Unicode 字符）的抵抗力更强，因为这些变体无法轻易“欺骗”分词器。

工程挑战与权衡：

然而，这种架构并非没有代价。最主要的挑战在于序列长度的急剧增加。一个由 10 个字符组成的单词，在子词模型中可能只占 2-3 个令牌，但在字节流模型中则会扩展成 10 到 40 个字节（取决于具体编码）。考虑到 Transformer 架构的注意力机制计算复杂度与序列长度的平方成正比，这意味着更高的计算成本和内存消耗。因此，开发者在使用这类模型时，必须更谨慎地管理 max_sequence_length 参数，并为其配备相应的计算资源。

为了平衡性能与效率，研究人员也开始探索混合模型，即结合子词令牌和字符/字节级嵌入，期望在保留宏观语义理解效率的同时，兼顾微观的字符操作能力。

算法巧思：“分而治之”的提示工程

对于无法更换模型架构、只能使用现有 API 的广大开发者而言，是否就束手无策了呢？答案是否定的。最近的研究提出了一种名为“分而治之”（Divide and Conquer）的巧妙框架，它无需对模型进行任何重新训练，仅通过精心的提示设计，就能引导标准 LLM 完成复杂的字符级操作。

该方法将一个复杂的任务分解为三个逻辑步骤，并通过一系列提示按顺序执行：

1. 分解（Decomposition）：首先，指示模型将目标字符串“原子化”，即分解为单个字符的列表。

   • 提示示例：“请将单词 ‘innovation’ 分解成一个字符列表，并用空格分隔。”
   • 模型输出：“i n n o v a t i o n”

2. 操作（Manipulation）：在分解后的字符列表上，指示模型执行具体操作。

   • 提示示例：“现在，请将这个字符列表反转过来。”
   • 模型输出：“n o i t a v o n n i”

3. 重建（Reconstruction）：最后，要求模型将处理过的字符列表重新组合成一个完整的字符串。

   • 提示示例：“最后，请将这些反转后的字符合并成一个单词。”
   • 模型输出：“noitavonni”

正如一篇相关研究所指出的，“通过将复杂的任务分解为明确的字符级子任务，可以显著提高模型在处理 token 级别结构时的敏感度。” 这种方法的本质，是将隐式的字符推理过程，转化为模型能够理解和执行的、显式的、基于符号操作的步骤。这套“组合拳”有效地绕过了分词器带来的认知盲区。

实践要点与参数调优：

• 提示的清晰度：该框架的成功高度依赖于提示的精确性和无歧义性。每个步骤的指令必须清晰、独立。
• 结构化输出：要求模型以特定格式（如列表、JSON）输出中间步骤的结果，有助于增强后续操作的稳定性。
• 思维链（Chain-of-Thought）：结合思维链技术，让模型在执行每一步时先“思考”再作答，可以进一步提升复杂操作的准确率。

结论：迈向更精细的语言智能

LLM 在字符级操作上的挣扎，深刻揭示了当前主流技术路径中一个看似微小却影响深远的设计权衡。为了克服这一障碍，业界正沿着两条并行路径探索：以 ByT5 等模型为代表的架构革新，通过拥抱字节流，从根本上赋予模型细粒度的感知能力；以及“分而治之”等算法框架，通过巧妙的提示工程，在现有模型上实现精准的字符控制。

对于追求极限性能和通用性的模型研究者而言，探索更高效的字节级或混合架构将是未来的重要方向。而对于应用开发者来说，掌握“分而治之”这类提示策略，是将现有 LLM 能力运用到极致、解决具体场景中精细文本处理需求的实用利器。无论路径如何，让 LLM 从理解“词块”到洞察“字符”，是其迈向更全面、更精确智能的关键一步。