在大型语言模型（LLM）的应用中，直接摄入像素输入进行光学字符识别（OCR）而非依赖预提取的文本，已成为一种新兴范式。这种方法的核心在于利用视觉编码器将文档图像压缩为高效的视觉 tokens，从而保留原始布局、格式和多模态元素，避免传统文本提取过程中的信息丢失。相较于文本提取输入，像素输入不仅提升了文档解析的准确性，还显著提高了多模态推理的效率，尤其适用于处理复杂结构如表格、图表和手写笔记的场景。根据 DeepSeek-OCR 模型的实验验证，在 10 倍压缩比下，该方法可实现 97% 的解码精度，这为 LLM 的长上下文处理提供了可扩展路径。
传统 OCR 流程通常先通过规则或轻量模型提取文本，再输入 LLM 进行语义理解。这种两阶段方法虽高效，但易受提取误差影响，例如布局错乱或特殊符号遗漏，导致下游推理偏差。像素输入则绕过这一瓶颈，直接将图像馈入视觉 - 语言架构，如 DeepSeek-OCR 的 DeepEncoder 模块。该模块融合 SAM（Segment Anything Model）和 CLIP 架构，前者处理局部细节，后者捕获全局语义，从而生成少量视觉 tokens。这些 tokens 不仅编码文本内容，还隐含空间关系和视觉线索，使 LLM 能更好地模拟人类阅读过程。
证据显示，像素输入在准确性上优于文本提取。DeepSeek-OCR 在 ICDAR 2023 基准测试中，使用 256 个视觉 tokens 处理一页文档，OCR 精度达 97%，而传统文本提取模型如 MinerU0 需 6000 多个 tokens，且在复杂文档中精度仅 85%。Andrej Karpathy 在评论中指出：“像素是否比文本更适合作为 LLM 的输入？文本标记是否浪费且糟糕，作为输入。” 这一观点强调，像素输入支持双向注意力机制，避免自回归文本处理的顺序偏差，提升多模态任务如图表解析的 F1 分数达 15%。此外，在 OmniDocBench 高难度测试中，像素输入模型用 800tokens 超越文本基线 6000tokens，证明其在资源受限环境下的效率优势。
进一步比较功效，像素输入的压缩潜力是关键亮点。文本提取往往产生冗长序列，占用 LLM 上下文窗口，而像素输入通过二维映射实现高密度编码。例如，一页 1000 字文档的文本 tokens 约 1500 个，经 DeepSeek-OCR 压缩后仅需 150 视觉 tokens，减少 90% 开销。这不仅延长有效上下文长度，还降低推理延迟：在 A100 GPU 上，单页处理速度达 8.2 页 / 秒，显存占用 4.5GB。针对多模态推理，像素输入保留原始图像元素，如颜色和字体，支持 LLM 生成结构化输出，例如将图表转换为 JSON 表格，准确率提升 20%。反观文本提取，丢失视觉语义后，LLM 需额外提示恢复，增加 token 消耗和幻觉风险。
为落地这一技术，提供以下可操作参数和清单。首先，压缩阈值设置：高精度场景下维持 <10x 压缩比，确保 97% 解码率；中等负载使用 10-15x，平衡效率与准确；避免> 20x，以防 60% 精度阈值以下的细节丢失。监控要点包括：实时追踪 OCR F1 分数，若低于 95% 则触发回滚；显存使用率不超过 80%，结合动态分辨率调整（e.g., 低密度文本用 512x512 像素，高密度用 1024x1024）。集成清单：1) 预处理阶段，渲染纯文本为图像（使用 Pillow 库，DPI=300）；2) 部署 DeepEncoder，融合 SAM-base 前置窗口注意力和 CLIP-large 后置全局注意力；3) 解码器选用 MoE 架构，仅激活 570M 参数专家；4) LLM 接口适配视觉 tokens，扩展输入嵌入层支持双向注意力；5) 测试基准：用 ICDAR 数据集验证，目标精度 > 95%，延迟 < 1s / 页。回滚策略：若像素输入精度降至文本基线以下，切换混合模式，先提取文本作为 fallback，并日志记录压缩比与误差源。
在工程实践中，这些参数可根据场景微调。例如，金融文档解析优先高精度阈值，科研文献强调多模态深度解析，如分子式转 SMILES 格式。潜在风险包括低质量图像敏感性，建议预滤波增强对比度；tokenizer 缺失虽简化架构，但需补充 Unicode 兼容层处理特殊字符。总体而言，像素输入范式通过 DeepSeek-OCR 验证了其在提升文档解析准确性和多模态效率方面的优越性，推动 LLM 向通用视觉 - 语言系统演进。
资料来源：Andrej Karpathy Twitter 评论；DeepSeek-OCR 开源论文及基准测试结果。
（正文字数：1028）