在大型语言模型（LLM）的应用中，直接摄入像素输入进行光学字符识别（OCR）而非依赖预提取的文本，已成为一种新兴范式。这种方法的核心在于利用视觉编码器将文档图像压缩为高效的视觉tokens，从而保留原始布局、格式和多模态元素，避免传统文本提取过程中的信息丢失。相较于文本提取输入，像素输入不仅提升了文档解析的准确性，还显著提高了多模态推理的效率，尤其适用于处理复杂结构如表格、图表和手写笔记的场景。根据DeepSeek-OCR模型的实验验证，在10倍压缩比下，该方法可实现97%的解码精度，这为LLM的长上下文处理提供了可扩展路径。
传统OCR流程通常先通过规则或轻量模型提取文本，再输入LLM进行语义理解。这种两阶段方法虽高效，但易受提取误差影响，例如布局错乱或特殊符号遗漏，导致下游推理偏差。像素输入则绕过这一瓶颈，直接将图像馈入视觉-语言架构，如DeepSeek-OCR的DeepEncoder模块。该模块融合SAM（Segment Anything Model）和CLIP架构，前者处理局部细节，后者捕获全局语义，从而生成少量视觉tokens。这些tokens不仅编码文本内容，还隐含空间关系和视觉线索，使LLM能更好地模拟人类阅读过程。
证据显示，像素输入在准确性上优于文本提取。DeepSeek-OCR在ICDAR 2023基准测试中，使用256个视觉tokens处理一页文档，OCR精度达97%，而传统文本提取模型如MinerU0需6000多个tokens，且在复杂文档中精度仅85%。Andrej Karpathy在评论中指出：“像素是否比文本更适合作为LLM的输入？文本标记是否浪费且糟糕，作为输入。”这一观点强调，像素输入支持双向注意力机制，避免自回归文本处理的顺序偏差，提升多模态任务如图表解析的F1分数达15%。此外，在OmniDocBench高难度测试中，像素输入模型用800tokens超越文本基线6000tokens，证明其在资源受限环境下的效率优势。
进一步比较功效，像素输入的压缩潜力是关键亮点。文本提取往往产生冗长序列，占用LLM上下文窗口，而像素输入通过二维映射实现高密度编码。例如，一页1000字文档的文本tokens约1500个，经DeepSeek-OCR压缩后仅需150视觉tokens，减少90%开销。这不仅延长有效上下文长度，还降低推理延迟：在A100 GPU上，单页处理速度达8.2页/秒，显存占用4.5GB。针对多模态推理，像素输入保留原始图像元素，如颜色和字体，支持LLM生成结构化输出，例如将图表转换为JSON表格，准确率提升20%。反观文本提取，丢失视觉语义后，LLM需额外提示恢复，增加token消耗和幻觉风险。
为落地这一技术，提供以下可操作参数和清单。首先，压缩阈值设置：高精度场景下维持<10x压缩比，确保97%解码率；中等负载使用10-15x，平衡效率与准确；避免>20x，以防60%精度阈值以下的细节丢失。监控要点包括：实时追踪OCR F1分数，若低于95%则触发回滚；显存使用率不超过80%，结合动态分辨率调整（e.g., 低密度文本用512x512像素，高密度用1024x1024）。集成清单：1) 预处理阶段，渲染纯文本为图像（使用Pillow库，DPI=300）；2) 部署DeepEncoder，融合SAM-base前置窗口注意力和CLIP-large后置全局注意力；3) 解码器选用MoE架构，仅激活570M参数专家；4) LLM接口适配视觉tokens，扩展输入嵌入层支持双向注意力；5) 测试基准：用ICDAR数据集验证，目标精度>95%，延迟<1s/页。回滚策略：若像素输入精度降至文本基线以下，切换混合模式，先提取文本作为fallback，并日志记录压缩比与误差源。
在工程实践中，这些参数可根据场景微调。例如，金融文档解析优先高精度阈值，科研文献强调多模态深度解析，如分子式转SMILES格式。潜在风险包括低质量图像敏感性，建议预滤波增强对比度；tokenizer缺失虽简化架构，但需补充Unicode兼容层处理特殊字符。总体而言，像素输入范式通过DeepSeek-OCR验证了其在提升文档解析准确性和多模态效率方面的优越性，推动LLM向通用视觉-语言系统演进。
资料来源：Andrej Karpathy Twitter评论；DeepSeek-OCR开源论文及基准测试结果。
（正文字数：1028）