在大语言模型逐步从对话系统演进为智能体的过程中，多模态感知能力的角色定位发生了根本性转变。传统方案通常将视觉理解作为语言模型的 “外设接口”—— 先由视觉编码器提取图像特征，再将特征向量映射到语言模型的输入空间。这种解耦设计虽然降低了模型训练的复杂度，却导致了感知与推理的割裂：模型可以 “看见” 内容，却难以将视觉信息融入到规划与执行的闭环中。GLM-5V-Turbo 正是针对这一痛点提出的原生多模态智能体基础模型，其核心理念是将多模态感知作为推理、规划、工具调用和执行的有机组成部分，而非附加在语言模型之外的辅助模块。
从解耦到原生：多模态感知架构的根本转变
GLM-5V-Turbo 的架构设计哲学的核心在于 “原生性”。根据 arXiv 论文的定义，该模型旨在构建一个能够感知、解释并作用于异构上下文（图像、视频、网页、文档、GUI）的基础模型。这种设计思路与传统的 “视觉语言模型（VLM）” 存在本质区别：后者通常是在已经训练好的语言模型基础上额外接入一个视觉编码器，形成 “视觉编码器 - 连接层 - 语言模型” 的级联结构；而前者则从训练阶段就将多模态感知内化为模型的基础能力，使得视觉理解与语言推理共享同一套表示空间和注意力机制。
这种原生设计的实际意义体现在多个层面。首先，在处理复杂任务时，模型可以在推理过程中动态地交叉引用视觉信息和文本信息，而无需在多个模块之间进行显式的特征转换。例如，在执行 GUI 自动化任务时，模型可以直接基于当前屏幕截图进行下一步操作规划，而不必依赖预先标注的界面元素坐标或结构化描述。其次，原生架构有助于减少信息在模块边界处的损失 —— 传统解耦方案中，视觉编码器输出的特征向量经过映射层时不可避免地会丢失部分细粒度信息，而原生模型可以在训练过程中自主学习哪些视觉特征对下游任务最为关键。
从模型结构的角度来看，GLM-5V-Turbo 采用了统一的 Transformer 架构来处理文本、图像、视频等多种模态的输入。这种统一设计并非简单地用一个大型 Transformer 吞下所有模态的 token 序列，而是在注意力机制和位置编码层面进行了针对性优化，使其能够高效地处理不同模态之间的关联关系。具体而言，模型引入了专门的多模态位置编码方案，能够在同一序列中自然地表示图像 patch 之间的空间关系、帧之间的时间关系，以及文本与视觉元素之间的对应关系。
CogViT 视觉编码器与多模态 token 预测
GLM-5V-Turbo 的核心技术亮点之一是自研的 CogViT 视觉编码器。这是一种专为多模态感知和下游智能体任务设计的参数高效视觉编码器，在通用目标识别、细粒度理解以及几何和空间感知方面都表现出色。CogViT 采用两阶段预训练策略：第一阶段使用基于蒸馏的掩码图像建模来强化视觉表示，训练学生 ViT 重建双教师模型（SigLIP2 提供语义表示、DINOv3 提供纹理特征）在特征空间中的被掩码区域；第二阶段转向对比图像 - 文本预训练，将视觉和文本特征对齐到共享的嵌入空间。
在多模态 token 预测（Multimodal Multi-Token Prediction，MMTP）方面，GLM-5V-Turbo 实现了重要创新。标准的文本 only MTP 中，前缀 token 可以直接通过 token ID 传递并使用词嵌入层进行嵌入。然而，当 MTP 扩展到多模态输入时，如何将图像 token 传递到 MTP 头成为关键问题。GLM-5V-Turbo 最终采用的设计是保留视觉位置信息，但用共享的可学习特殊 token <|image|> 替代所有视觉 token 作为视觉输入表示。这种设计在优化行为和系统效率之间取得了良好平衡：与直接传递视觉嵌入相比，使用 <|image|> token 消除了在流水线并行阶段传播视觉嵌入的需要，显著降低了通信复杂度，同时提高了系统可扩展性和工程可维护性。
端到端训练：多阶段递进与强化学习的协同优化
要让原生多模态感知真正发挥价值，训练策略的设计同样至关重要。GLM-5V-Turbo 采用了一种多阶段递进的训练范式，涵盖了模型设计、多模态训练、强化学习微调、工具链扩展以及智能体框架集成五个关键环节。
在多模态预训练阶段，模型在海量图文对、文档、网页和视频数据上进行联合训练，学习跨模态的表示对齐和联合推理能力。训练数据涵盖广泛类别，包括世界知识、交错图像 - 文本、OCR、编码、GUI、视频、多模态工具使用、空间感知、定位和学术问题求解。特别强调多模态编码数据，以更好地对齐视觉理解与代码生成，并提高模型在多模态智能体任务中的表现。
强化学习微调是 GLM-5V-Turbo 训练流程中的另一关键环节。不同于传统的基于人类反馈的强化学习（RLHF），该模型在多模态场景下引入了专门的视觉奖励信号 —— 不仅评估输出文本的正确性，还评估模型对视觉内容的理解是否准确。这种多维度的奖励设计使得模型能够更好地将语言生成与视觉感知对齐，避免出现 “语言上说得通但视觉上理解错误” 的情况。在超过 30 个任务类别的联合 RL 优化中，模型在感知、推理和智能体能力方面均获得显著提升：2D 图像定位和指向任务相比 SFT 分别提升 4.8% 和 3.2%（RefCOCO-avg 和 PointBench），视频理解提升 5.6%（MVBench），3D 定位提升 7.7%（SUNRGBD），OCR 提升 4.2%（OCRBench），图表理解提升 7.7%（CharXiv）。
上下文窗口扩展与长程推理能力
对于面向智能体的多模态模型而言，上下文窗口的容量直接决定了模型能够处理的场景复杂度。GLM-5V-Turbo 在上下文窗口方面进行了显著扩展，使得模型能够在一次前向传播中处理更长的文档、更多的视频帧或更复杂的 GUI 状态序列。
长上下文窗口的价值在实际应用中体现得尤为明显。以文档理解任务为例，一份复杂的财务报表可能包含数十页的文字、图表和表格，传统的短上下文模型只能分段处理然后拼接结果，这种方式容易丢失跨页之间的逻辑关联。而 GLM-5V-Turbo 的长上下文能力使其能够在单次推理中遍历整个文档，捕捉全局结构和局部细节之间的对应关系。类似地，在 GUI 自动化场景中，模型需要记住之前的操作序列和界面变化历史，才能正确地执行多步骤任务，长上下文窗口为此提供了必要的记忆容量。
从技术实现角度看，长上下文窗口的扩展涉及注意力机制的优化和位置编码的外推策略。GLM-5V-Turbo 采用了高效的稀疏注意力或线性注意力变体，以降低计算复杂度；同时通过扩展位置编码的表示范围，使模型能够处理超出训练序列长度的输入。这些技术的组合使得模型在保持推理效率的前提下，实现了显著更大的有效上下文容量。
性能对标：与主流多模态模型的能力对比
在评估多模态智能体模型时，传统的纯视觉理解基准往往无法充分反映模型在真实智能体任务中的表现。GLM-5V-Turbo 的评估重点放在四个方面：多模态编码能力、视觉工具使用能力、GUI 智能体任务以及纯文本编码能力。
在多模态编码任务中，GLM-5V-Turbo 在 Design2Code 基准上达到 94.8 分，超越 Claude Opus 4.6；在 Vision2Web 视觉网站开发基准上也展现出强大的端到端能力。这些任务要求模型同时理解文本需求和视觉参考，并输出结构正确的代码片段，尤其在需要细粒度视觉定位（如识别设计稿中特定按钮的位置和样式）的场景中表现突出。
视觉工具使用是智能体能力的核心体现。GLM-5V-Turbo 在 ImageMining 基准上达到 30.7 分，在 BrowseComp-VL 上达到 51.9 分，在 MMSearch 上达到 72.9 分，在 SimpleVQA 上达到 78.2 分。这些基准测试评估了模型基于图像进行深度搜索、跨源信息整合以及视觉推理的能力。模型在多模态搜索任务中展现出近八倍的性能提升，证明了其在复杂多模态场景中的有效性。
在 GUI 智能体任务方面，GLM-5V-Turbo 在 AndroidWorld 上达到 75.7 分，在 OSWorld 上达到 62.3 分，在 WebVoyager 上也表现优异。这些基准评估模型在真实计算机环境中的开放式任务完成能力，包括界面交互、状态理解和多步骤操作规划。
在保持多模态能力的同时，GLM-5V-Turbo 也保持了强大的纯文本编码能力。在 CC-Backend 上达到 22.8 分，在 CC-Frontend 上达到 68.4 分，在 CC-RepoExploration 上达到 72.2 分，甚至超越了其语言 only 基线模型 GLM-5-Turbo。这表明视觉能力的加入并未侵蚀模型的基础编码性能。
与 GPT-4V 相比，GLM-5V-Turbo 在多模态编码和智能体任务上展现出差异化优势。根据公开基准数据，GLM-5V-Turbo 在多模态搜索和 GUI 自动化方面的表现使其成为面向智能体场景的有力选择，同时在成本效益上具有明显优势。在需要深度视觉理解与工具调用结合的场景中，GLM-5V-Turbo 的原生多模态架构设计使其能够更自然地将视觉感知融入推理和执行流程。
工具链与生态系统：原生技能与外部框架深度集成
GLM-5V-Turbo 扩展了其多模态工具链，使模型能够支持更完整的感知 - 规划 - 执行循环。工具集涵盖通用识别工具（植物、位置、人物识别）、多模态搜索工具（网页文本搜索、图片搜索、相似图片搜索、学术搜索）、浏览器工具（图像 URL 加载、网页读取）、图像处理工具（裁剪、边界框绘制、点标记、几何绘制、3D 边界框、视频目标跟踪）以及创作工具（网页创建、幻灯片创建）。
在深度研究方面，模型支持多模态深度研究工具链，包括 Python 执行、多模态 URL 打开、图像访问、搜索和图像 Lens 功能，能够完成从迭代信息收集到异构源长篇合成的完整工作流。模型原生解析富文本网页、图表和结构化文档，访问文本 only 流程中通常丢弃的高价值证据，如幻灯片和图表。
GLM-5V-Turbo 还集成了多个外部智能体框架。在 Claude Code 框架中，模型利用其多模态能力导航复杂的终端环境和本地文件系统；在 AutoClaw 框架中，模型作为视觉 - 语言控制器，实现基于浏览器和 GUI 的自动化。这种整合促进了完整的感知 - 规划 - 执行循环：模型专注于高维推理，将具体执行逻辑委托给外部框架，标志着模型角色从被动文本生成器向主动系统级协作者的根本转变。
工程实践启示：构建原生多模态智能体的关键路径
GLM-5V-Turbo 的开发过程为构建原生多模态智能体提供了宝贵的技术启示。首先，多模态感知应当被视为智能体能力的中心组件，而非外围增强功能。这一理念要求从模型架构设计阶段就将视觉理解纳入核心考量，而非事后补救式地添加视觉接口。
其次，分层优化策略在复杂多模态模型训练中至关重要。GLM-5V-Turbo 采用的分阶段训练 —— 从基础多模态预训练到强化学习微调 —— 体现了循序渐进的能力构建思路。在智能体训练中，该模型采用多层次任务层次结构，涵盖元素感知、GUI 定位、单步动作预测和轨迹级动作预测，使得低层任务更容易构建、标注和验证，而高层任务则在此基础上进行整合优化。
最后，端到端验证是确保多模态智能体可靠性的关键。传统方案中，视觉理解和任务执行往往由不同模块负责，难以进行整体优化。GLM-5V-Turbo 的原生设计使得模型可以在统一的框架下同时优化感知和执行能力，从而实现更加可靠的端到端任务完成。Vision2Web 基准是这一理念的具体实现：每个任务不仅基于文本指令，还基于更丰富的规范（产品需求文档、mockup、参考页面和资源资产），使得任务定义更加明确。
这些技术方向也预示了未来多模态智能体模型的发展趋势 —— 从模块化拼接走向原生融合，从单一任务优化走向全链路能力构建。随着智能体系统在实际环境中的部署日益普及，多模态感知、层级优化和端到端验证将成为构建可靠多模态智能体的核心要素。
资料来源：本文核心事实基于 GLM-V Team 发表于 arXiv 的技术报告《GLM-5V-Turbo: Toward a Native Foundation Model for Multimodal Agents》（arXiv:2604.26752v1，2026 年 4 月）。该论文详细阐述了模型的设计理念、训练方法和性能评估结果。