# Milvus 7年演进：两次架构重构与向量数据湖的技术抉择 > 分析Milvus向量数据库7年演进中的架构重构决策、性能优化策略与向量检索算法改进的工程权衡，聚焦存储计算分离与向量数据湖的技术演进。 ## 元数据 - 路径: /posts/2025/12/16/milvus-7-years-architecture-evolution-vector-data-lake/ - 发布时间: 2025-12-16T15:50:05+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 站点: https://blog.hotdry.top ## 正文 ## 引言：向量数据库基础设施的七年演进 2017年，当Zilliz团队开始思考如何高效存储和检索高维向量嵌入时，“向量数据库”这个术语尚未诞生。七年后的今天，Milvus已成为拥有超过40,000 GitHub星标的开源项目，被Forrester评为向量数据库领域的领导者，并支撑着从Bosch自动驾驶到全球金融科技巨头的AI基础设施。这七年的演进不仅是一个开源项目的成长史，更是向量数据库作为AI基础设施核心组件从概念验证到生产就绪的技术演进史。 Milvus的演进路径清晰地反映了AI应用对基础设施需求的变迁：从早期的研究性向量检索，到企业级生产部署，再到RAG（检索增强生成）驱动的规模化应用，最终走向成本优化的向量数据湖架构。每一次技术转折都伴随着艰难的工程决策，特别是两次重大的架构重构——从1.0到2.0的完全重写，以及正在进行的向3.0向量数据湖的演进。 ## 第一阶段（2017-2021）：从概念到生产就绪的1.0 ### 技术起点与市场空白 2017年，AI应用开始涌现，非结构化数据爆炸式增长，但传统数据库并非为高维向量设计。团队尝试了所有可用方案：在Elasticsearch上拼凑解决方案，在MySQL上构建自定义索引，甚至实验了FAISS。然而，FAISS作为研究库而非生产数据库基础设施，无法满足企业AI工作负载的完整需求。 正如Milvus团队在回顾文章中所说：“传统数据库是为行和列优化的，而不是高维向量。现有技术和工具要么不可能，要么对我们需要的功能来说太慢了。” ### 1.0版本的工程突破 2019年11月，Milvus 0.10版本开源，这标志着向量数据库作为一个新类别的基础设施软件正式进入开发者视野。2021年，Milvus 1.0发布并在同年从LF AI & Data基金会毕业，赢得了BigANN全球挑战赛的十亿级向量搜索冠军。 这一阶段的技术重点集中在： - **基础向量检索能力**：支持ANN（近似最近邻）搜索算法 - **索引优化**：IVF、HNSW等索引策略的实现与优化 - **基础架构稳定性**：确保向量检索的准确性与性能一致性 然而，随着企业客户的增加，1.0架构的局限性逐渐显现。客户普遍要求更好的云原生架构、更简单的水平扩展和更高的操作简便性。团队面临关键抉择：是继续修补现有架构，还是从头开始重建。 ## 第二阶段（2021-2022）：存储计算分离的架构重构 ### 重构的工程决策 2022年，Milvus团队做出了可能是项目历史上最艰难的决定：完全重写代码库，从1.0迁移到2.0。这不是渐进式改进，而是彻底的架构变革。重构的核心是引入**存储计算分离架构**，这一决策基于对云原生时代基础设施趋势的深刻理解。 存储计算分离带来了几个关键优势： 1. **动态可扩展性**：计算节点和存储节点可以独立扩展，根据工作负载需求灵活调整资源 2. **成本优化**：冷热数据分层存储，高频访问数据保留在高速存储，低频数据迁移到低成本对象存储 3. **容错与高可用**：组件故障隔离，单点故障不影响整体系统可用性 ### 技术实现细节 Milvus 2.0的架构包含四个核心组件： - **协调节点（Coordinator）**：负责元数据管理、负载均衡和任务调度 - **查询节点（Query Node）**：处理向量搜索请求，执行查询计划 - **数据节点（Data Node）**：管理数据段（segment）的持久化存储 - **索引节点（Index Node）**：构建和维护向量索引 这种解耦架构使得每个组件都可以独立部署和扩展。例如，在查询高峰期可以增加查询节点实例，而在数据导入期间可以扩展数据节点容量。这种灵活性对于应对RAG应用的不确定工作负载模式至关重要。 ## 第三阶段（2023-2024）：RAG驱动的规模化与商业化 ### 市场转折点 2023年，RAG技术成为AI应用的主流模式，语义搜索从有趣的AI技术转变为聊天机器人、文档问答系统和AI代理的必备基础设施。这一转变对Milvus产生了深远影响： 1. **工作负载特征变化**：从批处理向量搜索转向实时交互式检索 2. **数据规模爆炸**：从数千万向量扩展到数百亿向量 3. **延迟要求调整**：由于LLM生成响应本身需要时间，用户对检索延迟的容忍度提高 ### 商业化与开源平衡 随着企业采用率的增加，Milvus团队推出了Zilliz Cloud——完全托管的Milvus服务。这一决策引发了关于开源项目商业化的讨论，但团队的解释揭示了基础设施软件的现实挑战：“维护企业级基础设施既昂贵又复杂。Zilliz Cloud使我们能够持续并加速Milvus的开发，同时保持核心项目完全开源。” Zilliz Cloud的技术差异化包括： - **AI驱动的AutoIndex引擎**：比开源Milvus快3-5倍的查询速度，无需索引调优 - **内置安全与合规**：静态和传输中加密、细粒度RBAC、全面审计日志 - **成本优化架构**：分层热/冷数据存储、弹性扩展、按使用付费定价 ## 第四阶段（2025+）：向量数据湖与成本优化新方向 ### 向量数据湖的技术愿景 Milvus 2025年路线图揭示了项目的下一个演进方向：**向量数据湖**。这一概念的核心洞察是：并非所有向量搜索都需要毫秒级延迟。许多企业拥有大量偶尔查询的数据集，包括历史文档分析、批量相似性计算和长期趋势分析。 向量数据湖的技术特点包括： - **统一数据栈**：无缝连接在线和离线数据层，保持一致的格式和高效存储 - **兼容计算生态系统**：原生支持Spark和Ray等框架，支持从向量搜索到传统ETL和分析的所有功能 - **成本优化架构**：热数据保留在SSD或NVMe上以便快速访问；冷数据自动迁移到S3等对象存储 ### 与S3 Vectors的竞争与互补 2025年，AWS推出了S3 Vectors，引发了关于向量数据库未来的讨论。然而，从技术架构角度看，S3 Vectors更适合作为向量数据湖的存储层，而非完整的向量数据库解决方案。 关键区别在于： 1. **索引策略**：专业向量数据库提供多种索引算法（IVF、HNSW、SCANN等）的优化实现 2. **查询优化**：成熟的查询规划器和执行引擎，支持复杂过滤和混合搜索 3. **实时更新**：支持向量数据的实时插入、更新和删除操作 4. **分布式协调**：跨多个节点的数据一致性和事务管理 正如Zilliz工程师在技术分析中指出的：“S3 Vectors确实在成本和AWS生态系统集成方面带来了有趣的东西。但我认为它更适合作为生态系统的补充部分，与专业向量数据库协同工作，而不是替代它们。” ## 工程权衡与技术决策框架 ### 架构重构的代价与收益 Milvus的两次重大重构（1.0到2.0，以及正在进行的2.x到3.0）揭示了基础设施软件演进的核心挑战： **技术债务管理**：当现有架构无法满足新的需求时，团队必须评估重构成本与技术债务积累的长期影响。Milvus 1.0到2.0的重构花费了两年时间，期间需要维护两个版本，支持用户迁移。 **向后兼容性**：重大架构变更必须考虑现有用户的迁移路径。Milvus通过提供迁移工具和文档，以及保持API的尽可能兼容，降低了用户的迁移成本。 ### 性能与成本的平衡 向量数据库的性能优化面临独特的挑战： - **内存与磁盘的权衡**：全内存索引提供最佳性能但成本极高，磁盘索引降低成本但增加延迟 - **精度与速度的平衡**：近似搜索算法（ANN）在精度和速度之间提供可调节的权衡 - **索引构建与查询的资源配置**：索引构建是计算密集型操作，需要与查询工作负载隔离 Milvus 2.6版本的重点是成本优化，包括： - 简化部署，减少依赖 - 更快的数椐摄取管道 - 降低存储成本 - 更高效地处理大规模数据操作 ### 开源与商业化的协同 Milvus的成功展示了开源项目商业化的可行路径： 1. **核心价值开源**：基础向量数据库功能保持开源，建立社区信任 2. **增值服务商业化**：托管服务、企业支持、高级功能作为商业产品 3. **生态共赢**：与云提供商合作，即使他们提供自己的托管版本 这种模式确保了项目的可持续性，同时保持了技术的开放性。 ## 向量数据库基础设施的未来趋势 ### 多模态向量检索 随着多模态AI模型的发展，向量数据库需要支持不仅仅是文本嵌入。未来的趋势包括： - **图像和视频向量**：支持视觉内容的相似性搜索 - **跨模态检索**：文本到图像、图像到文本的跨模态搜索 - **时序向量**：时间序列数据的向量表示和检索 ### 智能索引管理 当前的索引选择仍然需要专业知识。未来的发展方向包括： - **自动索引选择**：基于工作负载特征自动推荐最佳索引策略 - **动态索引调整**：根据查询模式变化自动调整索引参数 - **成本感知索引**：在性能目标和成本约束下优化索引配置 ### 边缘计算集成 随着AI应用向边缘扩展，向量数据库需要适应边缘环境： - **轻量级部署**：资源受限环境下的优化版本 - **离线能力**：断网或高延迟环境下的本地检索 - **联邦学习支持**：分布式向量索引的协同训练和更新 ## 结论：基础设施演进的工程智慧 Milvus的七年演进不仅是技术进步的记录，更是工程决策智慧的体现。从早期解决基础向量检索问题，到存储计算分离的架构重构，再到RAG驱动的规模化，最后走向成本优化的向量数据湖，每一步都反映了对市场趋势和技术挑战的深刻理解。 关键启示包括： 1. **架构灵活性至关重要**：存储计算分离为应对不确定工作负载提供了必要的基础 2. **成本优化是规模化关键**：随着数据量增长，存储和计算成本成为主要约束 3. **开源与商业化的平衡**：核心功能开源建立信任，增值服务商业化确保可持续性 4. **生态系统的协同演进**：与云服务、计算框架和AI模型的深度集成 向量数据库作为AI基础设施的核心组件，其演进仍在继续。随着AI应用变得更加复杂和普及，对高效、可扩展且成本优化的向量检索解决方案的需求只会增长。Milvus的历程为基础设施软件的长期演进提供了宝贵的经验：在技术理想与现实约束之间找到平衡，在架构纯洁性与用户需求之间做出明智的权衡，在开源精神与商业可持续性之间建立协同。 对于正在构建AI应用的工程师和架构师而言，理解向量数据库的技术演进不仅有助于选择合适的技术栈，更能洞察基础设施软件的发展规律，为未来的技术决策提供参考框架。 --- **资料来源**： 1. Milvus官方博客：Our Journey to 35K+ GitHub Stars: Building Milvus from Scratch 2. Milvus 2025年路线图文档 3. Zilliz技术分析：Will Amazon S3 Vectors Kill Vector Databases — or Save Them? ## 同分类近期文章 ### [NVIDIA PersonaPlex 双重条件提示工程与全双工架构解析](/posts/2026/04/09/nvidia-personaplex-dual-conditioning-architecture/) - 日期: 2026-04-09T03:04:25+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 NVIDIA PersonaPlex 的双流架构设计、文本提示与语音提示的双重条件机制，以及如何在单模型中实现实时全双工对话与角色切换。 ### [ai-hedge-fund：多代理AI对冲基金的架构设计与信号聚合机制](/posts/2026/04/09/multi-agent-ai-hedge-fund-architecture/) - 日期: 2026-04-09T01:49:57+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析GitHub Trending项目ai-hedge-fund的多代理架构，探讨19个专业角色分工、信号生成管线与风控自动化的工程实现。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation-framework/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [LiteRT-LM C++ 推理运行时：边缘设备的量化、算子融合与内存管理实践](/posts/2026/04/08/litert-lm-cpp-inference-runtime-quantization-fusion-memory/) - 日期: 2026-04-08T21:52:31+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 LiteRT-LM 在边缘设备上的 C++ 推理运行时，聚焦量化策略配置、算子融合模式与内存管理的工程化实践参数。