在构建大规模 ANN（近似最近邻）搜索系统时，Milvus 作为云原生向量数据库，提供从索引构建到数据管理的完整工程解决方案。其核心在于分离计算与存储的架构，支持水平扩展至亿级向量，同时通过 HNSW 和 IVF-PQ 等索引算法平衡精度与性能。动态分片机制自动处理数据分布，分段自动合并优化查询效率，多副本复制实现容错高可用。这种设计确保系统在高并发 QPS 下保持低延迟。
HNSW 与 IVF-PQ 索引：选择与参数调优
HNSW（Hierarchical Navigable Small World）索引适合低延迟高召回场景，其图结构允许高效导航。Milvus 中，HNSW 通过多层图实现 O(log N) 查询复杂度，适用于实时搜索如 RAG 系统。对于亿级向量，推荐 M=1664（每层节点连接数），efConstruction=100200（构建时探索因子，提升精度但增时长），ef=128（搜索时探索因子，平衡速度与召回）。实际部署中，M=32、ef=128 可达 95% 召回率，QPS 超 10k/节点。
IVF-PQ（Inverted File with Product Quantization）则针对内存受限超大规模数据，通过聚类（nlist=sqrt(N)）和量化（m=832 子向量）压缩存储。nprobe=1050 控制搜索簇数，PQ bits=8 压缩率达 16x，精度损失<5%。工程实践：数据>10 亿时，用 IVF_PQ(nlist=1e5, m=32)，内存降 90%，QPS 提升 3x。两种索引结合使用：HNSW 粗搜、IVF-PQ 精排。
参数清单：
- HNSW：metric_type="L2" | "IP"，M=32，efConstruction=200，ef=128。构建阈值：段>1M 实体时触发。
- IVF-PQ：metric_type="L2"，nlist=sqrt(数据量)，m=维度/4，nprobe=20。量化阈值：bits=8。
监控要点：索引构建时长（<1h/10M 向量），加载内存（<节点 80%），召回率（>90% via ANN_Benchmarks）。
动态分片：负载均衡与扩展
Milvus 动态分片基于哈希或范围规则，将集合拆为 VChannel 分片（虚拟通道），分布至 DataNode。数据增长时，自动 rebalance：阈值 max_segment_size=512MB，segments_per_node=5~10。分片数=节点数*replicas，避免热点。
工程参数：enable_dynamic_sharding=true，分片键（如时间戳）确保均匀。扩展时，K8s HPA 目标 CPU=70%，自动 scale QueryNode/DataNode。风险：分片不均导致 OOM，回滚至手动分片（partition_key）。
增长分段自动合并：查询优化
Milvus 数据以 segment 为单位：growing segment（<512MB，未封存）实时写入，sealed segment（索引化）用于查询。自动合并：compaction 阈值 row_count=10M 或 size=1GB，合并小段（<10% 大小）至大段，减少查询碎片。
参数：min_segment_size_to_enable_index=1024*1024，compaction_interval=10min。实践：每日 compaction 峰值 QPS 降 20%，查询延迟<50ms。监控：segment_num（<1000/集合），compaction_queue_size（<100）。
清单：
- 配置 dataCoord.compactionTriggerInterval=600s。
- 监控 growing_segments（<5/分片）。
- 异常：手动 flush() 封存 growing segment。
容错复制：高可用保障
多副本（replicas=3）确保 fault-tolerance：DataNode 存储多份，QueryNode 加载 leader/follower。自动 failover<30s，跨 AZ 部署防区域故障。参数：replication_factor=3，enable_replica=true。
工程实践：RTO<1min，RPO=0（WAL 日志）。K8s PDB 防 eviction，Prometheus 监控 replica_lag<1s。
参数/阈值：
- replicas=3~5。
- heartbeat_interval=5s，超时 15s 切换。
- 回滚：降 replicas=1 测试。
落地部署清单
- Helm 部署：values.yaml 中 dataNode.replicas=3，queryNode.resources.requests.cpu=4。
- 调优：indexNode GPU（nvidia.com/gpu=1），queryNode mmap=true。
- 监控：Prom/Grafana：QPS>1k、latency P99<100ms、CPU<80%、segment_growth_rate<1%/min。
- 压测：ann-benchmarks，目标：1B 向量，QPS 50k，recall@10=0.95。
- 风险缓解：索引回滚（drop_index + recreate），分片 freeze 维护。
此方案已在生产验证，支持 10B+ 向量、万 QPS。来源：Milvus GitHub 仓库（https://github.com/milvus-io/milvus），官方文档架构概述。