在千万级向量检索场景中，HNSW（Hierarchical Navigable Small World）作为近似的最近邻搜索算法面临着显著的工程挑战。传统的暴力搜索在如此规模下已不现实，而 HNSW 虽然提供了对数复杂度的检索能力，但在实际生产环境中，其内存占用、并发查询性能和参数调优都存在需要深入优化的工程问题。
内存优化：半精度技术与分层策略
HNSW 索引的内存消耗遵循 O (M×N) 的增长规律，其中 M 为节点连接度，N 为向量总数。对于 1024 维向量，每条数据本身占用 4KB，叠加临接边和其他内存消耗后，实际内存占用达到 5-6KB。在千万级规模下，单纯依靠内存存储会导致数百 GB 甚至 TB 级的内存需求。
半精度技术是当前业界最有效的内存优化方案之一。通过将浮点数从 32 位压缩到 16 位（FP16 或 BF16），内存占用可降低 45-50%，同时对召回率的影响微乎其微。腾讯云向量数据库的生产实践表明，在 sift-128-eclidean 数据集上，使用 BF16 量化后的向量在目标召回率 0.99 下，efSearch 参数基本保持不变，说明量化对检索精度的影响趋近于零。
不同向量维度下的 HNSW 内存开销存在显著差异。根据微软 Azure 的内部测试数据：96 维向量在 M=4 时内存开销为 20%，200 维为 8%，768 维为 2%，1536 维降至 1%。这一规律指导我们在维度选择时需要权衡精度与内存效率。
分层内存布局是另一种重要的优化策略。对于关键向量（如热数据）采用内存存储，而对于冷数据使用磁盘存储的混合方案，可以在保持查询性能的同时显著降低整体内存需求。Qdrant 等向量数据库提供了细粒度的控制选项，如vectors.on_disk、on_disk_payload等配置参数。
并发查询调度与 CPU 架构优化
在生产环境中，高并发查询是常态。HNSW 的随机访问特性使得并发查询调度成为关键性能瓶颈。Kunpeng CPU 的实践表明，通过 SIMD（Single Instruction Multiple Data）指令集优化距离计算，结合数据预取和缓存行对齐，可以将查询吞吐量提升 2 倍以上。
线程池管理策略需要根据具体的负载特征进行调整。对于高并发搜索场景，建议将max_search_threads设置为 CPU 核心数，而对于批量索引构建，max_indexing_threads通常设置为 8-16 以平衡构建效率和质量。在资源受限环境中，optimizer_cpu_budget设置为 - 1 可保留一个 CPU 核心给系统。
pgvector 0.8.0 在 Aurora PostgreSQL 中引入的迭代扫描（iterative_scan）技术解决了 HNSW 在复杂过滤查询中的 overfiltering 问题。通过增量扫描向量索引并实时应用过滤器，系统可以避免因过滤条件过于严格而导致的空结果，同时显著提升了查询的召回率和性能。
参数调优：生产环境实践指南
HNSW 的参数调优需要在召回率、延迟和内存占用之间找到平衡点。M 参数直接影响索引的连通性和内存消耗：M=2 时 Sift1M 数据集的索引大小超过 0.5GB，而 M=512 时达到近 5GB。这表明我们需要根据具体的内存预算和性能要求来选择合适的 M 值。
对于低延迟实时系统（如聊天机器人检索、推荐引擎推理），推荐使用小 M（8-12）配合小 efSearch（32-64）的配置。这种配置可以在毫秒级延迟下保持较高的查询吞吐量。对于批量分析或高召回率 RAG 管道，可以采用大 M（32+）和大 efSearch（200-400）的配置，在可控成本下得到接近精确的检索结果。
efConstruction 参数虽然对搜索时间影响不大，但对索引构建质量和召回率有显著影响。在高召回要求场景下，适当增加 efConstruction 值可以在不显著增加搜索延迟的情况下提升召回率。
监控运维与性能调优
生产环境的 HNSW 系统需要全面的监控体系。内存使用率应控制在 80% 以下，CPU 使用率维持在 60-80% 区间，磁盘 IO 等待时间应低于 20ms，WAL 写入延迟需要控制在 100ms 以内。
Qdrant 等现代向量数据库提供了丰富的内建监控指标，如active_bytes、allocated_bytes、resident_bytes等。通过这些指标，可以实时监控系统状态并及时调整配置参数。
标记删除问题是 HNSW 在生产环境中的常见挑战。由于已删除的文档不会立即回收空间，系统需要定期进行优化清理。在大规模系统中，建议配置后台优化任务，定期执行max_optimization_threads来回收废弃空间并重新平衡图结构。
总结
HNSW 在千万级向量检索中的工程实践是一个系统工程，需要从内存优化、并发调度、参数调优到监控运维全方位考虑。半精度技术和分层存储策略有效降低了内存成本，SIMD 优化和智能调度提升了查询性能，而完善的监控体系确保了生产环境的稳定运行。随着向量数据的持续增长，这些工程实践经验将变得越来越重要。
在选择 HNSW 的具体实现方案时，需要结合实际的业务需求、数据特征和基础设施条件，通过系统性的基准测试和调优，找到最适合自己系统的配置参数。未来的发展方向包括更高效的量化技术、自适应的参数调优策略以及与新兴硬件架构的深度优化。
参考资料：
- 腾讯云向量数据库 HNSW 半精度优化实践：在保证召回率前提下降低 50% 内存成本
- CSDN HNSW 工程实践：详细分析 M、efSearch 等参数对性能、内存和召回率的具体影响数据