当向量规模突破百亿级别，传统方案将面临严峻的工程挑战。turbopuffer 在其最新发布的 ANN v3 技术中，重新设计了向量检索架构，在单索引支持 100 亿向量（约 200TiB 原始数据）的同时，实现了超过 1000 QPS 的吞吐能力和 200ms 的 P99 延迟目标。这一成果背后的核心思路，是围绕内存层次结构进行系统级优化，并结合层次化聚类与二进制量化两项互补技术，最终将系统从带宽瓶颈推向计算瓶颈，再通过 SIMD 指令级优化榨取剩余性能。
百亿级规模下的延迟约束
在评估任何大规模检索系统时，延迟与吞吐的权衡是首要考量。turbopuffer 的目标场景要求处理 100 亿个 1024 维浮点向量（每个维度使用 2 字节的 f16 格式），整体数据量达到约 200TiB。在此规模下，系统需要支撑超过每秒 1000 次查询请求，且每次查询的 P99 延迟必须控制在 200 毫秒以内。这意味着单次查询能够使用的计算时间和带宽资源极为有限，任何一层内存层次结构的访问都可能成为瓶颈。
从系统设计的角度审视这一需求，传统的图索引或倒排索引方案在数据规模增长时，往往会在某个层级遇到放大效应 —— 无论是磁盘 I/O 的随机访问延迟，还是网络带宽的争用，都会导致尾延迟失控。turbopuffer 的架构选择极为简洁：查询层作为无状态层，通过多层缓存（内存与 SSD）访问底层对象存储（S3）。这种架构的优势在于可水平扩展，但同时也意味着必须在每一层都精确控制数据访问量，否则任何一层的小幅瓶颈都可能在高并发下被放大为整体系统的性能上限。
带宽瓶颈识别与算术强度分析
在优化之前，需要明确系统的主要瓶颈位于何处。turbopuffer 团队引入了一个来自 GPU 社区的分析框架：通过计算工作负载的算术强度（arithmetic intensity，即每字节内存传输对应的浮点操作数），可以判断系统是受限于计算能力还是内存带宽。
向量检索的核心计算是距离度量，通常采用点积形式。每个数据向量与查询向量在各个维度上相乘并累加，每个元素仅参与一次计算。这种模式下，算术强度极低 —— 每从内存获取两个字节的数据（对应 f16 的一个维度），仅执行一次乘法操作。相比矩阵乘法等计算密集型任务，向量检索本质上是带宽受限的工作负载。
这一判断具有直接的工程含义：单纯优化距离计算的 CPU 指令效率意义有限，除非能够从根本上减少数据传输量或提升缓存命中率。系统的优化重心应当放在如何让数据更高效地在内存层次结构中流动，避免任何一层成为木桶效应中的短板。
内存层次结构与层次化聚类
现代系统的内存层次结构从高速到低速依次为：CPU 寄存器（<1KB，带宽>10TB/s）、L1/L2/L3 缓存（KB 到 MB 级，带宽 1-10TB/s）、主存 DRAM（GB 到 TB 级，带宽 100-500GB/s）、本地 NVMe SSD（TB 级，带宽 1-30GB/s）、云对象存储（PB 到 EB 级，带宽 1-10GB/s）。每一层之间的带宽差距可达一到两个数量级，这意味着将数据保持在更高层级能够带来巨大的性能收益。
turbopuffer 采用的层次化聚类技术正是利用了这一特性。其索引基于 SPFresh 算法（一种支持增量更新的基于质心的近似最近邻索引），将向量组织为多层的树状结构。查询时，首先将查询向量与各层质心比较，定位可能包含最近邻的子空间，然后仅在该子空间内进行精细搜索。这种「先粗筛再精排」的策略将原始搜索空间从 100 亿向量缩减到可控范围。
在 100 亿向量的场景下，经过实验验证，每个分片（shard）仅需搜索约 500 个数据向量簇（每簇约 100 个向量）即可达到目标召回率。若不进行压缩，仅搜索这一层的数据量就达到 100MB：500 簇乘以每簇 100 个向量，再乘以每向量 1024 维、每维 2 字节。这一数据量意味着仅凭 SSD 的顺序读取带宽（约数 GB/s），系统已能达到数百 QPS，但距离千级 QPS 的目标仍有显著差距。
层次化聚类的另一个优势在于空间局部性和时间局部性的协同优化。向量按照聚类结果顺序存储，相似的向量在物理位置上临近，这使得从磁盘或内存读取时能够最大化每字节的利用率。同时，树的上层节点被频繁访问，自然地驻留在 DRAM 甚至 CPU 缓存中。turbopuffer 选择 100 倍的分支因子，使得树的高度被压缩到 3 到 4 层，而这一数值恰好与 DRAM 与 SSD 之间的容量比（约 10 到 50 倍）相匹配，从而保证在数据量适配 SSD 的前提下，所有质心向量能够完全放入内存。
二进制量化与压缩收益
层次化聚类缩小了搜索范围，但数据量本身仍然是瓶颈。ANN v3 引入的第二项关键技术是二进制量化（binary quantization），将向量压缩 16 到 32 倍。原始 f16 向量每个维度占用 2 字节，而二进制量化后每个维度仅需 1 比特，压缩比达到 32 倍。即使考虑到量化元数据的开销，有效压缩比仍在 16 倍以上。
压缩的直接收益是数据量的大幅缩减。按上述计算，搜索 500 个簇的数据量从 100MB 降至约 6MB。更重要的是，压缩后的数据能够更高效地利用内存层次结构：由于体积极小，量化后的向量可以驻留在更高带宽的层级。turbopuffer 的测算显示，在采用 100 倍分支因子的情况下，三层树结构（根节点、第一层、第二层）的量化向量总大小约为 128MB，恰好可以放入现代 CPU 的共享 L3 缓存（通常为 504MB）。这意味着在理想情况下，查询的顶层遍历完全在缓存中完成，无需访问内存或磁盘。
然而，量化必然带来信息损失，直接影响召回精度。ANN v3 选用了 RaBitQ 量化方法，其核心思想是利用高维空间中的测度集中现象（concentration of measure）：在高维空间中，向量分量的分布趋于均匀，量化误差在各个维度上分散，而非集中于特定方向。RaBitQ 不试图重建精确距离，而是为每对向量计算一个置信区间。例如，全精度计算的余弦相似度为 0.75 时，RaBitQ 可能输出区间 [0.69, 0.83]。通过比较置信区间，可以可靠地判断相对顺序；对于区间有重叠的情况，再回退到全精度向量进行精确重排。
实际运行中，这种混合策略的开销极低。由于搜索空间已被层次化聚类大幅压缩，需要回取全精度向量进行重排的比例不到 1%。全精度向量仍存储在本地 SSD 上，通过高度并行的随机访问获取。现代 NVMe SSD 的随机读取延迟约为 50 到 100 微秒，能够支撑大量并发 I/O 操作，充分利用磁盘带宽。
从带宽受限到计算受限
量化带来的压缩效果不仅降低了数据传输量，还意外地改变了系统的瓶颈特性。由于二进制量化将每个字节的使用效率提升了 16 倍（每个比特对应一次逻辑操作），算术强度随之大幅提升。RaBitQ 算法更进一步复用每个比特四次，使得整体算术强度达到原始模式的 64 倍。
这意味着系统的工作负载性质发生了根本转变：从原本的带宽受限（memory-bound）转变为计算受限（compute-bound）。此时，进一步优化存储层级已无法提升性能，焦点必须转向 CPU 指令效率 —— 用更少的指令完成同样的计算，避免流水线停顿和分支预测失败。
turbopuffer 在这一阶段发现了一个具体瓶颈：popcount 操作在 RaBitQ 的距离估计中频繁调用，用于计算二进制向量之间的汉明距离。然而，AVX2（256 位 SIMD 指令集）并未提供加速的 popcount 指令。团队转向 AVX-512（512 位 SIMD），利用其 VPOPCNTDQ 指令可以在仅 3 个周期内完成 512 位寄存器中置位比特的计数，且吞吐量达到每周期一条指令。
这一修改在微基准测试中带来了 30% 的性能提升，在生产环境的端到端测试中带来了约 5% 的吞吐量提升。微基准测试与生产环境的收益差异说明瓶颈已被正确识别，但端到端的收益还受到其他环节（如网络序列化、结果聚合等）的制约。这一案例也印证了一个重要的工程原则：性能优化必须建立在准确的瓶颈分析之上，否则可能事倍功半。
分布式扩展与成本考量
即使经过上述优化，单机的存储和计算能力仍有上限。100 亿向量的原始数据约为 200TiB，而当前云服务商提供的本地 NVMe SSD 最大容量约为 10 到 40TiB。因此，分布式扩展是实现百亿级规模的必经之路。
turbopuffer 采用随机分片（random sharding）策略：在数据导入时，每个向量被随机分配到某个分片；查询时，请求被广播到所有分片，各分片返回本地计算的 Top-K 结果，最后在协调节点合并为全局结果。这种设计的优势在于分片间负载均衡，且分片数量可以随数据规模线性扩展。
然而，分布式也意味着成本随机器数量线性增长。turbopuffer 强调，必须首先最大化单机效率，再考虑横向扩展。如果单机只能处理极小比例的数据，那么集群成本将迅速失控。当前方案下，用户可以将超大索引拆分为多个 4TiB 的命名空间（namespace），并通过联系技术支持将每个分片固定到独立的 SSD 上，以获得可预测的性能表现。团队同时也在研发完全透明的自动分片功能，以简化运维负担。
工程实践要点
从 turbopuffer ANN v3 的实践中，可以提炼出几条适用于大规模向量检索系统的工程原则。首先是围绕内存层次结构进行设计 —— 任何优化都应当考虑数据在不同层级之间的流动成本，尽量让频繁访问的数据驻留在更高带宽的层级。其次是量化与精排的混合策略 —— 在可接受的召回损失范围内，激进压缩配合小比例的精确重排，往往比中等压缩配合全量精确搜索更具性价比。第三是明确的瓶颈分析框架 —— 通过算术强度判断系统是计算受限还是带宽受限，避免在错误的方向上投入优化资源。最后是分布式扩展的时机 —— 只有在单机效率被充分挖掘之后，才值得引入分布式架构带来的运维复杂性。
当百亿级向量检索的延迟与吞吐目标被系统性地分解到每一层内存结构、每一条 SIMD 指令时，原本看似不可能的工程挑战便有了可执行的路径。这一思路不仅适用于向量数据库，对于任何面对海量数据和高并发访问的检索系统都具有借鉴意义。
参考资料
- turbopuffer ANN v3 技术博客：https://turbopuffer.com/blog/ann-v3
- SPFresh 原始论文：https://dl.acm.org/doi/10.1145/3600006.3613166
- RaBitQ 量化方法：https://dl.acm.org/doi/pdf/10.1145/3654970