在检索增强生成（RAG）系统日益普及的今天，一个残酷的现实摆在开发者面前：要么支付高昂的云向量数据库费用，要么在本地部署臃肿的向量索引基础设施。传统的向量数据库如 ChromaDB、Pinecone 和 Weaviate 通常需要原始数据 1.5 到 7 倍的存储空间，这意味着 1GB 的文档集合在向量数据库中可能膨胀到 7GB。对于隐私敏感的个人设备部署场景，这种存储爆炸成为了不可逾越的障碍。
来自加州大学伯克利分校的研究团队提出的 LEANN（Low-Storage Vector Index）项目，彻底改变了这一局面。LEANN 能够在保持相同搜索精度的前提下，将向量索引的存储需求减少 97%，使个人设备上的私有 RAG 部署成为现实。
LEANN 的核心创新：选择性重计算与图剪枝
LEANN 的核心思想基于两个关键洞察：选择性重计算和高保真度图剪枝。
1. 选择性重计算：不存储嵌入向量
传统向量索引最大的存储开销来自于嵌入向量本身。以 768 维的 Contriever 嵌入为例，每个向量需要 768×4=3072 字节的存储空间。对于百万级文档集合，仅嵌入向量就需要数 GB 的存储。
LEANN 采用了一种革命性的方法：完全不存储嵌入向量。相反，它只在查询时重新计算需要的嵌入向量。这一策略基于对图基近似最近邻（ANN）搜索的深入观察：在 HNSW 等图基索引中，单个查询通常只探索嵌入向量的一小部分子集来识别其最近邻。
正如 LEANN 论文中指出："在 HNSW 结构中，每个查询只需要一小部分节点的嵌入向量，具体来说是候选集 C 中的节点。这一观察促使 LEANN 在查询时计算这些嵌入向量，而不是预先存储它们。"
2. 高保真度图剪枝：保留枢纽节点
即使不存储嵌入向量，图元数据（节点连接信息）本身也可能带来显著的存储开销。典型的 HNSW 索引使用节点度为 64，每个节点存储 64 个邻居链接，每个链接 4 字节，这导致每个节点 256 字节的元数据。对于一个常见的 256 令牌文档块，这通常占存储开销的 25% 以上。
LEANN 的关键洞察是：并非所有节点和边都同等重要地贡献于搜索精度。基于这一观察，LEANN 引入了高保真度图剪枝策略，移除低效用的边，同时保留对维持有效搜索路径至关重要的高连接度 "枢纽" 节点。
两级搜索算法与动态批处理
选择性重计算虽然大幅减少了存储需求，但带来了新的挑战：查询时重计算可能引入显著的延迟。LEANN 通过两级搜索算法和动态批处理机制解决了这一问题。
1. 两级搜索算法：近似与精确距离的混合计算
LEANN 的两级搜索算法采用多保真度距离计算框架，在不同搜索阶段策略性地变化计算强度：
# 伪代码：LEANN两级搜索算法核心逻辑
def two_level_search(query, entry_point, reranking_ratio=0.1):
visited = {entry_point}
approx_queue = [] # 近似距离队列
exact_queue = [entry_point] # 精确距离队列
results = [entry_point]
while exact_queue:
current = extract_closest(exact_queue, query)
# 计算当前节点所有邻居的近似距离
for neighbor in neighbors(current):
if neighbor not in visited:
visited.add(neighbor)
approx_dist = compute_approx_distance(neighbor, query)
approx_queue.append((neighbor, approx_dist))
# 选择前reranking_ratio%的节点进行精确计算
top_candidates = select_top_percentage(approx_queue, reranking_ratio)
for candidate in top_candidates:
if candidate not in exact_queue:
exact_dist = recompute_embedding_and_distance(candidate, query)
exact_queue.append((candidate, exact_dist))
results.append((candidate, exact_dist))
return top_k(results)
该算法的核心优势在于：使用轻量级的近似距离计算（如乘积量化）来广泛评估候选节点，仅对最有希望的节点应用精确计算。这种混合方法在保持高召回率的同时，显著减少了计算成本。
2. 动态批处理：最大化 GPU 利用率
在搜索过程中，GPU 资源常常未被充分利用，因为每个扩展步骤只触发少量节点的重计算。LEANN 引入了动态批处理策略，稍微放宽了最佳优先搜索中的严格数据依赖性，显著增加了嵌入模型的批处理大小，从而减少了端到端延迟。
具体来说，LEANN 动态地从优先级队列中收集一组最接近的候选节点，直到达到目标批处理大小（例如，对于 A10 GPU 为 64）。这个动态批处理机制与两级搜索自然集成，通过跨迭代累积节点直到达到预定义的批处理大小阈值，然后对所有节点执行嵌入重计算。
工程实现参数与性能指标
1. 存储节省的实际效果
LEANN 的存储节省效果令人印象深刻：
- 原始数据：100GB 文档集合
- 传统向量索引：150-700GB 存储需求
- LEANN 索引：<5GB 存储需求（<5% 原始数据大小）
这意味着 LEANN 实现了50 倍以上的存储减少，同时保持 90% 的 top-3 召回率，在真实世界问答基准测试中查询延迟低于 2 秒。
2. 图剪枝的关键参数
LEANN 的高保真度图剪枝算法包含几个关键参数：
# 图剪枝参数配置
pruning_config = {
"high_degree_threshold": 30, # 高连接度节点的最大连接数
"low_degree_threshold": 8, # 普通节点的最大连接数
"high_degree_percentage": 0.02, # 保留为高连接度节点的比例（2%）
"storage_budget": "5%", # 存储预算（相对于原始数据）
}
实验表明，仅保留前 2% 的高连接度节点，就能显著减少总边数，同时保持高检索精度。
3. 两级搜索的优化参数
两级搜索算法的性能高度依赖于以下参数：
search_config = {
"reranking_ratio": 0.1, # 重排序比例（10%）
"ef_search": 128, # 搜索队列长度
"pq_bits": 8, # 乘积量化位数
"batch_size": 64, # 动态批处理大小
"approx_method": "pq", # 近似距离计算方法
}
通过离线分析，LEANN 可以自动调整这些参数，以在给定存储预算下最大化搜索效率。
个人设备 RAG 部署实践
1. 硬件要求与配置
在个人设备上部署 LEANN-based RAG 系统时，需要考虑以下硬件配置：
最低配置（笔记本电脑）：
- CPU：4 核以上，支持 AVX2 指令集
- 内存：16GB RAM
- 存储：256GB SSD（用于原始文档和 LEANN 索引）
- GPU：可选，集成显卡即可运行
推荐配置（开发工作站）：
- CPU：8 核以上
- 内存：32GB RAM
- 存储：1TB NVMe SSD
- GPU：NVIDIA RTX 3060 以上（用于加速嵌入重计算）
2. 部署架构设计
个人设备 RAG 系统的典型架构如下：
┌─────────────────────────────────────────────┐
│ 用户界面层 │
│ - 命令行界面 / Web界面 / 桌面应用 │
└───────────────────┬─────────────────────────┘
│
┌───────────────────▼─────────────────────────┐
│ RAG应用层 │
│ - 查询解析与预处理 │
│ - 检索结果后处理 │
│ - LLM生成与响应格式化 │
└───────────────────┬─────────────────────────┘
│
┌───────────────────▼─────────────────────────┐
│ LEANN检索层 │
│ - 查询嵌入生成 │
│ - 两级搜索算法执行 │
│ - 动态批处理调度 │
└───────────────────┬─────────────────────────┘
│
┌───────────────────▼─────────────────────────┐
│ 数据存储层 │
│ - 原始文档存储（文本/PDF/HTML等） │
│ - LEANN索引文件（<5%原始大小） │
│ - 可选：高连接度节点嵌入缓存 │
└─────────────────────────────────────────────┘
3. 性能优化策略
存储优化：
- 使用文档分块策略：256-512 令牌 / 块
- 启用 LEANN 的高保真度图剪枝
- 考虑使用更小的嵌入模型（如 GTE-small）
延迟优化：
- 调整重排序比例（reranking_ratio）
- 优化批处理大小以适应具体 GPU
- 预加载高频查询的嵌入缓存
精度优化：
- 根据数据集调整搜索队列长度（ef_search）
- 使用领域特定的嵌入模型
- 实施多轮检索与重排序
4. 实际部署示例
以下是一个使用 LEANN 在个人设备上部署 RAG 系统的简化示例：
import leann
from transformers import AutoTokenizer, AutoModel
import torch
class PersonalRAGSystem:
def __init__(self, document_path, model_name="BAAI/bge-small-en"):
# 初始化嵌入模型
self.tokenizer = AutoTokenizer.from_pretrained(model_name)
self.embedding_model = AutoModel.from_pretrained(model_name)
# 初始化LEANN索引
self.index = leann.Index(
storage_budget="5%", # 存储预算为原始数据的5%
high_degree_percentage=0.02,
reranking_ratio=0.1
)
# 加载或构建索引
self.load_or_build_index(document_path)
def load_or_build_index(self, document_path):
"""加载或构建LEANN索引"""
index_path = f"{document_path}.leann_index"
if os.path.exists(index_path):
# 加载现有索引
self.index.load(index_path)
else:
# 构建新索引
documents = self.load_documents(document_path)
embeddings = self.compute_embeddings(documents)
# 构建索引并丢弃原始嵌入
self.index.build(embeddings, documents)
self.index.save(index_path)
def query(self, question, top_k=3):
"""执行RAG查询"""
# 生成查询嵌入
query_embedding = self.compute_query_embedding(question)
# 使用LEANN检索相关文档
retrieved_docs = self.index.search(
query_embedding,
top_k=top_k,
ef_search=128
)
# 构建上下文并生成答案
context = "\n".join([doc.text for doc in retrieved_docs])
answer = self.generate_answer(question, context)
return answer, retrieved_docs
def compute_query_embedding(self, text):
"""计算查询文本的嵌入"""
inputs = self.tokenizer(text, return_tensors="pt", padding=True, truncation=True)
with torch.no_grad():
outputs = self.embedding_model(**inputs)
return outputs.last_hidden_state.mean(dim=1).squeeze().numpy()
挑战与未来方向
1. 当前限制
尽管 LEANN 在存储效率方面取得了突破性进展，但仍存在一些限制：
索引构建开销：LEANN 需要在构建阶段计算所有文档的嵌入向量，这需要较高的峰值存储和计算资源。对于非常大的文档集合，这可能成为瓶颈。
严格实时场景：在需要亚秒级响应的应用中，重计算可能引入不可接受的延迟。LEANN 更适合容忍秒级延迟的应用场景。
硬件依赖：虽然 LEANN 设计用于资源受限的环境，但仍需要一定的 CPU/GPU 计算能力来执行嵌入重计算。
2. 优化方向
增量索引构建：开发支持增量更新的索引构建算法，避免一次性计算所有嵌入的需求。
混合缓存策略：结合磁盘缓存和内存缓存，智能预加载高频访问节点的嵌入向量。
硬件感知优化：针对不同硬件平台（CPU、集成 GPU、独立 GPU）优化计算内核和内存访问模式。
自适应参数调整：基于查询负载和硬件能力动态调整搜索参数，在精度和延迟之间实现最佳平衡。
结论
LEANN 代表了个人设备上私有 RAG 系统发展的一个重要里程碑。通过选择性重计算、高保真度图剪枝和两级搜索算法的创新组合，LEANN 实现了 97% 的存储节省，使在笔记本电脑和移动设备上部署大规模文档检索系统成为可能。
随着边缘计算设备的计算能力持续提升和嵌入模型效率的不断改进，LEANN 这类存储优化技术将在隐私保护、成本效益和用户体验之间找到更好的平衡点。对于开发者而言，理解并应用这些技术不仅能够构建更高效的 RAG 系统，还能为用户提供真正私密、个性化的 AI 助手体验。
在 AI 日益普及的今天，能够在个人设备上运行强大的 RAG 系统而不牺牲隐私或存储空间，这不仅是技术上的突破，更是向更加民主化、可访问的人工智能未来迈出的重要一步。
资料来源：
- LEANN: A Low-Storage Vector Index (arXiv:2506.08276)
- GitHub 仓库：yichuan-w/LEANN
- The World's Smallest Vector Database (Medium 文章)
相关技术：HNSW、乘积量化、近似最近邻搜索、边缘计算、隐私保护 AI