LightRAG 作为一种简洁高效的检索增强生成（RAG）框架，其核心创新在于双层图 RAG 机制。这种机制将实体提取用于粗粒度检索，并通过关系链接实现细粒度上下文补充，从而在边缘设备上实现亚 100ms 的低延迟响应，而无需依赖复杂的重型索引结构。这种设计特别适合资源受限的环境，如移动设备或 IoT 终端，避免了传统 RAG 系统在向量数据库上的高计算开销。
在 LightRAG 的工作流程中，首先进行文档索引阶段。系统使用 LLM（如至少 32B 参数的模型，支持 32K+ 上下文长度）从输入文本中提取实体和关系，形成知识图谱。实体提取是粗检索的基础：LightRAG 将文档切分成 chunk（默认 chunk_token_size=1200，重叠 100 tokens），然后调用 LLM 识别关键实体（如人名、组织、事件），并生成实体描述。这些实体被嵌入向量存储（如 NanoVectorDB），形成节点，便于后续快速匹配。证据显示，这种提取过程仅需 1 次循环（entity_extract_max_gleaning=1），并启用 LLM 缓存（enable_llm_cache=True），显著降低重复计算。根据 GitHub 仓库的评估，在混合数据集上，LightRAG 的全面性得分达 61.2%，远超 NaiveRAG 的 38.8%。
粗粒度检索通过实体匹配实现高效定位。查询时，用户输入问题后，系统使用嵌入模型（如 BAAI/bge-m3）生成查询向量，在实体向量数据库中检索 top_k 个最相似实体（默认 top_k=60）。这步仅涉及余弦相似度计算（cosine_better_than_threshold=0.2），无需全文档扫描，从而在边缘设备上保持低延迟。例如，在 local 模式下，检索聚焦于实体上下文，响应时间可控制在 50ms 内。这种机制的证据在于 LightRAG 的双层检索流程图：粗检索快速过滤无关内容，提供初始相关实体集，避免了传统 BM25 或全向量搜索的瓶颈。
细粒度检索则依赖关系链接，进一步丰富上下文。检索到的实体作为起点，在知识图谱（默认 NetworkXStorage）中遍历关系边（如“属于”、“关联”），提取相关实体和描述。global 模式强调图遍历，结合 reranker（如 BAAI/bge-reranker-v2-m3）对关系进行重排序，提升相关性。hybrid 模式融合 local 和 global，分配 token 预算（max_entity_tokens=6000, max_relation_tokens=8000, max_total_tokens=30000），确保上下文不超过 LLM 限制。实验证据表明，在法律数据集上，LightRAG 的多样性得分达 86.4%，得益于关系链接捕捉的隐含关联，而非单纯关键词匹配。这种双层设计在不牺牲准确性的前提下，实现了 sub-100ms 整体延迟，特别适用于实时查询场景。
要落地 LightRAG 的双层机制，以下是可操作参数和清单。首先，环境准备：安装 LightRAG（uv pip install lightrag-hku），配置 LLM（如 gpt-4o-mini）和嵌入函数（embedding_batch_num=32, embedding_func_max_async=16）。初始化时，设置 working_dir 为本地路径，graph_storage="NetworkXStorage" 以轻量图存储，vector_storage="NanoVectorDBStorage" 避免外部依赖。
实现清单：
- 文档索引：调用 rag.insert(文本)，启用 max_parallel_insert=2（LLM 瓶颈下不超过 10），chunk_token_size=1200。监控 entity_extract_max_gleaning=1，避免过度循环。
- 粗检索配置：QueryParam(mode="local", top_k=60, enable_rerank=True）。使用 cosine_better_than_threshold=0.2 过滤低质实体。
- 细检索扩展：切换 mode="global" 或 "hybrid"，设置 max_relation_tokens=8000。集成 rerank_model_func（如 cohere_rerank）提升关系精度。
- 边缘优化：选择小模型如 Llama-3.2-1B（llm_model_name），限制 llm_model_max_async=4。启用 embedding_cache_config={"enabled": True, "similarity_threshold": 0.95} 复用相似查询。
- 监控与回滚：集成 TokenTracker 追踪 token 消耗（with token_tracker:），设置阈值警报。若延迟超 100ms，回滚到 naive 模式。风险包括 LLM 幻觉导致实体错误，可通过 addon_params={"entity_types": ["person", "organization"]} 约束提取类型。
在实际部署中，这种双层机制的落地参数需根据设备资源微调。例如，在 4GB RAM 的边缘设备上，使用 Ollama 模型（num_ctx=32768），结合 FaissVectorDBStorage（cosine_better_than_threshold=0.3），可处理 100+ 文档的实时 RAG。相比 GraphRAG 的 52.8% 整体得分，LightRAG 在 Mix 数据集上达 60.0%，证明其在低资源环境下的鲁棒性。
最后，LightRAG 的双层实体-关系检索不仅简化了 RAG 管道，还为边缘 AI 应用开辟了新路径。通过上述参数和清单，开发者可快速构建高效系统，实现从粗到细的智能检索。
资料来源：LightRAG GitHub 仓库 (https://github.com/HKUDS/LightRAG)，arXiv 论文 (2410.05779)。