开源 Notebook LM 实现：多源文档摄取与语音合成流水线架构

Google Notebook LM 的闭源特性限制了开发者对知识库构建流程的定制需求。开源项目 open-notebook 以 TypeScript 实现了一套可自托管的替代方案，在 GitHub 上已获得超过 25,000 stars，其核心优势在于提供了从多源文档摄取到语音合成播客的完整流水线控制能力。

多源文档摄取架构

open-notebook 支持 PDF、网页、纯文本、音频等多种格式的统一摄取。与商业产品不同，开源实现允许开发者介入文档解析的每个环节。

文档解析策略参数：

对于批量文档摄取，建议设置并发控制参数 max_concurrent=3，避免触发源站限流。同时启用文档指纹去重，使用 SimHash 或 MinHash 算法对内容做 64bit 指纹比对，重复文档的向量计算将被跳过。

向量化与检索流水线

文档摄取后进入分块与嵌入阶段。open-notebook 采用分层分块策略，针对不同内容类型应用差异化的 chunk 参数。

分块策略配置：

• 学术论文：固定长度 512 tokens，重叠 128 tokens，保留段落边界
• 技术文档：语义分块，以二级标题为边界，单块上限 1024 tokens
• 对话记录：按发言者分块，确保上下文完整性

嵌入模型选型需权衡精度与成本。开源方案推荐使用 BAAI/bge-large-zh-v1.5 处理中文内容，英文场景可选 sentence-transformers/all-MiniLM-L6-v2。对于追求更高精度的场景，OpenAI text-embedding-3-small 提供了更好的跨语言表现。

向量存储层建议采用 pgvector 或 Chroma。pgvector 的优势在于与 PostgreSQL 生态整合，支持复杂的元数据过滤查询；Chroma 则提供更轻量的本地部署体验。关键索引参数包括：

-- pgvector 索引示例
CREATE INDEX ON documents USING ivfflat (embedding vector_cosine_ops)
WITH (lists = 100);  -- 数据集 10k-100k 时 lists=100，超过 100k 时 lists=200

检索阶段采用混合检索策略：向量相似度搜索召回 Top-20，BM25 关键词搜索召回 Top-10，经 RRF（Reciprocal Rank Fusion）重排序后取 Top-5 作为上下文输入 LLM。

语音合成与播客生成

Notebook LM 的标志性功能是生成双人对话式播客。open-notebook 通过 TTS 流水线实现类似效果，支持多播客生成策略。

TTS 服务选型对比：

播客生成策略方面，open-notebook 提供了两种模式：

单文档深度模式：针对单篇长文生成 10-15 分钟播客，LLM 负责提取关键论点并设计问答式对话脚本，TTS 分配不同音色给主持人与嘉宾角色。

多文档综述模式：跨多篇文档生成主题播客，先由向量检索聚合相关段落，再经 LLM 综合提炼生成脚本。此模式适合周报、月报类自动化内容生产。

脚本生成提示词模板建议包含以下要素：

• 角色设定（主持人、专家嘉宾的性格特征）
• 对话节奏（开场 30s、主体 8-12 分钟、结尾 1 分钟）
• 禁止事项（避免朗读完整段落、保持口语化）

自定义知识库构建实践

构建生产级知识库需注意以下工程细节：

增量更新机制：文档变更时，仅重新计算变更 chunk 的嵌入向量，避免全量重建索引。使用文档版本号追踪，支持历史版本对比与回滚。

元数据索引：为每个 chunk 附加来源 URL、文档类型、创建时间等元数据，支持检索时的过滤条件，如 source_type:pdf AND created_at>2026-01-01。

质量监控：建立检索质量评估流水线，定期抽样检查检索结果与查询的相关性，监控指标包括 NDCG@5、MRR 等，低于阈值时触发嵌入模型或分块策略调整。

成本优化：对于大规模知识库，可采用分层存储策略 —— 热数据使用内存向量数据库，温数据使用 pgvector，冷数据归档至对象存储，按需加载。

open-notebook 的开源实现为 Notebook LM 类应用提供了可控的私有化部署路径。开发者可根据业务需求调整分块粒度、切换嵌入模型、定制播客风格，这在商业产品中难以实现。随着多模态 LLM 的演进，未来可扩展支持图像、视频内容的摄取与合成，进一步丰富知识库的媒体形态。

参考来源

• open-notebook - 开源 Notebook LM 实现
• GitHub Trending - 2026 年 6 月趋势仓库

ai-systems