# Integrate Multiple LLMs in Genkit Flows for Composable AI Apps > Explore integrating multiple LLMs using Genkit's flow-based orchestration, with JS/Go/Python support, tracing for debugging, and practical model switching strategies. ## 元数据 - 路径: /posts/2025/09/14/integrate-multiple-llms-genkit-flows-composable-ai-apps/ - 发布时间: 2025-09-14T20:46:50+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 站点: https://blog.hotdry.top ## 正文 在构建可组合的 AI 应用时，多模型 LLM（大型语言模型）的集成是关键挑战之一。Genkit 作为 Firebase 推出的开源框架，提供了一种高效的方式，通过 Flows 机制实现多模型编排，支持 JavaScript/TypeScript、Go 和 Python（Alpha 版）等多种语言绑定。这种方法不仅简化了模型切换，还内置了追踪功能，便于生产环境调试。本文将聚焦于如何在 Genkit Flows 中集成多个 LLM，结合实际参数和落地清单，帮助开发者快速上手。 ### Genkit Flows 的多模型集成基础 Genkit 的核心优势在于其统一的 API 接口，能够无缝接入 Google、OpenAI、Anthropic 和 Ollama 等提供商的数百种模型。这使得开发者无需为每个模型编写自定义适配器，只需通过插件配置即可实现多模型协作。在 Flows 中，开发者可以将多个生成请求串联成工作流，例如先用一个模型处理用户输入，再用另一个模型生成结构化输出。这种流式组合避免了传统 LLM 编排框架（如 Haystack）的复杂性，特别适合全栈 AI 应用的开发。 例如，在一个推荐系统场景中，可以设计一个 Flow 先使用 OpenAI 的 GPT-4o 模型提取用户偏好，然后切换到 Google 的 Gemini 模型生成个性化建议。这种多模型策略提升了输出的准确性和多样性。根据 Genkit 文档，Flows 支持输入/输出 schema 定义，使用 Zod（JS/TS）或 Pydantic（Python）确保类型安全，避免运行时错误。 ### 实现多模型 Flows 的步骤与代码示例 要集成多个 LLM，首先安装 Genkit SDK 和相关插件。以 JavaScript/TypeScript 为例，初始化 Genkit 时加载多个提供商： ```typescript import { genkit } from 'genkit'; import { googleAI } from '@genkit-ai/google-genai'; import { openAI } from '@genkit-ai/openai'; const ai = genkit({ plugins: [googleAI(), openAI()], }); ``` 定义一个多模型 Flow 时，使用 `ai.defineFlow` 封装逻辑。假设我们构建一个聊天机器人 Flow：先用 OpenAI 模型总结对话历史，再用 Gemini 模型生成回复。 ```typescript import { z } from 'genkit'; const ChatInputSchema = z.object({ history: z.array(z.string()), query: z.string(), }); const ChatOutputSchema = z.object({ summary: z.string(), response: z.string(), }); export const multiModelChatFlow = ai.defineFlow( { name: 'multiModelChatFlow', inputSchema: ChatInputSchema, outputSchema: ChatOutputSchema, }, async ({ history, query }) => { // 第一步：用 OpenAI 总结历史 const { text: summary } = await ai.generate({ model: openAI.model('gpt-4o-mini'), prompt: `Summarize this chat history: ${history.join('\n')}`, }); // 第二步：用 Gemini 生成回复 const { text: response } = await ai.generate({ model: googleAI.model('gemini-1.5-flash'), prompt: `Based on summary: ${summary}\nUser query: ${query}\nProvide a helpful response.`, }); return { summary, response }; }, ); ``` 这个 Flow 的输入是对话历史和当前查询，输出是总结和回复。模型切换通过指定 `model` 参数实现，Genkit 会自动处理 API 调用差异。在 Go 语言中，类似地使用 `genkit.DefineFlow` 和 `genkit.GenerateData` 来定义结构化输出；在 Python 中，则用 `@ai.flow` 装饰器和 Pydantic 模型。 对于流式输出，支持多模型的场景尤为实用。例如，在长文本生成中，可以用一个模型处理前半部分，再流式切换到另一个模型完成。这种设计在 Genkit 中通过 `ai.generateStream` 和 `sendChunk` 回调实现，确保低延迟响应。 ### 内置追踪与生产调试 Genkit 的 Flows 内置追踪机制，每一步生成请求（如 `generate` 或 `chat.send`）都会记录为独立步骤，便于调试。这在多模型集成中至关重要，因为模型间输出可能不一致，导致级联错误。通过 Developer UI 或 CLI，可以可视化执行轨迹，包括输入提示、模型选择和输出细节。 例如，运行 `genkit flow:run multiModelChatFlow '{"history": ["Hello"], "query": "Weather?"}'` 后，在 UI 的 Inspect 标签下查看 traces。每个步骤显示延迟、错误率和令牌消耗，帮助识别瓶颈，如 OpenAI API 的高延迟。 在生产环境中，Genkit 集成 Firebase 监控仪表盘，追踪模型性能指标：请求量、延迟（目标 < 500ms）和错误率（< 1%）。对于模型切换，建议设置回退策略：如果 Gemini 超时（阈值 10s），自动切换到本地 Ollama 模型。风险包括 API 密钥泄露和配额超限，因此使用 Firebase Secrets 管理密钥，并设置每日调用限额（如 1000 次/模型）。 ### 模型切换与优化参数 多模型编排的核心是动态切换。Genkit 支持条件逻辑，例如基于输入复杂度选择模型：短查询用轻量 GPT-4o-mini，长查询用 Gemini-1.5-pro。优化参数包括： - **温度与 Top-p**：统一设置温度 0.7、Top-p 0.9，确保输出一致性；在多模型 Flow 中，第一个模型的温度设低（0.5）以获得稳定总结，后续模型可调高以增加创意。 - **最大令牌**：输入限 4096 令牌，输出限 1024，避免成本爆炸。监控总令牌使用，目标 < 5000/请求。 - **系统提示**：为每个模型定制系统提示，例如 OpenAI 用 “You are a concise summarizer”，Gemini 用 “You are an engaging responder”。 - **错误处理**：在 Flow 中添加 try-catch，失败时回滚到默认模型。设置重试机制：3 次重试，指数退避（初始 1s）。 落地清单： 1. **环境准备**：安装 SDK（npm install genkit @genkit-ai/google-genai），配置 API 密钥。 2. **Flow 定义**：使用 schema 确保类型安全，测试单模型再扩展多模型。 3. **调试迭代**：用 Developer UI 运行 10+ 测试用例，检查 traces 中的模型切换点。 4. **部署**：用 Cloud Functions for Firebase 部署 Flow，支持 auth 策略（如 email_verified）。对于非 Google 环境，用 Express.js 的 `startFlowServer` 暴露 API 端点。 5. **监控与回滚**：集成 Firebase 仪表盘，设置警报阈值（延迟 > 2s）。准备回滚计划：如果多模型 Flow 出错，降级到单模型版本。 6. **性能调优**：A/B 测试模型组合，目标响应时间 < 1s，成本 < 0.01 USD/请求。 ### 实际应用与局限性 在可组合 AI 应用中，这种多模型 Flows 适用于聊天机器人、内容生成和 RAG（检索增强生成）系统。例如，结合 Genkit 的 RAG 插件，先用嵌入模型（Gemini）检索文档，再用 LLM 生成答案。相比通用框架，Genkit 的多语言支持和 Firebase 集成更适合移动/Web 应用。 然而，Python SDK 仍为 Alpha 版，建议生产用 JS/Go。另一个局限是依赖提供商稳定性，建议混合本地模型（如 Ollama）以防 API downtime。 通过 Genkit Flows，多模型 LLM 集成变得高效且可维护。开发者可以快速构建生产级 AI 应用，利用追踪和参数优化确保可靠性。未来，随着更多插件支持，Genkit 将进一步简化 AI 编排。 （字数：约 1250 字） 引用： 1. Genkit 官方文档：https://genkit.dev/docs/flows 2. GitHub 仓库：https://github.com/firebase/genkit ## 同分类近期文章 ### [NVIDIA PersonaPlex 双重条件提示工程与全双工架构解析](/posts/2026/04/09/nvidia-personaplex-dual-conditioning-architecture/) - 日期: 2026-04-09T03:04:25+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 NVIDIA PersonaPlex 的双流架构设计、文本提示与语音提示的双重条件机制，以及如何在单模型中实现实时全双工对话与角色切换。 ### [ai-hedge-fund：多代理AI对冲基金的架构设计与信号聚合机制](/posts/2026/04/09/multi-agent-ai-hedge-fund-architecture/) - 日期: 2026-04-09T01:49:57+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析GitHub Trending项目ai-hedge-fund的多代理架构，探讨19个专业角色分工、信号生成管线与风控自动化的工程实现。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation-framework/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [LiteRT-LM C++ 推理运行时：边缘设备的量化、算子融合与内存管理实践](/posts/2026/04/08/litert-lm-cpp-inference-runtime-quantization-fusion-memory/) - 日期: 2026-04-08T21:52:31+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 LiteRT-LM 在边缘设备上的 C++ 推理运行时，聚焦量化策略配置、算子融合模式与内存管理的工程化实践参数。