使用 Genkit Flows 编排 JavaScript 多 LLM 管道:可组合 RAG、向量数据库集成与代理工作流
在 Node.js 上利用 Genkit 构建多模型 AI 管道,聚焦 Flows 的可组合性、RAG 集成与代理工作流,提供落地参数与监控策略。
Latest Essays
继续沿着时间线阅读近期的工程实践与技术观察。
近期的思考与工程笔记。
在 Node.js 上利用 Genkit 构建多模型 AI 管道,聚焦 Flows 的可组合性、RAG 集成与代理工作流,提供落地参数与监控策略。
探讨 Trigger.dev 如何通过事件驱动、多步工作流和自动重试实现 AI 应用的耐用编排,提供配置参数和监控要点。
探讨 DeepResearchAgent 中并行子代理执行的实现机制,包括异步调度、资源协调与结果聚合,提供可落地参数与监控要点。
介绍 pgstream 工具如何在 Postgres 逻辑复制中集成 DDL 支持,实现 schema 变更的实时同步,而不中断数据流。
探讨在纯Rust中从头构建Transformer LLM,聚焦高效分词、自注意力机制及无外部ML库的推理优化,适用于嵌入式部署。提供关键参数、实现要点与落地指南。
基于 RustGPT 项目,探讨纯 Rust 中 Transformer 架构的构建,包括自定义分词、多头注意力机制,以及轻量级部署的工程参数与优化策略。
通过去除 FASTA 文件中的序列换行符,可显著提升 ZSTD 压缩比率达 10 倍,同时保持序列完整性,适用于大规模基因组数据存储与传输。
利用一次性电子烟中的 ESP32 芯片和锂电池,搭建 WiFi AP 模式的微型 HTTP 服务器,实现 10mW 以下功耗的边缘 IoT 演示,包含硬件提取、软件配置与优化参数。
针对 AMD Turin 平台的 PSP 固件逆向分析,提取安全原语,支持开源固件集成与 Coreboot 兼容,避免专有 blob 依赖。
通过逆向私用 API 和无 root 方式的运行时修补,绕过 macOS 锁屏壁纸限制,提供工程化参数与监控要点。
探讨 FakeIt 在 C++ 单元测试中的应用,支持存根、验证和行为自定义,实现无侵入性测试复杂类层次。
探讨 Ripple 框架中基于信号的响应式原语,用于可组合状态管理、高效重渲染以及与虚拟 DOM 差异化的无缝集成,提供工程化参数和实现清单。
面向 7B LLM,介绍 SpikingBrain 的脉冲神经元集成、事件驱动稀疏激活机制,以及低功耗推理的工程参数与效率基准。
探讨 Protobuf 在分布式系统中实现向后兼容的模式演进策略,包括未知字段处理和紧凑线格式,确保微服务长期兼容性。
利用 WebAudio API 构建实时生成音乐的浏览器编程环境,实现程序合成、模式序列化和交互循环,提供工程参数与实现要点。
基于 Crawl4AI 实现高效的异步 web 爬取,支持语义提取、去重过滤和 LLM 友好输出,适用于 RAG 数据管道。
利用 CCXT 实现实时行情获取、订单管理和多语言支持,打造高频交易策略的交易所无关机器人。
面向实时交互式语音代理,构建低延迟语音克隆流水线,包括说话者嵌入提取、Tacotron2 文本到谱图合成,以及 WaveNet 声码器的高效波形生成,支持多说话者运行时适应。
基于 garak 的内置探针,聚焦幻觉、毒性和提示注入,构建模块化 LLM 安全审计管道,提供生产化配置与监控要点。
探讨基于查询的AI产品生成系统,聚焦serverless架构下的图像/文本合成、实时渲染及支付集成,实现无物理库存的电商模式。