使用 Perplexica 和 Ollama 构建隐私优先的本地 RAG 搜索引擎
基于开源 Perplexica,利用 TypeScript 和本地 Ollama LLM 集成 RAG,实现无云依赖的隐私搜索引擎部署。
Latest Essays
继续沿着时间线阅读近期的工程实践与技术观察。
近期的思考与工程笔记。
基于开源 Perplexica,利用 TypeScript 和本地 Ollama LLM 集成 RAG,实现无云依赖的隐私搜索引擎部署。
针对 IoT 边缘 AI,介绍 no_std Rust 下 Transformer LLM 的自定义分词、固定内存注意力机制,以及无动态分配的推理优化要点。
通过模板元编程实现编译时格式字符串验证和高效运行时插值的类型安全格式化库,无需外部依赖。
在Linux手机OS中集成沙箱隔离、硬件杀开关和审计内核,实现de-Googled隐私保护的工程指南。
针对 Debian 3.1 Sarge 系统迁移到现代发行版,提供依赖管理、包重建和兼容支持的工程实践,确保数据完整无损。
通过 DeepCode 的多代理 LLM 协调框架,实现论文到代码的自动化转换,以及 Text2Web 前端和 Text2Backend 后端的工程化参数与落地实践。
在边缘设备上部署PaddleOCR,实现多语言OCR与文档解析的低延迟推理,通过模型量化提供工程参数与监控要点。
pyproc 利用 Unix Domain Sockets 让 Go 直接调用 Python 函数,避免 CGO 和微服务开销。支持 ML 推理和数据处理,提供连接池和并行 worker 以绕过 GIL。
基于 MLX 框架,详述 Apple Silicon 上 LLM 的加载、推理加速、LoRA 微调集成及内存管理参数,实现低延迟文本生成。
探讨如何通过 Unix 域套接字在 Go 服务中嵌入 Python 运行时,实现直接函数调用,避免 CGO 和微服务的开销。
面向 1960 年代太空档案照片,给出噪声减少、颜色校正和 AI 上采样工程化管道的参数与历史保真度监控要点。
利用 Crawl4AI 实现语义分块和结构化提取,提升网络爬取数据在 RAG 管道中的预处理效率,提供工程参数和监控要点。
从 5 秒音频样本实现实时语音克隆的工程 pipeline:GE2E 编码、Tacotron2 生成与 WaveRNN 合成。
针对低功耗 CubeSat 负载,探讨 Rust 固件在轨道传感器数据采集与下行遥测协议的工程实践,包括协议优化与电源管理参数。
基于 ai-hedge-fund 项目,探讨多代理 LLM 系统在金融交易中的工程实践,包括并行协调、风险评估与执行参数配置。
探讨 PowerShell Core 在多平台下的工程实践,包括模块兼容、管道优化,以及 DevOps 工作流的落地参数和监控要点。
基于GPT-5-Codex系统卡附加,阐述工程化生产保障,包括安全评估框架、偏见缓解机制及可靠代码合成管道的参数与监控要点。
针对 Tinycolor NPM 包供应链妥协事件,介绍构建运行时检测和依赖扫描管道的工程实践,覆盖 40 个受影响包的缓解策略。
针对自传播 NPM 恶意软件,介绍注入链路追踪技术、沙箱隔离策略,以及供应链实时审计和自动回滚的工程实现。
探讨如何设计顶层规划代理,将复杂任务分解为子任务,分配给专属下层代理,实现研究和通用AI工作流中的高效多代理协调。