微型 GPT 从零构建:核心训练循环、分词与单 GPU 高效推理
基于 Karpathy microGPT 与 nanoGPT,详解最小 GPT 分词、训练循环及单 GPU 推理参数,提供纯 Python 快速原型参数与监控清单。
Latest Essays
继续沿着时间线阅读近期的工程实践与技术观察。
近期的思考与工程笔记。
基于 Karpathy microGPT 与 nanoGPT,详解最小 GPT 分词、训练循环及单 GPU 推理参数,提供纯 Python 快速原型参数与监控清单。
Rust xmloxide 的 SAX 流式解析优化,实现零拷贝事件驱动的高吞吐 XML 处理,内存安全替换 libxml2,支持 agent 实时工作流集成。
详解生产级近似最近邻(ANN)系统的工程实践,包括混合内存-磁盘索引、动态增删、WAL持久化和背景合并,确保高QPS、亚毫秒延迟与>95%召回率。
通过固定种子、零温度设置、结构化提示,实现可靠、可重现的 LLM 生成编程逻辑;工程参数、清单与 lint/test 强制策略。
面向生产可靠性的 LLM 代码生成,给出固定种子配置、结构化提示模板与验证循环的工程参数与监控要点。
AI 代理辅助实现的 xmloxide 项目,提供内存安全的 libxml2 替换方案,包括性能基准、C FFI 迁移与工程参数配置。
基于 awesome-llm-apps 100+ 开源示例,总结生产部署的 Agent 协调、RAG 管道、多模型路由与评估框架的关键模式、参数与清单,确保可扩展性与可靠性。
基于 liblzma 实现 XZ Utils 的多线程 LZMA2 块并行编码器,聚焦多核系统线程亲和性绑定与动态块调度策略,提供参数阈值与生产部署清单。
针对生产级近似最近邻搜索,实证对比HNSW与IVF-PQ在recall@10、QPS和内存上的表现,给出调优参数、缩放策略与评估清单。
通过 laravel-inertia-toast 库,实现 Laravel + Inertia 应用的 toast 通知,支持后端 PHP 和前端 JS 调用,提供多位置、多 toast 配置,无需页面刷新。
剖析 XZ Utils 多线程 LZMA2 压缩机制,通过块并行加速多核压缩,详解线程同步、独立字典设计及 .xz 流集成,提供参数配置与工程清单。
AIRI自托管Grok伴侣的实时语音与Minecraft/Factorio代理实现,多模态灵魂架构的边缘部署参数与优化要点。
MinIO CE 维护模式后,社区 Fork 提供 S3 兼容弹性存储,详解 pgsty/minio HA 参数、兼容测试与迁移清单。
通过Unsloth GGUF量化、llama.cpp内核融合和分层offload,在RTX 4090等消费级GPU部署Qwen3.5 122B MoE模型,实现接近Claude Sonnet 3.5级本地推理。
在商品 Mesh 路由器上部署 Rust CSI 处理流水线,支持实时墙后 DensePose 姿态估计的关键硬件配置、算法参数与生产优化要点。
基于 InvisPose 的 Rust 高性能实现,详解从商用路由器提取 CSI 幅度/相位、多 AP 信号融合及 NN 密集姿态解码的工程化 pipeline 与参数配置。
构建支持磁盘持久化、动态增删、高召回保证与亚毫秒延迟的生产级ANN系统,给出工程参数与监控要点。
剖析 Antigravity 禁令触发机制,提供 session reset、context pruning 和 header rotation 等工程策略,确保可靠访问 Gemini 高级模型。
OpenAI-DoD classified 部署启发下,详解气隙网络中 LLM 推理工程:secure enclaves 配置、离线微调参数与合成数据生成策略,确保 classified ops 安全高效。
基于 WiFi CSI 的 InvisPose Rust 实现,支持通过墙实时全身姿态跟踪,聚焦 mesh 路由器部署的生产级吞吐量参数与优化策略。