MiniMind 高效数据分词与预处理管道:单 GPU 快速训练 26M GPT
探讨 MiniMind 项目中可扩展的分词和数据预处理工程实践,优化词汇表大小,支持流式数据集加载,实现单 GPU 上 2 小时内训练 26M 参数 GPT 模型的关键参数与策略。
Latest Essays
继续沿着时间线阅读近期的工程实践与技术观察。
近期的思考与工程笔记。
探讨 MiniMind 项目中可扩展的分词和数据预处理工程实践,优化词汇表大小,支持流式数据集加载,实现单 GPU 上 2 小时内训练 26M 参数 GPT 模型的关键参数与策略。
在 SWE-Grep-Mini 中工程化 RL 策略,实现快速多轮代码检索。焦点包括轻量级模型效率、基于相似性的去重,以及在受限环境中 sub-100ms 延迟。提供参数配置、监控要点和最佳实践。
本篇文章探讨如何利用 React、Next.js 和 Tailwind CSS 构建 Netflix 和 Instagram 等流行网站的模块化克隆,重点分析状态管理、路由机制以及响应式设计的最佳实践。通过开源项目,提供可落地的工程参数和开发清单。
通过浏览器拦截混淆的电子书获取、localStorage解密和内容提取,实现无原生app依赖的离线访问。
本文探讨在 Cloudflare Workers 中使用 Sandbox SDK 执行第三方 JS 代码的安全隔离机制,包括 V8 Isolate 增强和 crypto 验证的最佳实践。
为人形机器人设计RL策略和sim-to-real转移技术,处理奥运平衡木和跳马,焦点实时感知与执行器控制。
面向生产 AI 系统,利用 Claude API 的工具使用功能集成外部工具、函数调用,实现代理行为。提供工程化参数、示例代码与监控策略。
Elixir 1.19 引入了对脏 NIF 调度的优化和 IEx 的改进,帮助开发者构建高效的低延迟应用,实现无缝的原生互操作。
面向 JUnit 测试,使用 Testcontainers 集成临时 Docker 容器模拟数据库、消息代理和 Web 服务,提供工程化参数与 CI 最佳实践。
针对超出 Intel/AMD 的新兴 x86 硬件,介绍内核模块中使用 CPUID 扩展、ACPI 解析和运行时验证的工程实践与参数配置。
探讨RL奖励函数在SWE-Grep多轮代码检索中的设计,强调相似度阈值和去重指标的应用,以实现低延迟的高效检索。
探索 Hyperflask 如何简化 Flask 后端与 HTMX 前端的集成,实现无 JS 依赖的动态交互、部分页面更新和高效表单处理。
探讨 Qwen3-VL 的跨模态 token 融合机制与注意力掩码策略,实现高效图像-文本对齐,支持实时多模态推理管道的工程实践参数与监控要点。
针对TB级ZIP存档,介绍使用随机I/O和流式解压的低内存解析方案,包括关键参数与落地清单。
在单 GPU 环境下优化 nanoGPT 代码库,实现 124M 参数 GPT 模型 3 分钟训练,聚焦数据管道改进、Torch.compile 加速及开销降低策略,提供工程参数和监控要点。
面向非 Intel/AMD x86 厂商,给出内核模块开发与 OS 抽象兼容性的工程参数与硬件验证管道要点。
基于吴恩达 LLM 课程的中文 cookbook,本文提供提示工程的最佳提示模板、RAG 系统的本地部署参数以及微调管道的完整实现指南,支持开发者快速上手工程实践。
利用 OCaml 的代数效应构建支持可恢复 IO 操作和错误处理的并发 DNS 服务器,避免传统单子栈的复杂性,提供工程化参数和实现要点。
通过 ACP 协议在 Zed 中集成 Codex,提供高效的 AI 代码辅助,包含终端处理优化与配置参数。
本指南提供 POSIX 兼容的 Bash 脚本,用于通过 nvm 管理 Node.js 版本,包括安装、切换、.nvmrc 集成以及 shell hooks 自动化切换的实用参数和清单。