实现 Transformer LLM 的自定义 PyTorch 训练循环
面向从头构建 LLM,介绍自定义训练循环的关键组件与工程化参数,确保高效训练小规模模型。
Latest Essays
继续沿着时间线阅读近期的工程实践与技术观察。
近期的思考与工程笔记。
面向从头构建 LLM,介绍自定义训练循环的关键组件与工程化参数,确保高效训练小规模模型。
探讨 const generics 和 specialization 等 Rust 特性在 Linux 内核模块中的应用,提供安全优化参数和实施清单。
探讨 Nix 包管理器如何通过纯函数式推导、纯度评估和沙箱构建机制,防范恶意包注入等供应链风险,提供工程参数和最佳实践。
基于 Spring AI Alibaba,在 Java 中实现 LLM 编排、工具集成与企业级部署的模块化代理管道,提供工程化参数与实践清单。
基于 WAHA 项目,使用 WEBJS 引擎实现 WhatsApp REST API 配置,支持多设备访问、会话管理、媒体处理与 webhook 集成,无需官方 SDK。
从 serverless 迁移到自托管 Rust 架构,消除冷启动问题,通过直接数据库集成简化设计并实现 sub-ms 响应。
剖析 Backblaze HDD 故障率演变,探讨影响因素,并给出耐用存储的工程化参数与监控清单。
基于 async-imap 库,详述 Tokio 异步框架下 IMAP 客户端的连接管理、错误处理及优化参数,支持大规模邮件同步。
基于多代理系统和本地 LLM API,开发隐私保护的 Chrome 扩展,实现无云依赖的 web 自动化任务执行。
针对物理 AI 代理的接触丰富操纵,探讨 OpenArm 模块化伺服执行器的工程设计、高精度扭矩反馈机制及 ROS2 集成参数。
探索如何在 Ollama 中部署轻量级代码模型 CodeGemma 和 DeepSeek Coder,实现本地代码生成和自动补全管道,提升开发效率并确保数据隐私。
面向税务计算任务,探讨前沿 LLM 的评估管道设计,包括少样本提示策略、错误分类方法以及针对财政准确性的指标设计。
基于 Minimind 项目,介绍从数据分词到 LoRA 微调的 PyTorch 管道,实现快速训练小规模 GPT 模型的工程实践。
本文分析 NVIDIA Linux GPU 内核驱动中通过栈溢出引发的 Use-After-Free 漏洞的利用机制,并提供使用 eBPF 钩子进行监控和缓解的实用参数与策略。
基于 Rust 的 Zed 编辑器 Windows 端口实践,聚焦 GPUI 框架的 DirectX 适配、实时协作与高性能渲染参数。
针对资源受限的8位硬件,探讨通过流水线取指、解码和乱序issue实现superscalar执行的关键参数、工程实践与监控要点,提升指令吞吐量。
面向 IRS 税务事实,介绍联邦 RDF 图构建与 SPARQL 端点的工程化实现,支持合规工具的高效查询与集成。
利用 TxGemma 模型微调蛋白交互图数据,预测新型癌症治疗路径,并整合湿实验验证管道,实现药物发现加速。
面向生产部署前的响应式 Python 笔记本验证,给出 marimo check 在 CI/CD 中的集成参数、阈值设置与监控策略。
探讨在 Rust 垃圾回收系统中实现 finalizers 的前沿方法,确保在并发、非确定性环境中安全清理资源,而无需根屏障。提供工程参数和最佳实践。