基于凸松弛的最优优化器在PyTorch中的实现：加速LLM收敛
利用凸松弛构建的最优优化器在PyTorch中实现，提供理论收敛保证，并优化多GPU环境下的自适应步长，提升LLM训练效率。
2025-10-18ai-engineering2025-10
Latest Essays
最新见解 · 第 897 页
继续沿着时间线阅读近期的工程实践与技术观察。
最新见解
近期的思考与工程笔记。
使用 PyTorch DDP 将 MiniMind 的 26M GPT 训练扩展到多 GPU 集群：数据分片、梯度同步与弹性检查点
探讨如何通过 PyTorch DDP 将 MiniMind 26M 参数 GPT 模型训练扩展到多 GPU 环境，包括数据分片、梯度 all-reduce 机制，以及弹性检查点实现故障容忍。
2025-10-18ai-systems2025-10
分布式凸松弛技术优化SGD：多GPU LLM微调加速30%
将单纯形优化的凸松弛技术适应到分布式SGD变体中，通过优化all-reduce模式和分片策略，实现多GPU LLM微调中30%更快的收敛。聚焦工程化实现，避免通信瓶颈，提供可落地参数和监控要点。
2025-10-18ai-engineering2025-10
AI 代理的十年级系统挑战：可靠性和监督
基于 Karpathy 访谈，剖析 AI 代理十年级可靠性难题，聚焦多步规划验证阈值与混合人类-AI 监督集成，提供工程参数与监控要点。
2025-10-18ai-systems2025-10
在 MiniMind 中集成 FP16 混合精度训练：加速 26M GPT 原型在消费级 GPU 上的开发
面向 MiniMind 的 PyTorch 训练循环，给出 FP16 混合精度集成、AMP 配置与损失缩放的工程实践与稳定性监控要点。
2025-10-18ai-systems2025-10
Engineering APFS Snapshots and Container Cloning in macOS Tahoe's Elephant
在 macOS Tahoe 的 Elephant 系统中，利用 APFS 快照和容器克隆实现可靠、高效的备份与版本化文件系统管理，提供工程参数和最佳实践。
2025-10-18systems-engineering2025-10
基于 TypeScript 的交互式 SVG 开发者技术栈路线图工程化
工程化 50+ 开发者技术栈的交互式 SVG 路线图，支持缩放/平移导航，覆盖 AI、Web、系统领域，便于职业路径探索。给出 TypeScript + D3.js 实现参数与最佳实践。
2025-10-18application-security2025-10
桌面CPU喷雾冷却系统工程：模仿超级计算机热管理优化
模仿超级计算机喷雾冷却，优化桌面CPU热管理：喷嘴设计与流动参数详解，支持1kW+散热。
2025-10-18systems-engineering2025-10
所有权转移后 Bundler 中的增强依赖审计与版本固定
探讨 Ruby Core Team 接管后，如何通过 Bundler 版本固定和审计机制降低 Ruby 应用供应链风险，提供工程参数与实践清单。
2025-10-18application-security2025-10
PaddleOCR 输出链式接入 LLM：扫描文档表格结构化提取与后处理优化
探讨将 PaddleOCR 输出链式输入 LLM，实现扫描文档中表格的结构化提取，包括实体解析和噪声输入错误校正，提供工程参数与监控要点。
2025-10-18ai-systems2025-10
PS3 中 RSX GPU 与 Cell 处理器的工程集成：Element Interconnect Bus 优化纹理流式与统一内存
针对资源受限的游戏主机硬件，分析 RSX GPU 通过 EIB 与 Cell 的集成工程，实现高效纹理流式、统一内存共享和实时渲染的关键参数与实践。
2025-10-18systems-engineering2025-10
AI 代理十年规模系统性挑战：多步规划可靠性验证与混合监督架构
分析 AI 代理在十年尺度上的系统性难题，聚焦多步规划的可靠性验证机制及可扩展混合监督架构的设计要点与落地参数。
2025-10-18ai-systems2025-10
使用 WebMCP 构建浏览器原生 MCP 客户端
探讨 WebMCP 如何实现无服务器中介的多模型 AI 工具集成，提供工程化构建指南与安全参数。
2025-10-18ai-systems2025-10
桥接 PaddleOCR 与 LLM：PDF 结构化数据提取
利用 PaddleOCR 输出桥接到 LLM，实现多语言 PDF 的结构化提取，支持验证与错误修正的工程化管道。
2025-10-18ai-systems2025-10
使用 ServiceRadar 的 eBPF 数据包捕获与 Grafana 集成
在微服务环境中，利用 ServiceRadar 的 eBPF 实现数据包捕获和流分析，并集成 Grafana 进行实时拓扑可视化和异常检测，提供工程化参数和监控要点。
2025-10-18systems-engineering2025-10
AI代理多步规划可靠性：验证循环与混合人-AI监督实现
针对生产环境中AI代理的多步执行，提出验证循环机制与混合人-AI监督策略，减少幻觉传播风险，提供参数阈值与监控清单。
2025-10-18ai-systems2025-10
PyTorch 中基于凸松弛的最优优化器实现
基于最近数学突破，利用凸松弛优化 simplex 方法思想，设计 PyTorch 优化器，加速非凸神经网络训练，在 CIFAR-10 上实现 20-50% 收敛加速。
2025-10-18ai-engineering2025-10
MiniMind：从零用 PyTorch 构建 26M GPT 核心训练组件
探讨 MiniMind 中 PyTorch 实现的 Transformer 架构、分词器、数据管道及训练循环，为小规模 GPT 训练提供工程化指导。
2025-10-18ai-systems2025-10
在Linux Docker容器中实现Windows应用的系统调用翻译与内核隔离
基于Dockur项目，利用QEMU和KVM技术在Docker中运行Windows应用，提供syscall翻译机制与内核隔离策略，优化开销与兼容性。
2025-10-18systems-engineering2025-10
工程可靠AI代理：Karpathy眼中的多步规划与错误积累挑战
探讨AI代理可靠性工程，聚焦多步规划、错误积累与工具集成，提供可落地参数与策略。
2025-10-18ai-systems2025-10