PyTorch从零实现解码器Transformer：高效KV缓存与长上下文注意力缩放
从scratch构建PyTorch decoder-only Transformer，集成KV cache实现长上下文高效生成，并自定义注意力缩放参数。
2025-09-28ai-systems2025-09
Latest Essays
最新见解 · 第 996 页
继续沿着时间线阅读近期的工程实践与技术观察。
最新见解
近期的思考与工程笔记。
yt-dlp 中模块化提取器的工程实践：处理动态 JS 站点的高可靠性下载
探讨 yt-dlp 中如何设计模块化提取器来应对 JavaScript 驱动的动态网站，提供 fallback 解析策略和格式选择机制，确保下载过程的高可靠性和鲁棒性。
2025-09-28application-security2025-09
初学者 AI 代理工程：简单规划、工具调用与内存持久化
面向初学者构建基础 AI 代理，聚焦简单规划策略、工具集成实践与内存管理要点，提供可落地参数与实现清单。
2025-09-28ai-systems2025-09
使用 SST Opencode 工程化终端 AI 编码代理
在终端中构建原生 AI 编码代理，使用 TypeScript 和 SST，支持模块化 LLM 集成，实现自治代码生成、重构及本地测试。提供配置参数、监控要点和落地指南。
2025-09-28ai-systems2025-09
构建 openpilot 端到端深度学习模型：实时车道检测、路径预测与车辆控制
探讨 openpilot 中 Supercombo 模型的构建，聚焦端到端深度学习在车道检测、路径预测和车辆控制的工程实现与参数优化。
2025-09-28ai-systems2025-09
使用 AutoGen 框架构建协作式 AI 代理
通过 AutoGen 框架定义代理角色、实现对话模式，并协调任务分解，在 Python 环境中解决复杂问题。适合初学者，包含实用代码示例和最佳实践参数。
2025-09-28ai-systems2025-09
用PyTorch从零实现Transformer-based LLM：GPT架构、下一token预测训练与LoRA聊天微调
本文基于PyTorch从头构建GPT-like大型语言模型，详述架构设计、预训练流程及LoRA参数高效微调，实现交互式响应生成。
2025-09-28ai-systems2025-09
量化 MP4 元数据索引：移动设备语义搜索优化
在 MP4 元数据轨道嵌入量化 ANN 索引，实现无数据库依赖的子 100ms 移动语义搜索，优化压缩比与查询效率。
2025-09-28ai-systems2025-09
SSH3 中基于 QUIC 流实现动态端口转发与 SOCKS 隧道
基于 QUIC 流实现 SSH3 的动态端口转发与 SOCKS 隧道，支持防火墙规避与子 RTT 远程访问的工程参数。
2025-09-28systems-engineering2025-09
利用 Supervision 可组合工具构建可扩展标注管道：对象跟踪、过滤与指标计算
利用 Supervision 的 Detections、Annotators 和 trackers 构建 scalable 标注管道，支持跟踪、过滤和 metrics 计算，简化 CV 数据集 curation 与模型评估。
2025-09-28ai-systems2025-09
Onyx 中动态 LLM 路由与共享上下文缓存工程化
在 Onyx 平台上实现动态 LLM 路由与共享上下文缓存，支持混合模型切换和持久对话，提供工程化参数与监控要点。
2025-09-28ai-systems2025-09
使用 Dynamo 编排异构 GPU 上的数据中心规模 LLM 推理：Rust 异步调度与零拷贝优化
探讨 Dynamo 在异构 GPU 环境下的编排机制，包括 Rust 异步调度、Raft 领导选举和零拷贝张量共享的工程实践与参数调优。
2025-09-28ai-systems2025-09
Rust 实现的 epoll 与 UDP 多路复用：零拷贝低延迟隐私网络栈在无遥测浏览器中的应用
在 Helium 等隐私浏览器中，使用 Rust 构建基于 epoll 的 UDP 多路复用网络栈，实现零拷贝传输以提升低延迟隐私网络性能。
2025-09-28application-security2025-09
在 Cloudflare Anycast 网络中实现可扩展的边缘缓存和路由
本文探讨如何在 Cloudflare 的 Anycast 网络中实施可扩展的边缘缓存和路由策略，实现全球低延迟内容交付和 PoP 间的动态负载均衡，提供工程参数和监控要点。
2025-09-28web-architecture2025-09
使用 C++ 中的 Taskflow 和 Rust 中的 Rayon 实现依赖驱动的并行任务图
超越 OpenMP 的线程级并行，探讨 Taskflow 和 Rayon 如何构建依赖驱动的任务图（DAG），提供高效执行的参数配置与监控要点。
2025-09-28systems-engineering2025-09
在 MP4 元数据轨道中实现量化 ANN 索引：面向边缘设备的无数据库向量搜索
探讨如何将近似最近邻索引嵌入 MP4 元数据轨道，实现资源受限边缘设备上的高效语义搜索，结合 Memvid 理念与量化技术，避免外部数据库依赖。
2025-09-28ai-systems2025-09
优化 Gin 的流式响应处理以实现实时 API 的亚毫秒延迟
探讨使用分块传输编码和零拷贝缓冲区优化 Gin 框架的流式响应处理，在数据密集型 Web 服务中实现低延迟。
2025-09-28application-security2025-09
树莓派500+机械键盘的低延迟输入处理与GPIO集成工程化
针对树莓派500+上的机械键盘集成，工程化低延迟输入处理与GPIO扩展，提供参数配置、监控要点及嵌入式系统落地策略。
2025-09-28embedded-systems2025-09
使用Dynamo协调异构GPU上的数据中心规模LLM推理：Rust分片与动态路由
Dynamo框架通过Rust-based sharding、动态路由和零拷贝张量共享，实现异构GPU环境下的低延迟LLM服务。探讨核心架构与工程参数配置。
2025-09-28ai-systems2025-09
SSH3 中基于 QUIC 的可恢复 SFTP 实现：检查点机制与不稳定网络传输
在 SSH3 中利用 QUIC 流实现 SFTP 的断点续传，支持部分上传检查点，确保大文件在不稳定网络下的可靠传输。提供工程参数和监控要点。
2025-09-28systems-engineering2025-09