在 Triton 内核中使用 Cutlass 命名实现自定义 FP8 操作的加速
利用 Cutlass 命名在 Triton 内核中解锁自定义 FP8 操作的 100 TFLOPS 加速，聚焦融合注意力等超出 GEMM 的应用。
2025-10-03ai-systems2025-10
Latest Essays
最新见解 · 第 972 页
继续沿着时间线阅读近期的工程实践与技术观察。
最新见解
近期的思考与工程笔记。
TigerBeetle 中使用 Zig 异步运行时实现分布式事务严格可串行化隔离的工程实践
探讨 TigerBeetle 如何利用 Zig 的异步运行时和确定性模拟测试，在分布式集群中实现严格可串行化隔离，防止竞争条件，支持高吞吐金融转移。包括工程参数和监控要点。
2025-10-03systems-engineering2025-10
在 DBOS 中实现 Saga 补偿模式：使用 PostgreSQL 进行分布式工作流的两阶段提交与回滚编排
基于 DBOS 和 PostgreSQL，介绍 Saga 补偿在分布式工作流中的应用，包括两阶段提交机制、补偿函数设计及回滚策略。
2025-10-03systems-engineering2025-10
通过 CUTLASS 命名约定在 Triton 中实现 FP8 GEMM 内核
面向 AI 推理管道，通过 CUTLASS 命名触发 Triton FP8 GEMM 优化，实现高吞吐量通用线性代数操作的参数与监控要点。
2025-10-03ai-systems2025-10
Quarkus 与 GraalVM 原生编译：响应式 Kubernetes 部署的低延迟微服务工程实践
利用 Quarkus 框架和 GraalVM 原生编译技术，在 Kubernetes 中构建响应式 Java 微服务，实现 sub-100ms 冷启动和高效资源利用的工程参数与部署清单。
2025-10-03systems-engineering2025-10
JAX-Native LLM Distillation with vmap and pmap on TPU
基于 Tunix 库，利用 JAX 的 vmap 进行向量化评估和 pmap 实现多 TPU 并行训练，优化 LLM 后训练效率，提供工程化参数和监控要点。
2025-10-03ai-systems2025-10
基于 AI Engineering 书籍的可扩展 LLM 服务管道实现：Redis 队列、动态模型加载与 Prometheus 监控
借鉴 Chip Huyen 的 AI Engineering 书籍，介绍可扩展 LLM 服务管道的工程实践，包括 Redis 请求队列管理、动态模型加载以及 Prometheus 实时延迟监控的关键参数。
2025-10-03ai-engineering2025-10
Blender 4.5 中模拟区域与几何节点的工程化实践
针对 Blender 4.5 的模拟区域与几何节点，探讨稳定物理模拟和程序化资产生成的工程参数与工作流优化。
2025-10-03systems-engineering2025-10
Tunix 中 JAX 原生后训练流水线：量化、对齐与 TPU 优化推理服务
利用 Tunix 构建 JAX 原生后训练管道，实现量化、对齐优化，并在 TPU 上通过 vmap/pmap 并行高效推理服务。
2025-10-03ai-systems2025-10
利用 OCI 注册表管理私有 Python 包
面向私有 Python 包的分发，给出基于 OCI 镜像的发布、安装工程化参数与空气隔离环境支持要点。
2025-10-03ai-engineering2025-10
Granite 4 中 Mamba-Transformer 混合架构的集成与优化
在 Granite 4 中融合 Mamba 与 Transformer，实现高效长上下文处理，降低企业部署内存足迹，提供关键参数与清单。
2025-10-03ai-systems2025-10
利用 Cutlass 内核命名惯例在 Triton 中实现 FP8 张量核的多头注意力 100 TFLOPS 加速
在 LLM 推理中，利用 Triton 借鉴 Cutlass 内核命名优化 FP8 张量核，实现多头注意力 100 TFLOPS 加速，提供落地参数和监控策略。
2025-10-03ai-systems2025-10
Claude SDK 中实现有状态多代理工具链编排与持久化
利用 Claude Agent SDK 构建顺序工具链的多代理系统，实现状态持久化以支持复杂 AI 工作流。
2025-10-03ai-systems2025-10
一致性哈希中虚拟节点环的实现：实现均匀负载分布与最小化数据重映射
在分布式缓存中应用一致性哈希的虚拟节点机制，提供负载均衡参数与节点管理策略。
2025-10-03systems-engineering2025-10
使用 AI 模糊测试强化 curl 多句柄多协议 DoS 防护
针对 curl 多句柄 API 的 AI 生成模糊测试，暴露 HTTP-FTP 等跨协议交互中的 DoS 向量，提供工程参数与监控要点。
2025-10-03ai-security2025-10
使用纯 Go 和 Fyne 构建轻量级 Linux 桌面环境：FyneDesk 工程实践
基于 Fyne 的 FyneDesk 项目，探讨纯 Go 桌面环境的构建，包括小部件渲染、窗口合成和工程化配置要点。
2025-10-03systems-engineering2025-10
Leveraging LLM-Assisted Static Analysis for Detecting Vulnerabilities in Libcurl
本文探讨如何运用 LLM 工具对 libcurl 源代码进行静态分析，识别内存泄漏、竞态条件及协议不一致等问题，提供实用参数和最佳实践指南。
2025-10-03ai-security2025-10
使用 JAX pmap 在 Tunix 中构建分布式 RLHF 流水线：多 TPU 奖励建模与 PPO 优化
在 Tunix 框架下，利用 JAX pmap 实现多 TPU 上的分布式 RLHF 流水线，包括奖励建模、PPO 优化和偏好数据分片，提升 LLM 对齐效率。
2025-10-03ai-engineering2025-10
Distributed LLM Distillation in Tunix Using JAX vmap and pmap
探讨在 Tunix 框架下，利用 JAX 的 vmap 进行批处理矢量化与 pmap 实现多 TPU 并行，从而优化 LLM 知识蒸馏过程的对齐和微调效率，提供工程化参数与最佳实践。
2025-10-03ai-engineering2025-10
从零实现最小 Transformer LLM
使用 PyTorch 从头构建小型 Transformer 语言模型，包括自定义 BPE 分词器、GPT-2 式架构，并在莎士比亚数据集上训练的核心组件。
2025-10-03ai-systems2025-10