实现内存打包与动态张量重塑以实现全GPU利用率
通过内存打包和动态张量重塑优化大型模型预训练，消除闲置GPU周期，实现>95%利用率，无需硬件修改。聚焦Stanford低级分配技术，提供工程参数和监控要点。
2025-10-02ai-engineering2025-10
Latest Essays
最新见解 · 第 976 页
继续沿着时间线阅读近期的工程实践与技术观察。
最新见解
近期的思考与工程笔记。
OpenTSLM 在实时 IoT 异常检测中的流式推理工程化
探讨 OpenTSLM 构建实时 IoT 异常检测流式推理管道，强调低延迟 token 流式、自适应 KV 缓存管理和边缘部署优化。
2025-10-02ai-systems2025-10
实现角色专精 LLM 代理的中国金融交易管道：实时数据集成与多跳推理
探讨如何在中文金融交易中使用多代理 LLM 框架，实现角色分工、实时数据馈送、多跳决策及合规回测，提供工程参数与清单。
2025-10-02ai-systems2025-10
工程化自动化 SBOM 生成与漏洞扫描工作流：开源项目网络弹性法案合规实践
针对欧盟网络弹性法案（CRA），开源项目需构建自动化 SBOM 生成、漏洞扫描及报告管道，提供可操作的参数配置与监控策略。
2025-10-02ai-security2025-10
使用 Sim 工程化模块化 AI 代理工作流
Sim 平台以 TypeScript 为基石，提供低代码工具快速构建多代理工作流，支持实时协作和自托管部署。本文聚焦工程实践，给出组成、执行和优化的可操作参数。
2025-10-02ai-systems2025-10
Rust 模块化异步连接器在支付路由中的实现
探讨 Hyperswitch 中使用 Rust 实现模块化异步连接器和确定性状态机，支持高吞吐量支付路由、零停机故障转移与连接器分片的关键工程实践。
2025-10-02systems-engineering2025-10
使用 Rust 构建模块化异步连接器：支付路由的状态机保障
探讨 Hyperswitch 中 Rust 异步连接器的模块化设计，通过状态机实现支付路由的幂等性、对账和低延迟 failover 工程实践。
2025-10-02systems-engineering2025-10
实现全GPU利用率训练：动态调度与内核优化实践
在大型AI训练中，通过流水线并行和自适应批处理结合动态调度，实现95%+ GPU效率的工程参数与优化策略。
2025-10-02ai-systems2025-10
Integrating Edge264 into WebRTC for Sub-100ms Latency Streaming
探讨 Edge264 解码器在 WebRTC 管道中的集成，焦点自适应抖动缓冲和帧同步策略，以实现实时视频应用的低延迟。
2025-10-02systems-engineering2025-10
使用 Handy 构建可扩展离线语音识别：Silero VAD 与 Whisper 集成
基于 Handy 项目，探讨 Silero VAD 的噪声鲁棒声活动检测、Whisper 的离线转录集成，以及 cpal 实时低延迟音频优化的工程参数与实现要点。
2025-10-02ai-systems2025-10
使用 Pathway 构建实时 ETL 管道支持 LLM 数据摄取和 RAG 更新
面向 LLM 管道，给出 Pathway 的流式 ETL 实现、RAG 实时更新参数与监控要点。
2025-10-02ai-engineering2025-10
使用 Tunix 构建 JAX 原生 LLM 后训练管道：TPU 优化与 RLHF 实践
Tunix 作为 JAX 原生 LLM 后训练库，支持 RLHF 对齐和知识蒸馏，利用 TPU 实现高效优化。本文提供构建管道的实用指南，包括参数配置和监控策略，避免 PyTorch 开销。
2025-10-02ai-engineering2025-10
Design of Multi-Hop Agent Pipelines Replacing RAG
Design multi-hop agent pipelines to replace RAG for complex queries, leveraging expanded context windows for direct reasoning over full documents without chunked retrieval overhead.
2025-10-02ai-systems2025-10
Claude SDK 多代理工具编排：任务分解、并行执行与动态切换工程实践
基于 Claude Agent SDK，探讨多代理协调机制，包括任务分解、并行工具调用与冲突解决，提供工程参数和监控要点，实现复杂工作流的高效落地。
2025-10-02ai-systems2025-10
68000 上 C 编译循环优化：展开、强度降低与寻址模式工程实践
探讨在 Motorola 68000 上通过纯 C 代码实现循环优化的工程方法，包括强度降低、循环展开和寻址模式选择，以最大化指令吞吐量。提供可落地参数和监控要点。
2025-10-02compiler-design2025-10
使用合成数据管道微调 Pix2Tex 处理手写方程
介绍构建合成数据管道和增强策略，用于微调 Pix2Tex ViT 模型以支持手写数学方程识别，包含可落地参数和监控要点。
2025-10-02ai-systems2025-10
布局感知的 LaTeX OCR：多公式块解析与转换
集成 ViT OCR 与布局解析器，处理复杂文档多公式块的提取与 LaTeX 转换，提供 beam search 和符号校正工程参数。
2025-10-02ai-systems2025-10
LLM驱动的音素到视素映射：基于扩散的面部动画工程实现
探讨在AI短视频生成中，使用LLM指导音素到视素映射结合扩散模型实现真实唇同步的技术要点与参数配置。
2025-10-02ai-systems2025-10
Immich V2 Stable Migration
探讨 Immich v2.0.0 稳定版的工程升级，包括自动化数据库模式迁移、ML 模型兼容性检查和 API 版本化，实现无停机自托管照片库过渡。
2025-10-02ai-systems2025-10
AI_NovelGenerator 中的多代理系统：情节弧管理与角色一致性
探讨 AI_NovelGenerator 如何通过多代理协作管理情节发展、解决伏笔并维持章节间角色一致性，利用专用代理角色和共享内存机制。
2025-10-02ai-systems2025-10