Implementing Custom JAX Transformations in Tunix for Low-Latency LLM Inference
探讨在 Tunix 框架中使用自定义 JAX 变换实现动态图剪枝和算子融合,以实现边缘设备上 LLM 推理的低延迟优化,提供工程参数和监控要点。
Latest Essays
继续沿着时间线阅读近期的工程实践与技术观察。
近期的思考与工程笔记。
探讨在 Tunix 框架中使用自定义 JAX 变换实现动态图剪枝和算子融合,以实现边缘设备上 LLM 推理的低延迟优化,提供工程参数和监控要点。
利用 Meshery 的 Adapter 机制,自动化部署 Istio/Linkerd 服务网格,实现流量管理和可观测性仪表板配置的关键参数与实践。
基于 Rust 的 Niri 通过 scrollable-tiling 实现 Wayland 下的无限条带窗口排列,提供独立多监视器支持与配置参数,优化动态工作流无固定网格约束。
探讨 Open Printer 的工程实践,包括模块化硬件设计、开源固件开发与 DRM 移除策略,实现可持续打印维护。
在 TypeScript 模块初始化阶段,利用 var 语句的提升特性规避 TDZ 错误,提供工程化参数与安全清单。
探讨在多核 Zen 5 EPYC 配置中使用 AVX-512 向量化操作和缓存无感知分块最小化 L3 缓存未命中,提供工程化参数和最佳实践。
探讨 SDWebImage 在 iOS 应用中如何通过多层缓存和渐进式 JPEG 实现高效异步图像加载,提升用户体验与性能。
探讨如何在 Qt/C++ GUI 中集成 yt-dlp 和 aria2c 后端,实现多线程分段下载,提升媒体检索速度,并支持断点续传的工程实践要点。
在多领域微调中,使用正交投影实现序贯 LoRA 来隔离任务特定参数,避免灾难性遗忘,提供工程化实现参数和监控要点。
在 ARM Cortex-M 上实现无 RTOS 的抢占式多任务,聚焦 NVIC 优先级调度、手动上下文切换及低开销实时系统参数。
面向多核CPU,结合缓存分块、AVX-512和OpenMP实现矩阵乘法的高效优化,达到10倍以上加速。
探讨 Zig 构建系统中实现缓存感知依赖跟踪和并行任务执行的具体方法,帮助单仓库项目将重建时间缩短至原先的 1/5,提供工程参数和监控要点。
探讨在 ARM Cortex-M 微控制器上利用 Rust 的 RTIC 框架工程化抢占式多任务,聚焦中断优先级配置、上下文切换优化及无 OS 开销的安全并发执行,提供可落地参数与监控要点。
在 Zig 语言中利用 SIMD 内在函数重现 SSIMULACRA2 感知指标,实现视频质量保障管道中帧级比较的工程化优化,提供参数配置与监控要点。
通过 RAG 动态检索和压缩技术,优化 AI 代理的长上下文提示,确保多步推理任务的连贯性,提供工程参数与监控要点。
在多任务 LLM 适应中,使用辅助损失项实现悔恨最小化的序贯 LoRA 微调,缓解灾难性遗忘,提供工程参数和监控要点。
针对大语言模型顺序微调中的灾难性遗忘问题,设计无遗憾 LoRA 适配器,提供工程参数、监控要点与回滚策略。
利用 Claude AI 的代码生成功能实现 Factorio 的自主代理,聚焦资源分配、工厂扩展和实时决策的工程化参数与监控策略。
面向 EPYC 9355P 的 Zen 5 核心,给出分支预测、执行单元、缓存延迟分析及多线程服务器优化的工程参数与监控要点。
探索如何利用 CSS Houdini Paint API 和 WebGL 技术创建交互式流体玻璃变形,支持拖拽操作与 GPU 加速优化,提供工程化参数和性能监控要点。