使用 HipKittens 优化 AMD ROCm 内核实现高吞吐 ML 推理
通过 HipKittens 工具优化 ROCm 内核,重点关注内存 coalescing、计算单元利用率以及 hipGraph 捕获以降低启动开销,提升机器学习推理性能。
Latest Essays
继续沿着时间线阅读近期的工程实践与技术观察。
近期的思考与工程笔记。
通过 HipKittens 工具优化 ROCm 内核,重点关注内存 coalescing、计算单元利用率以及 hipGraph 捕获以降低启动开销,提升机器学习推理性能。
针对边缘设备资源约束,探讨 LightRAG 分层图索引的自适应剪枝策略与量化嵌入技术,实现高效低延迟检索。
面向 Windows 11 的 WSA 自动化部署,提供 root 访问、Google 服务集成及侧载支持的工程参数与最佳实践。
ADK-Go 提供代码优先的 Go 工具包,用于构建模块化 AI 代理,集成工具、状态持久化和自定义评估,实现灵活部署。本文聚焦工具集成与状态管理,提供工程化参数与最佳实践。
工程化Python-based机器ID旋转和重置机制,绕过Cursor AI试用限制,实现持久Pro功能访问。
针对危机区无网P2P消息,工程化Bitchat的低带宽BLE Mesh协议,包括加密、中继与电池优化参数。
探讨 Traefik 中间件链在请求转换中的应用,以及通过文件提供者和 Consul 实现动态服务发现,确保 Kubernetes 环境中 API 代理的零停机。
在字符级扩散模型中,通过线性掩码调度保持方差,并采用并行解码减少采样步骤,实现高效连贯文本生成。
从零实现字符级扩散模型,聚焦噪声添加、Transformer 去噪和小数据集训练,提供 PyTorch 工程参数与训练清单。
介绍Tracy性能分析器在C++游戏引擎中的集成方法,聚焦低开销CPU/GPU区域捕获、Vulkan/OpenGL同步机制,以及实时可视化工具的使用,提供具体参数和最佳实践。
从零构建字符级扩散模型,用于文本生成,聚焦高效去噪过程和紧凑数据集训练,实现轻量级生成AI。
利用 Claude 工具调用与 strict 模式,确保 JSON/XML 输出的确定性与鲁棒性,适用于复杂 AI 管道。
本田通过模型蒸馏、量化与硬件加速优化LLM在ECU中的推理延迟,实现车辆实时决策,提供工程参数与监控要点。
在低带宽离线环境中,探讨 Bluetooth Low Energy mesh 网络的 P2P 消息实现,重点分析安全路由、电池管理及去重机制的工程实践。
在高体积数据管道同步到 Aurora RDS 时,探讨检测和解决并发竞态条件的方法,确保数据一致性与高可用。
Using Haskell to customize layout algorithms and event hooks in XMonad for efficient multi-monitor setup and workspace management.
探讨 Winamp 经典皮肤、插件系统和实时可视化在 macOS 上的工程实现,使用 AVFoundation 确保低延迟播放,Metal 着色器驱动 Milkdrop 效果。
探讨将提示工程 LLM 集成到遗留汽车 ECU 中,实现亚 100ms 推理,用于实时诊断和控制的工程挑战与优化策略。
基于上下文泛型编程(CGP)实现运行时格式选择和模块化数据编码/解码管道的工程实践指南。
探讨 n8n 在低代码环境中的模块化节点设计,支持并行 AI 数据处理、错误 resilient 集成和安全多代理自动化,提供实用配置指南。