构建 PTX 虚拟化运行时:实现 CUDA 多 GPU 动态任务迁移与资源共享
探讨基于 PTX 的虚拟化运行时设计,支持 CUDA 应用无缝多 GPU 任务分发,通过动态代码迁移和内存一致性机制提升资源利用率,提供工程参数与监控要点。
Latest Essays
继续沿着时间线阅读近期的工程实践与技术观察。
近期的思考与工程笔记。
探讨基于 PTX 的虚拟化运行时设计,支持 CUDA 应用无缝多 GPU 任务分发,通过动态代码迁移和内存一致性机制提升资源利用率,提供工程参数与监控要点。
探讨如何通过约束求解器、多轮澄清提示和符号检查构建验证层,检测AI在设计规范中的偏差,确保工程输出的鲁棒性。提供参数配置和监控要点。
面向 CUDA GPU 的基本 PTX 汇编内核实现,强调线程索引、共享内存分配与同步,以及避免分支发散和银行冲突的实用技巧。
针对 Julia 包中的类型不稳定和优化问题,提供诊断方法、可落地参数和监控要点,确保构建可组合高性能数值计算管道无运行时错误。
提供 PTX 内核编写、内联 SASS 调试和架构调优的实用指南与优化参数。
利用PEFT和领域特定数据集,以低于200美元成本微调7B模型如Llama,在结构化文档提取任务上超越OpenAI o1,提供高效适配器训练指南。
针对文本生成长形式连贯视频,探讨 Sora 2 的时空扩散模型工程实践,焦点物理感知采样与可扩展 Transformer 骨干的设计优化。
基于 M5 9 核泄露 Geekbench 分数,探讨 ARM 在单/多线程性能上的进步,以及对设备端 AI 任务的工程化参数建议。
介绍如何构建静态分析引擎,通过循环复杂度、代码重复率和遗留模式等指标量化代码库混乱程度,生成重构优先级报告。提供阈值设置、监控要点和工程实践。
Airweave 通过 API 自省和自然语言查询,实现零自定义集成的 AI 代理数据访问。探讨其语义搜索架构、Qdrant 集成及工程化参数,帮助开发者快速构建跨应用知识库。
面向终端部署的 Claude AI 代理,给出代码库理解、自然语言任务执行与 Git 自动化的工程参数与安全清单。
利用 WASM 和 CheerpX 在浏览器中构建隔离的全栈开发环境,支持 IDE 和 AI 代理的无服务器代码执行。
探讨 Typst 如何通过 Rust 实现高效排版,支持脚本化自定义、多语言布局调整及无缝数学公式渲染,提供工程实践参数与优化清单。
本文基于 PyTorch 从零构建类似 ChatGPT 的 LLM,涵盖分词处理、Transformer 架构设计、训练循环实现,以及带 KV 缓存的自回归生成,提供工程化参数与代码清单。
探讨 DEML 标记语言如何通过提升操作符和循环检测优化管道编排,提供工程化参数和监控要点。
通过 Anime.js 的时间线 API,实现声明式动画序列,结合缓动、交错和 SVG 变形提升 UI 互动性。
dgsh 扩展 POSIX shell,支持 DAG 命令组成,实现并行执行与数据依赖管理,适用于高效流处理管道。
开发一个 CLI 工具来自动化管理 Git worktree,支持并行分支开发,避免手动操作的繁琐,提升开发效率。
本文从零实现 Transformer 解码器块,聚焦自注意力与前馈层的 PyTorch 优化,并引入自定义位置嵌入以支持可扩展 LLM 训练。
使用 PyTorch 从零实现大型语言模型的关键组件,包括分词处理、嵌入层、Transformer 块以及自回归生成机制,适用于自定义聊天模型的工程实践。