全量微调与 PEFT 方法如 LoRA 的效率-泛化权衡
评估全量微调与 LoRA 等 PEFT 方法在计算成本与任务特定泛化方面的权衡,提供 LLM 管道中的工程化参数与监控要点。
Latest Essays
继续沿着时间线阅读近期的工程实践与技术观察。
近期的思考与工程笔记。
评估全量微调与 LoRA 等 PEFT 方法在计算成本与任务特定泛化方面的权衡,提供 LLM 管道中的工程化参数与监控要点。
基于 XTTSv2 在 ebook2audiobook 中实现多角色语音克隆、韵律调整与无缝过渡,构建角色驱动的有声书叙事。
指导构建针对单板计算机的基准测试套件,测量CPU/GPU吞吐量、功耗和I/O延迟,支持实时边缘AI模型推理,提供工程参数和监控要点。
本文探讨如何在 Raspberry Pi 上工程化 U-Boot 引导程序,直接启动 DOSBox,实现 ARM 到 x86 的仿真运行遗留 DOS 应用,而不需完整的 Linux OS 开销。通过最小化内核和 initramfs,优化性能,减少资源消耗。步骤包括编译 U-Boot,配置最小 Linux 环境,并设置引导参数。适用于复古计算爱好者,提供高效的 DOS 仿真体验。
针对 XZ 后门事件,介绍 Git hooks 和 Deb 脚本实现依赖审计与二进制差异检测的工程实践,提供可落地参数与监控要点。
探讨在动态计算图中利用拓扑排序优化反向传播调度,提升微型 autograd 引擎如 micrograd 的效率,提供工程参数与实现要点。
探讨如何通过类型化数据流、自动错误处理和可组合操作符增强 Unix 管道,实现 shell 脚本中容错的 ETL 流程。提供工程参数和最佳实践。
在 Skyvern 框架中集成 YOLO 计算机视觉模型,用于动态 UI 元素检测,实现适应布局变化的无选择器浏览器交互自动化。
面向百万规模文档集,在 Pyversity 中通过 FAISS 索引分片实现低延迟 RAG,支持动态负载均衡与多样化 reranking 的工程实践。
通过 RFC 的迭代规范、IETF 审查流程和勘误机制,实现可演化且互操作的网络标准。
利用 Pyodide 在 JupyterLite 中集成 GNU Octave 内核,实现客户端矩阵运算与数值模拟,提供无服务器的便携 MATLAB 兼容环境。
构建可组合AI代理实现软件工作流自动化,提供零-shot适应参数、工具集成清单与工程落地要点。
构建可组合AI代理,实现软件工作流中手动任务的零-shot自动化替换,提供工具集成参数和工程实践。
在分布式系统中,实现类似于CPU负载平均值的SSD活动指标,用于实时I/O瓶颈预测和自动化存储分层。
比较继续预训练用于知识注入与指令调优用于任务对齐在大语言模型中的效率和控制,提供生产适配管道的实用参数和清单。
探讨使用计算机视觉管道工程化浏览器中动态 UI 元素的检测与交互模拟,实现 LLM 驱动自动化对布局变化的弹性,通过实时视觉反馈循环提升鲁棒性。
MiniMind 项目中自定义 BPE 分词器训练及 PyTorch 异步批量数据加载机制,实现单 GPU 预训练吞吐量翻倍的关键工程实践与参数配置。
基于 SwiftUI 构建的轻量代码编辑器,通过源到源翻译桥接 macOS 与 Linux 运行时,强调语法高亮和最小依赖的 Swift/Python 编辑实践。
将 ESP32 微控制器与 WebRTC 结合,用于电池供电徽章上的低延迟音频流和本地 AI 推理,提供工程参数和监控要点。
基于Yaak构建支持SSE、WebSockets、gRPC等多协议的桌面API客户端,实现协议级复用和重连序列化,优化低延迟并发测试与自动化工作流。