序贯 LoRA 中的正交投影:任务参数隔离以最小化灾难性遗忘
在多领域微调中,使用正交投影实现序贯 LoRA 来隔离任务特定参数,避免灾难性遗忘,提供工程化实现参数和监控要点。
Latest Essays
继续沿着时间线阅读近期的工程实践与技术观察。
近期的思考与工程笔记。
在多领域微调中,使用正交投影实现序贯 LoRA 来隔离任务特定参数,避免灾难性遗忘,提供工程化实现参数和监控要点。
在 ARM Cortex-M 上实现无 RTOS 的抢占式多任务,聚焦 NVIC 优先级调度、手动上下文切换及低开销实时系统参数。
面向多核CPU,结合缓存分块、AVX-512和OpenMP实现矩阵乘法的高效优化,达到10倍以上加速。
探讨 Zig 构建系统中实现缓存感知依赖跟踪和并行任务执行的具体方法,帮助单仓库项目将重建时间缩短至原先的 1/5,提供工程参数和监控要点。
探讨在 ARM Cortex-M 微控制器上利用 Rust 的 RTIC 框架工程化抢占式多任务,聚焦中断优先级配置、上下文切换优化及无 OS 开销的安全并发执行,提供可落地参数与监控要点。
在 Zig 语言中利用 SIMD 内在函数重现 SSIMULACRA2 感知指标,实现视频质量保障管道中帧级比较的工程化优化,提供参数配置与监控要点。
通过 RAG 动态检索和压缩技术,优化 AI 代理的长上下文提示,确保多步推理任务的连贯性,提供工程参数与监控要点。
在多任务 LLM 适应中,使用辅助损失项实现悔恨最小化的序贯 LoRA 微调,缓解灾难性遗忘,提供工程参数和监控要点。
针对大语言模型顺序微调中的灾难性遗忘问题,设计无遗憾 LoRA 适配器,提供工程参数、监控要点与回滚策略。
利用 Claude AI 的代码生成功能实现 Factorio 的自主代理,聚焦资源分配、工厂扩展和实时决策的工程化参数与监控策略。
面向 EPYC 9355P 的 Zen 5 核心,给出分支预测、执行单元、缓存延迟分析及多线程服务器优化的工程参数与监控要点。
探索如何利用 CSS Houdini Paint API 和 WebGL 技术创建交互式流体玻璃变形,支持拖拽操作与 GPU 加速优化,提供工程化参数和性能监控要点。
B+树删除操作中节点下溢时,选择借用或合并策略影响树高与I/O,探讨数据库引擎中的权衡与参数配置。
探讨 Jules 代理的远程代码生成与执行 API 工程设计,利用安全 WebSocket 连接和沙箱运行时实现协作 IDE 集成,提供参数配置与监控要点。
在 Rust 中使用 bump allocation 实现高效的临时内存分配,通过 Vec 作为后备存储提供零成本抽象,确保编译时安全。探讨工程参数、监控要点与最佳实践。
探讨WFC算法在2D瓦片地图生成中的工程实现,焦点于熵计算、约束传播和回溯机制,提供高效参数配置以实现 emergent patterns 和最小冲突。
探讨 io_uring 的完成队列机制,如何通过共享环形缓冲区实现高效异步 I/O,减少内核-用户轮询开销,并提供队列配置参数与监控要点。
利用多代理 LLM 框架实现中文金融交易的智能化决策,聚焦市场分析、策略执行和风险管理的专职角色分工与实时数据应用。
探讨如何 curation 和测试跨平台系统字体栈,利用变量权重、回退和 CSS @font-face 实现最佳网页排版性能,无需外部依赖。
针对蒸馏后的 LLM 在边缘设备的部署,利用 Tunix 和 JAX 进行量化感知后训练,提供位宽选择、校准策略及精度损失最小化参数配置。