工程化基于嵌入的相似性检查:检测GPT与Llama等跨模型LLM小样本中毒
在LLM微调管道中,使用嵌入相似性检查检测并隔离小样本跨模型可转移中毒。通过计算训练样本与已知中毒向量的余弦相似度,阈值0.85以上隔离。该方法适用于GPT和Llama架构,提供工程参数与监控要点。
Latest Essays
继续沿着时间线阅读近期的工程实践与技术观察。
近期的思考与工程笔记。
在LLM微调管道中,使用嵌入相似性检查检测并隔离小样本跨模型可转移中毒。通过计算训练样本与已知中毒向量的余弦相似度,阈值0.85以上隔离。该方法适用于GPT和Llama架构,提供工程参数与监控要点。
在微调管道中,使用嵌入相似性检测和隔离小样本毒物,这些毒物可在 GPT 和 Llama 等 LLM 架构间转移。提供参数、阈值和监控要点。
探讨 SuperMemory 在 LLM 持久记忆中的向量嵌入存储机制,包括实时索引、混合搜索及水平扩展策略。
探讨离散分布网络 (DDN) 中的自回归采样工程化,实现高效高维分类数据生成。提供参数配置、优化策略及 ICLR 投稿经验,助力新型生成模型开发。
探讨如何在 OpenGL 中使用 GL_EXT_mesh_shader 扩展,通过任务和网格着色器优化大型场景的几何处理,减少 draw calls,包括 culling 和 LOD 参数配置。
基于 Web APIs 实现高效浏览器屏幕录制,涵盖实时编码、低延迟时间线编辑与多格式导出参数,适用于低延迟录制工程实践。
面向可扩展在线商店,给出 Evershop 中 GraphQL API、插件集成与 SSR 的工程化参数与最佳实践。
工程化跨架构 LLM 中毒测试,评估少样本攻击转移性,开发鲁棒性指标与防御策略。
介绍GL_EXT_mesh_shader扩展的使用,实现task/mesh shader工作流,支持OpenGL中的meshlet-based几何渲染。
利用 Claude-Code 的自然语言能力,在终端中实现 Git 工作流的自动化,包括分支管理、提交生成、合并处理和冲突解析,提供工程参数与最佳实践。
面向 C++ 可执行文件,介绍静态捆绑对象的工程实践,支持模块化链接与延迟加载,优化二进制大小无额外开销。
探讨少样本对抗样本构造技术,用于无微调下跨模型规模的LLM中毒攻击,优化样本生成与触发参数。
在离散分布网络 (DDN) 中实现自回归采样优化,针对高维分类数据生成,减少计算开销,提供工程参数与监控要点。
面向 AI 工作流编排,利用 Xyflow 的虚拟化渲染、自动边路由和 Svelte 集成,提供工程化参数与监控要点。
探讨离散分布网络(DDN)的工程实践,通过自回归因子化和动态编程实现高维分类数据的 tractable 精确采样与密度估计,提供参数配置与优化策略。
探讨 Coze Studio 的可视化拖拽工具、内置调试控制台与一键部署机制,提供工程化参数与监控要点。
Explore engineering practices for building efficient memory engines using vector embeddings in LLM apps, including real-time context retrieval, persistent storage, and optimization configurations.
Vite+ 通过整合 Vite 的 HMR 开发服务器、Rollup 打包和边缘部署,提供单一零配置管道,简化全栈 Web 应用开发流程。
利用 Claude-Code 在终端中构建 AI 代理,实现代码库导航、任务执行、代码解释和 Git 管理。通过自然语言命令的低延迟集成,提升开发效率。
面向离散多模态数据,工程 DDN 实现精确似然生成,通过 autoregressive 因子化和并行采样提升训练与推理效率。