在长程助手与智能体系统中，大语言模型需要持续积累和复用历史信息。传统思路倾向于扩展上下文窗口，但这往往带来高昂的显存开销和利用率低下的问题。δ-mem（delta-memory）提出了一种截然不同的路线：通过紧凑的在线关联记忆状态直接耦合注意力计算，在仅 8×8 的记忆矩阵中实现显著的记忆增强效果。这一工作已于 2026 年 5 月在 arXiv 发表（arXiv:2605.12357），并被标记为 cs.AI 领域的重要进展。
核心设计：固定尺寸的在线关联记忆
δ-mem 的核心是一个固定尺寸的在线关联记忆状态（Online State of Associative Memory，简称 OSAM）。与传统的上下文扩展方法不同，这个状态矩阵的尺寸在推理过程中保持不变，不随对话轮次或上下文长度增长而膨胀。具体而言，研究团队采用的记忆矩阵仅为 8×8 维 —— 这在参数量层面几乎可以忽略不计，但通过精心设计的读写机制，却能对模型的整体表现产生显著影响。
这种设计的底层逻辑借鉴了神经科学中的工作记忆模型：人类大脑并非将所有信息都以完整形式存储，而是将关键特征压缩到有限的神经活动中。δ-mem 将这一思想迁移到 LLM 架构层面，通过低秩校正（low-rank correction）而非直接注入的方式影响注意力计算，从而在保持骨干模型冻结的前提下实现记忆增强。
差异学习规则：隐式内存淘汰的核心机制
δ-mem 的内存管理策略围绕一个关键机制展开：差异规则（Delta-Rule）学习。在每次状态更新时，系统并非简单地覆盖或追加新信息，而是计算当前记忆对输入信号的预测误差，只有当新信息无法被现有记忆有效预测时，才会触发写入操作。这种选择性写入机制天然地起到了信息过滤和淘汰的作用 —— 如果一段信息已经被记忆充分捕获，后续的相关信号将不会重复写入，从而避免了记忆状态的饱和。
从记忆淘汰的角度看，差异规则实际上实现了一种动态优先级机制：新颖性（novelty）和意外性（surprise）成为信息是否值得保留的核心判断标准。这一机制与人类的遗忘曲线有异曲同工之处 —— 越是规律性的、可预测的信息，越容易被 "淘汰"；而越是独特、非预期的事件，越容易被优先记住。在工程实现上，这意味着 δ-mem 不需要显式地维护淘汰策略或缓存置换算法，信息管理是作为记忆更新的副产品自动完成的。
读写循环：记忆如何影响注意力
δ-mem 的工作流程可以分解为三个关键步骤：读取（Read）、引导（Steer）和写入（Write）。在每一次生成 token 的过程中，模型首先将当前输入查询在线关联记忆状态，提取与当前上下文相关的历史信号。这些信号随后被转换为低秩校正项，直接注入到骨干模型的自注意力计算中。值得注意的是，这种注入并不改变骨干模型的权重，而是以残差方式对注意力分布进行微调。
写入阶段则遵循差异规则：当记忆对当前输入的预测误差超过预设阈值时，系统将新信息编码后写入记忆矩阵；反之，如果预测误差较小，说明当前信息已经被现有记忆有效覆盖，写入操作将被抑制。这一机制确保了记忆矩阵始终保持着最具区分性和预测价值的信息，而冗余或已被捕获的模式则自然地被 "遗忘"。
性能表现与基准测试
研究团队在多个基准上评估了 δ-mem 的效果。在平均性能上，配备 δ-mem 的冻结骨干模型相比原始版本提升了 1.10 倍，相比最强的非 δ-mem 记忆基线方法提升了 1.15 倍。在需要强记忆能力的任务上，提升幅度更为显著：在 MemoryAgentBench 上达到 1.31 倍的相对提升，在 LoCoMo 基准上达到 1.20 倍。这些结果表明，δ-mem 并非简单地在所有任务上均匀提升性能，而是特别擅长处理需要长期信息保持和复用的复杂场景。
与此同时，研究者强调 δ-mem 在大幅提升记忆能力的同时，基本保持了骨干模型的通用能力 —— 这意味着它并非以牺牲模型原有专长为代价来换取记忆增强，而是作为一种高效的补充模块嵌入到现有架构中。
工程启示：有限状态下的记忆管理
δ-mem 的设计哲学对工程实践具有重要启发。首先，记忆系统并不必然需要随上下文长度线性增长的存储开销。通过精心设计的压缩表示和差异更新机制，有限状态空间可以承载高度有效的信息。其次，记忆淘汰不必依赖显式的缓存置换策略（如 LRU 或 LFU），信息管理可以作为学习规则的副产品隐式完成，这降低了系统复杂度并避免了人工调参的负担。
对于实际部署而言，8×8 的记忆矩阵几乎不引入任何额外的显存压力，这使得 δ-mem 成为一种极具实用价值的增强手段。开发者可以考虑将其作为现有推理框架的轻量级插件，针对对话历史较长或需要跨会话记忆保持的场景进行针对性优化。
与其他记忆淘汰策略的关系
值得注意的是，δ-mem 代表的思路与近年来 KV 缓存淘汰领域的其他工作（如 DeltaKV、HashEvict、CAKE 等）存在显著差异。DeltaKV 等方法侧重于在完整 KV 缓存层面进行压缩或裁剪，目标是减少显存占用同时保持对原始上下文的访问能力；而 δ-mem 则完全放弃了原始上下文的存储，转而通过压缩的关联记忆间接捕获关键信息。这种 "压缩 - 重建" 而非 "选择性保留" 的路线，在某些场景下可能以更高的信息损失换取更低的存储开销和更快的检索速度。
从淘汰策略的视角看，δ-mem 的差异规则本质上是一种基于预测误差的隐式优先级队列：新奇信息获得高优先级写入，历史中被充分捕获的模式则逐渐淡出。这种机制与基于注意力权重或相似度的显式淘汰策略形成了有趣的对比 —— 前者是自底向上的学习驱动，后者更多是自顶向下的规则驱动。
参考资料：δ-mem: Efficient Online Memory for Large Language Models，arXiv:2605.12357，2026 年 5 月。
内容声明：本文无广告投放、无付费植入。
如有事实性问题，欢迎发送勘误至 i@hotdrydog.com。