DeepSeek推出可扩展查找记忆技术

哈喽！大家好，很高兴又见面了，我是golang学习网的一名作者，今天由我给大家带来一篇《DeepSeek推出可扩展查找式记忆技术》，本文主要会讲到等等知识点，希望大家一起学习进步，也欢迎大家关注、点赞、收藏、转发! 下面就一起来看看吧！

DeepSeek 团队正式推出新研究论文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》，创新性地引入“可扩展查找式记忆”机制，为大语言模型开辟了一条区别于标准 Transformer 架构与 MoE 范式的全新稀疏化路径。

代码仓库：https://github.com/deepseek-ai/Engram
论文原文：https://github.com/deepseek-ai/Engram/blob/main/Engram\_paper.pdf

论文指出，当前主流大模型在应对两类典型任务时存在固有低效：其一是依赖稳定、结构化知识的「查表型」任务；其二是需多步推演与符号组合的复杂推理任务。无论是 Dense Transformer 还是 MoE 架构，均需反复通过注意力层与前馈网络重建这些已知静态模式，造成大量冗余计算，本质是在“重复发明轮子”。

Engram 的核心设计基于高效哈希驱动的 N-Gram 嵌入，支持 O(1) 时间复杂度的直接记忆检索。该模块将输入 Token 序列切分为重叠 N-Gram 片段，并经由多头哈希函数映射至一个高度可扩展的静态记忆池中，实现毫秒级精准匹配。

文中特别强调，该查找过程完全独立于模型参数量——即便记忆表规模扩展至百亿甚至千亿级别，单次查询开销仍保持恒定。不同于 MoE 的“条件计算路由”，Engram 实现的是“条件记忆激活”：依据当前上下文隐状态动态决定是否调用记忆项，并通过轻量门控单元将其无缝注入主干网络流。

实验表明，Engram 模块通常部署于模型浅层（如前1/3层），专职承担高频模式复用任务，从而显著减轻深层网络的模式重建负担，使其更专注于高阶逻辑与抽象推理。在 27B 参数量基准下，DeepSeek 将原 MoE 架构中部分专家容量迁移至 Engram 记忆表，在总参数量与训练算力严格不变的前提下，模型在常识知识、多步推理、编程生成及数学解题等多类评测中均实现系统性性能跃升。

X 平台技术社区普遍认为，Engram 有效缓解了模型早期层对固定模式的重复建模压力，使整体推理能力在同等深度下展现出更强的“纵深感”。有工程师进一步指出，该架构支持将超大规模记忆体外挂载至主机内存，借助确定性哈希寻址实现预取优化，大幅降低 GPU 显存占用与推理延迟。不少行业观察者预测，Engram 很有可能成为 DeepSeek 即将发布的旗舰模型「V4」的核心底层组件。

源码地址：点击下载

今天带大家了解了的相关知识，希望对你有所帮助；关于科技周边的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~