当前位置：首页 > 文章列表 > 科技周边 > 人工智能 > 单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE

单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE

来源：机器之心 2024-07-10 17:06:34 0浏览收藏

推广推荐

支持 PC / 移动端，安全直达

各位小伙伴们，大家好呀！看看今天我又给各位带来了什么文章？本文标题是《单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE》，很明显是关于科技周边的文章哈哈哈，其中内容主要会涉及到等等，如果能帮到你，觉得很不错的话，欢迎各位多多点评和分享！

释放进一步扩展 Transformer 的潜力，同时还可以保持计算效率。

标准 Transformer 架构中的前馈（FFW）层会随着隐藏层宽度的增加而导致计算成本和激活内存的线性增加。在大语言模型（LLM）体量不断增大的现在，稀疏混合专家（MoE）架构已成为解决此问题的可行方法，它将模型大小与计算成本分离开来。很多新兴的 MoE 模型都可以实现相同体量之上，更好的性能与更强大的表现。

最近发现的细粒度 MoE 扩展定律表明，更高的粒度可带来更好的性能。然而由于计算和优化方面的挑战，现有的 MoE 模型仅限于低数量专家。

本周二，Google DeepMind 的新研究引入了一种参数高效的专家检索机制，其利用乘积密钥技术从一百万个微型专家中进行稀疏检索。

单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE

链接：https://arxiv.org/abs/2407.04153

该方法尝试通过用于路由的学习索引结构有效地串联到大量微小专家，从而将计算成本与参数计数分离。与密集的 FFW、粗粒度 MoE 和产品密钥存储器 (PKM) 层相比，表现出卓越的效率。

这项工作引入了参数高效专家检索（PEER) 架构（parameter efficient expert retrieval），利用产品密钥（product key）检索高效地路由到大量专家，将计算成本与参数量分离。这种设计在实验中展示了卓越的计算性能水平，将其定位为用于扩展基础模型的密集 FFW 层的竞争性替代方案。这项工作的主要贡献是：

极端 MoE 设置的探索：与以前的 MoE 研究中对少数大型专家的关注不同，这项工作研究了众多小型专家的未充分探索的情况。

用于路由的学习索引结构：首次证明学习索引结构可以有效地路由到超过一百万个专家。

新的层设计：将产品密钥路由与单神经元专家相结合，我们引入了 PEER 层，它可以扩展层容量而无需大量计算开销。实证结果表明，与密集 FFW、粗粒度 MoE 和产品密钥内存 (PKM) 层相比，其效率更高。

综合消融研究：我们研究了 PEER 的不同设计选择（例如专家数量、活动参数、头数量和查询批量规范化）对语言建模任务的影响。

方法介绍

本节中，研究者详解了参数高效专家检索 (PEER) 层，它一种混合专家架构，使用路由中的产品密钥和单神经元 MLP 作为专家。下图 2 展示了 PEER 层内的计算过程。

单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE

PEER 层概览。从形式上看，PEER 层是一个函数 f : R^n → R^m，它由三部分组成：一个由 N 个专家组成的池 E := {e_i}^N_i=1，其中每个专家 e_i : R^n → R^m 与 f 共享相同的签名；一组相应的 N 个产品密钥 K := {k_i}^N_i=1 ⊂ R^d ；以及一个查询网络 q : R^n → R^d，它将输入向量 x ∈ R^n 映射到查询向量 q (x)。

令 T_k 表示 top-k 运算符。给定输入 x，首先检索 k 个专家的子集，这些专家的相应产品键与查询 q (x) 具有最高的内积。

单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE

然后将非线性激活（例如 softmax 或 sigmoid）应用于前 k 个专家的查询键内积，以获得路由分数。

单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE

最后通过对路由分数加权的专家输出进行线性组合来计算输出。

单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE

产品密钥检索。由于研究者打算使用大量专家（N ≥ 10^6），单纯计算公式 1 中的前 k 个索引可能成本非常高，因此应用了产品密钥检索技术。他们不使用 N 个独立的 d 维向量作为密钥 k_i，而是通过连接两个独立的 d/2 维子密钥集（即 C, C ′ ⊂ R d/2）中的向量来创建它们：

单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE