贾佳亚韩松团队新作：两行代码让大模型上下文窗口倍增 | GitHub热榜

一分耕耘，一分收获！既然都打开这篇《贾佳亚韩松团队新作：两行代码让大模型上下文窗口倍增 | GitHub热榜》，就坚持看下去，学下去吧！本文主要会给大家讲到等等知识点，如果大家对本文有好的建议或者看到有不足之处，非常欢迎大家积极提出！在后续文章我会继续更新科技周边相关的内容，希望对大家都有所帮助！

只需两行代码和11个小时微调，就能将大型模型的窗口长度从4k提高到32k

在规模方面，最长可以扩展到10万个标记，可以一口气读完长篇小说的多个章节或中短篇小说

贾佳亚韩松联合团队提出的这个基于LoRA的全新大模型微调方法，登上了GitHub热榜。

这种方式叫做LongLoRA，由来自香港中文大学和MIT的全华人团队联合出品。

在一台8个A100组成的单机上，增大窗口长度的速度比全量微调快数倍。

许多网友看到后都不禁赞叹，这个效率真是令人难以忘怀：

那么，用LongLoRA微调之后，模型会有什么样的变化呢？

一口气读完一部小说

研究团队的实验当中使用的模型是Llama 2。

经过LongLoRA方法微调之后，Llama 2-7B的窗口长度最高可提升到10万token。

经过实测发现，经过微调的模型可以连续阅读一本小说，并回答各种问题

比如总结一下大刘在《三体》第三部中体现的中心思想，比总结内容还高出了一个层次。

模型给出的答案是与外星文明首次接触的危险性、星际旅行之困难与人类文明之脆弱，以及团结协作的重要性等内容。

的确每条在原著中都有所体现，而且也比较全面了。

除了对整部作品进行概括提炼，局部内容当然也可以询问。

小说中的角色也能对答如流，比如《西游记》中孙悟空是怎么开花成长的。

根据模型的分析，我们得知孙悟空具备极高的智慧，但同时也有一颗调皮捣蛋的心，在与唐僧一起取经的过程中逐渐成熟起来

这次的总结仍然非常准确

不仅如此，不同角色之间错综复杂的关系也能够清楚地理解

提问的方式可以简单粗暴些，直接要求描述这本书（《哈利波特》）中的人物关系。

模型以哈利·波特为中心，介绍了他的朋友韦斯莱、赫敏，敌人马尔福，以及邓布利多教授等人物。

经过LongLoRA微调后，Llama不仅能够阅读小说，还可以阅读论文，从而大大提高了生产力（喜）

不论是对整体概括还是局部询问，经过微调的模型都能够准确地提供答案

△中文部分为谷歌机翻

为了全面了解模型的表现，研究团队使用了以下数据集进行了测试：

• PG19：来自书籍的长篇文档数据集，用来测试语言建模效果。
• Proof-pile：来自arXiv的数学论文数据集，用来测试语言建模效果。
• LongQA：作者自行构建的长序列问答数据集，用于有监督的微调。
• LongChat：第三方构建的长对话理解数据集，用来测试长序列叙述理解效果。

结果显示，LongLoRA在PG19和Proof-pile上的困惑度与全量微调接近。

在问答数据集上，LongLoRA微调出的模型表现也很优异，长文本理解方面更是达到了SOTA水平。

当然，LongLoRA的重要性不仅在于增加了窗口长度，而且关键在于通过更少的资源消耗来实现窗口长度的提高

以Llama-2的7B参数量为例，如果采用全量微调，将其从4k提升到32k，在一台搭载8个A100的单机上需要五天的时间

使用LongLoRA方式，只需11.3小时即可完成，效率提升近十倍，不到半天的时间

如果将提升至65k，全量微调所需的时间将超过1000小时，而LongLoRA仅需52.4小时

那么LongLoRA又是怎么做到的呢？

“大而化小”降低计算量

LongLoRA建立在LoRA的基础之上，引入了一种称为“移位短注意力”（shift short attention）的机制。

实现这种机制只需要两行代码：

Transformer架构的核心在于自注意力（Self-attention）计算

短注意力就是将训练文本划分为多个组，使自注意力计算在每个组内分别进行，从而达到降低运算量的目的。

而在这一过程中注意力头也被进行了分组，通过注意力头的位移，就实现了组间的信息交互。

每个组之间存在重叠部分，这样可以确保数据在整个文中流通

通过这种方式，每次计算只需要对组内的令牌进行操作，从而大大减少了运算量

除了对输入进行分割之外，LongLoRA相比于Lora还可以微调embedding层和normalization层。

这两项内容占的参数量很小，以Llama 2-7B为例，embedding层只占1.94%，normalization层更是不到十万分之四。

消融实验结果表明，除了核心的Attention层，这两个占比很小的部分也起到了重要作用。

在研究团队的努力下，除了核心的短注意力机制，他们还引入了DeepSpeed和FlashAttention的方式，以进一步降低训练的成本

LongLoRA微调过后的不同参数量和窗口长度的Llama 2已经在GitHub上开源，如果你感兴趣的话可以去GitHub页面查看

论文地址：https://arxiv.org/abs/2309.12307
GitHub项目页：https://github.com/dvlab-research/LongLoRA

今天带大家了解了的相关知识，希望对你有所帮助；关于科技周边的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~