利用大模型打造文本摘要训练新范式

在IT行业这个发展更新速度很快的行业，只有不停止的学习，才不会被行业所淘汰。如果你是科技周边学习者，那么本文《利用大模型打造文本摘要训练新范式》就很适合你！本篇内容主要包括##content_title##，希望对大家的知识积累有所帮助，助力实战开发！

1、文本任务

该文章的主要议题是关于生成式文本摘要技术，探讨如何运用对比学习和大型模型实现最先进的生成式文本摘要训练方法。主要涉及两篇文章，一篇是BRIO: Bringing Order to Abstractive Summarization（2022），利用对比学习在生成模型中引入ranking任务；另一篇是On Learning to Summarize with Large Language Models as References（2023），在BRIO基础上进一步引入大模型生成高质量训练数据。

2、生成式文本摘要训练方法和问题

生成式文本摘要的训练一般采用极大似估计的方式。首先用一个Encoder对document进行编码，然后用一个Decoder递归的预测摘要中的每个文本，拟合的目标是一个人工构造的摘要标准答案。我们可以将整个优化函数表达为以下形式，使得每个位置生成文本的概率与标准答案尽可能接近：

这种方式的问题在于，训练和下游实际任务并不一致。一个document能够生成多个摘要，这些摘要的品质存在高低之分。而MLE要求拟合的目标必须是唯一一个标准答案。由于这种差距，文本摘要模型无法很好地评估两个质量不同的摘要的优劣。例如在BRIO这篇论文中做了一个实验，一般的文本摘要模型在判断质量不同的两个摘要的相对顺序时，效果非常差。

3、生成模型引入排序对比学习

为了解决传统生成式文本摘要模型存在的问题，BRIO: Bringing Order to Abstractive Summarization（2022）提出在生成模型中进一步引入对比学习任务，提升模型对不同质量摘要的排序能力。

BRIO采用多任务的形式进行训练。第一个任务与传统生成式模型相似，采用最大似然估计的方法来拟合标准答案。第二个任务是一个对比学习任务，让一个预训练的文本摘要模型使用beam search生成不同的两个结果，使用ROUGE评估这两个生成结果和标准答案之间哪个更好，以确定这两个摘要的排序。这两个摘要结果输入到Decoder中，得到两个摘要的概率，通过对比学习loss让模型给高质量摘要更高的打分。这部分对比学习loss的计算方式如下：

4、大模型优化文本摘要

人们发现，使用大型模型生成的摘要质量甚至超过了人工生成的摘要，这是随着GPT等大型模型的兴起而实现的。这种情况下，使用人工生成的标准答案就限制了模型效果的天花板。因此On Learning to Summarize with Large Language Models as References（2023）提出使用GPT这种大模型生成训练数据，指导摘要模型学习。

这篇文章提出了3种利用大模型生成训练样本的方式。

第一种是直接使用大模型生成的摘要，替代人工生成的摘要，相当于直接用下游模型拟合大模型的摘要生成能力，训练方式仍然是MLE。

第二种方式为GPTScore，主要是利用预训练大模型对生成的摘要进行打分，以这个打分作为评估摘要质量的依据，然后使用类似BRIO中的方式进行对比学习训练。GPTScore是Gptscore: Evaluate as you desire（2023）中提出的一种基于大模型评估生成文本质量的方法。

第三种方式为GPTRank，这种方法让大模型对各个摘要进行排序而非直接打分，并让大模型对排序逻辑做出解释，以此获取更合理的排序结果。

5、总结

大模型在摘要生成上的能力得到越来越广泛的认可，因此利用大模型作为摘要模型拟合目标的生成器，取代人工标注结果，将成为未来的发展趋势。同时，利用排序对比学习进行摘要生成的训练，让摘要模型感知摘要质量，超越原本的点拟合，对于提升摘要模型效果也至关重要。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于科技周边的相关知识，也可关注golang学习网公众号。