NeurIPS 2024 | 自我纠错如何使OpenAI o1推理能力大大加强？北大、MIT团队给出理论解释

积累知识，胜过积蓄金银！毕竟在科技周边开发的过程中，会遇到各种各样的问题，往往都是一些细节知识点还没有掌握好而导致的，因此基础知识点的积累是很重要的。下面本文《NeurIPS 2024 | 自我纠错如何使OpenAI o1推理能力大大加强？北大、MIT团队给出理论解释》，就带大家讲解一下知识点，若是你对本文感兴趣，或者是想搞懂其中某个知识点，就请你继续往下看吧~

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

自我纠错（Self Correction）能力，传统上被视为人类特有的特征，正越来越多地在人工智能领域，尤其是大型语言模型（LLMs）中得到广泛应用，最近爆火的OpenAI o1模型[1]和Reflection 70B模型[2]都采取了自我纠正的方法。

传统的大语言模型，因为在输出答案的时候是逐个Token输出，当输出长度较长时，中间某些Token出错是必然发生。但即使LLM后来知道前面输出的Token错了，它也得用更多错误来“圆谎”，因为没有机制让它去修正前面的错误。

而OpenAI o1在“慢思考”也就是生成Hidden COT的过程中，通过分析OpenAI官网给出的Hidden COT例子可以发现，在解决字谜问题的思考过程中，o1首先发现了每两个连续的明文字母会映射到一个秘文字母，于是便尝试使用奇数字母来构建明文，但是经过验证发现并不合理（Not directly）；接着又重新修正答案最终成功解出字谜。

                               ^{图1 OpenAI o1 官网示例（部分Hidden CoT）}

Reflection 70B的关键技术也包括错误识别和错误纠正。他们用到了一种名为 Reflection-Tuning（反思微调） 的技术，使得模型能够在最终确定回复之前，先检测自身推理的错误并纠正。在实际的执行过程中，这会用到一种名为思考标签（thinking tag）的机制。模型会在这个标签内部进行反思，直到它得到正确答案或认为自己得到了正确答案。

频频应用于大语言模型的自我纠错技术为何有效？为什么纠错过程可以让模型把原本答错的问题重新答对？

为了探究这一问题，北大王奕森团队与MIT合作，从理论上分析了大语言模型自我纠错能力背后的工作机理。

• 论文题目：A Theoretical Understanding of Self-Correction through In-context Alignment

• 论文地址：https://openreview.net/pdf?id=OtvNLTWYww
• 代码地址：https://github.com/yifeiwang77/Self-Correction

作者团队将自我纠错的过程抽象为对齐任务，从上下文学习（In-context learning）的角度对自我纠错进行了理论分析。值得一提的是，他们并没有使用线性注意力机制下的线性回归任务进行理论分析，而是使用真实世界LLM在用的softmax多头注意力机制的transformer结构，并利用Bradley-Terry 模型和 Plackett-Luce 模型（LLM对齐的实际选择，用于RLHF和DPO）设计对齐任务进行研究。受理论启发，他们提出了一种简单的自我纠错策略--上下文检查（Check as Context），并通过实验，在消除大语言模型中存在的潜在偏见以及防御越狱攻击中效果显著。

理论分析：自我纠错实际上是一种上下文对齐？

对齐的过程通常包括：对于问题，收集个不同的模型回答，然后由人类或评估模型（在本文中，评估模型即该 LLM 本身）对这  个回答给出排序偏好。接着，使用一般的对齐模型（如Bradley-Terry (BT,n=2) or Plackett-Luce (PL loss, general n)）进行建模：

• 多头注意力（MHSA）层：
• FFN层：

奖励函数  被设置为负均方误差（MSE）损失，即：

这是首次在理论上表明 LLM 可以在上下文中实现对齐的分析。该理论适用于多种自我纠错方法，因为评估可以来自人类、外部验证者或 LLM 本身。

• 通过观察比较LLM在执行上下文对齐时前向传播的损失与梯度下降的损失曲线，LLM执行上下文对齐时的前传行为与梯度下降损失曲线几乎相同。（图2(a)）
• 评价的质量直接影响自我纠错的质量（图2(b)）。
• 对多样本的排序需要更深的模型层数，在达到一定深度后（15层），增加更多的层数并不能带来更高的收益。（图2(c)）
• Softmax注意力机制对从评价中分析回答优劣排序至关重要，而linear注意力则做不到这一点。具体来说，softmax 注意力机制可以有效地选取最优回答  并为各样本生成加权平均所需的权重。（图2(d)）
• 多头注意力机制对token角色的区分很重要。具体而言，多头注意力机制可以将生成的回答与正样本拉近，与负样本拉远。实验表明，3个attention head是上下文对齐任务中最优选择。（图2(e)）
• FFN对于token角色的转变很重要。在经过一个MHSA层后，FFN可以将上一轮的正样本屏蔽掉，从而使次优样本变成下一轮迭代的最优样本。(图2(f))

自我纠错策略：上下文检查

消除LLM社会偏见

• 多数情况下，自我纠错后的正确率高于原正确率（图4）
• 正确率提升与自我评估的准确率高度相关（图4(c): ），甚至呈线性关系（图5（a））。
• 采用不同的评价方式效果依次提升：仅使用对/错评价 。这是因为 CoT 不仅能提高评价准确性，还能为模型提供额外的自然语言信息。（图5(b)）
• 更大的模型有更好的纠错能力（图5（c)(d)）
• 当评价的正确率足够高时，更多的纠错轮数可以带来更好的纠错效果。（图5（e)）

文中关于工程,自我纠错的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《NeurIPS 2024 | 自我纠错如何使OpenAI o1推理能力大大加强？北大、MIT团队给出理论解释》文章吧，也可关注golang学习网公众号了解相关技术文章。