ICLR 2025｜大模型也需要好奇心，TeleAI 提出探索驱动的对齐方法，8B越级胜70B

一分耕耘，一分收获！既然都打开这篇《ICLR 2025｜大模型也需要好奇心，TeleAI 提出探索驱动的对齐方法，8B越级胜70B》，就坚持看下去，学下去吧！本文主要会给大家讲到等等知识点，如果大家对本文有好的建议或者看到有不足之处，非常欢迎大家积极提出！在后续文章我会继续更新科技周边相关的内容，希望对大家都有所帮助！

基于探索驱动的大模型对齐方法COPO：赋予LLM探索能力，突破性能边界

AIxiv专栏持续报道全球顶尖AI研究成果。 如果您有优秀的研究成果，欢迎投稿至liyazhou@jiqizhixin.com或zhaoyunfeng@jiqizhixin.com。

自然界生物的探索精神驱动着进化，人类亦是如此。 在人工智能领域，尤其大型语言模型（LLM）的研究中，赋予LLM类似的探索能力，是突破其现有能力边界，提升性能和安全性的关键。

中国电信人工智能研究院（TeleAI）院长李学龙教授团队，联合清华大学、香港城市大学等机构，基于全模态星辰大模型体系，提出了一种新型探索驱动的大模型对齐方法——Count-based Online Preference Optimization (COPO)。 COPO将人类的探索本能融入LLM的后训练（Post-Training）阶段，引导模型在人类反馈强化学习（RLHF）框架下主动探索未知知识，有效解决了现有对齐框架受限于偏好数据集覆盖范围的问题。 该研究为智传网（AI Flow）“基于连接与交互的智能涌现”提供了重要技术支撑，使模型在动态交互中持续学习和进步。 相关论文已被ICLR 2025录用，TeleAI研究科学家白辰甲为第一作者。

• 论文标题: Online Preference Alignment for Language Models via Count-based Exploration
• 论文地址: https://arxiv.org/abs/2501.12735
• 开源代码: https://github.com/Baichenjia/COPO

研究背景与挑战

尽管LLM在多种语言任务中表现出色，但其与人类价值观和意图的对齐仍面临挑战。 现有的RLHF框架依赖预先收集的偏好数据集，其性能受限于数据集对提示-回复（Prompt-Response）的覆盖范围。 收集高质量偏好数据集成本高昂，且难以覆盖所有可能情况。

因此，研究人员开始探索在线RLHF，让LLM在与语言环境交互中持续学习。 COPO旨在解决在线RLHF中的核心问题：如何高效探索语言空间，以扩大偏好数据覆盖范围。

COPO方法

COPO通过结合基于计数的探索和直接偏好优化（DPO）框架，利用轻量级伪计数模块平衡探索和优化。 该方法在理论上对线性奖励函数和离散状态空间进行了分析，并提供了误差界限和置信集合。

COPO的核心在于其探索机制，它通过增加对较少产生的提示-回复组合的对数似然，鼓励模型生成新的回复，从而解决探索-利用权衡问题。 研究证明，COPO算法的在线学习范式能够将总后悔值限制在O(√T)量级。

算法细节

COPO算法框架基于DPO，将乐观探索项转化为基于状态-动作计数的学习目标。 由于语言空间的无限性，COPO使用Coin Flipping Network (CFN)来估计“伪计数”，该网络通过一个简单的回归问题来预测基于计数的探索奖励。 CFN利用Rademacher试验来模拟计数，并接受LLM提取的提示-回复对的最后隐藏状态作为输入，输出与状态“伪计数”成反比的预测值。

实验结果与结论

实验在Zephyr-7B和Llama3-8B模型上进行，使用了UltraFeedback 60K偏好数据集和PairRM 0.4B奖励模型。 结果显示，COPO在AlpacaEval 2.0和MT-Bench基准测试中显著提升了模型性能，超越了其他在线对齐方法，并以8B的模型容量超越了许多大体量模型的性能。 这证明了COPO在提升LLM探索能力、扩大数据覆盖范围和优化策略方面的有效性。

团队介绍

李学龙教授，中国电信集团CTO、首席科学家、TeleAI院长，主要关注大模型、智能光电、临地安防和智传网（AI Flow）。

到这里，我们也就讲完了《ICLR 2025｜大模型也需要好奇心，TeleAI 提出探索驱动的对齐方法，8B越级胜70B》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于工程,COPO的知识点！