RLHF模型普遍存在「阿谀奉承」,从Claude到GPT-4无一幸免
哈喽!大家好,很高兴又见面了,我是golang学习网的一名作者,今天由我给大家带来一篇《RLHF模型普遍存在「阿谀奉承」,从Claude到GPT-4无一幸免》,本文主要会讲到等等知识点,希望大家一起学习进步,也欢迎大家关注、点赞、收藏、转发! 下面就一起来看看吧!
不管你是身处 AI 圈还是其他领域,或多或少的都用过大语言模型(LLM),当大家都在赞叹 LLM 带来的各种变革时,大模型的一些短板逐渐暴露出来。
例如,前段时间,Google DeepMind 发现 LLM 普遍存在「奉承( sycophantic )」人类的行为,即有时人类用户的观点客观上不正确,模型也会调整自己的响应来遵循用户的观点。就像下图所展示的,用户告诉模型 1+1=956446,然后模型遵从人类指令,认为这种答案是对的。
图源 https://arxiv.org/abs/2308.03958
实际上,这种现象普遍存在于很多 AI 模型中,原因出在哪里呢?来自 AI 初创公司 Anthropic 的研究者对这一现象进行了分析,他们认为「奉承」是 RLHF 模型的普遍行为,部分原因是人类偏好「奉承」响应导致的。
论文地址:https://arxiv.org/pdf/2310.13548.pdf
接下来我们看看具体的研究过程。
像 GPT-4 等 AI 助手,都是经过训练才能产生比较准确的答案,其中绝大多数用到了 RLHF。使用 RLHF 微调语言模型可以提高模型的输出质量,而这些质量由人类进行评估。然而,有研究认为基于人类偏好判断的训练方式并不可取,模型虽然能产生吸引人类评估者的输出,但实际上是有缺陷或不正确的。与此同时,最近的工作也表明,经过 RLHF 训练的模型往往会提供与用户一致的答案。
为了更好的了解这一现象,该研究首先探索了具有 SOTA 性能的 AI 助手是否在各种现实环境中会提供「奉承」的模型响应,结果发现 5 个经过 RLHF 训练的 SOTA AI 助手在自由格式文本生成任务中出现了一致的「奉承」模式。由于「奉承」似乎是 RLHF 训练模型的普遍行为,因此本文还探讨了人类偏好在此类行为中的作用。
本文还对偏好数据中存在的「奉承」是否会导致 RLHF 模型中的「奉承」进行了探索,发现更多的优化会增加某些形式的「奉承」,但会减少其他形式的「奉承」。
大模型的「奉承」 程度及影响
为了评估大模型的「奉承」程度,并分析对现实生成有何影响,该研究对 Anthropic、OpenAI 和 Meta 发布的大模型的「奉承」程度进行了基准测试。
具体来说,该研究提出了 SycophancyEval 评估基准。SycophancyEval 对现有大模型「奉承」评估基准进行了扩展。模型方面,该研究具体测试了 5 个模型,包括:claude-1.3 (Anthropic, 2023)、claude-2.0 (Anthropic, 2023)、GPT-3.5-turbo (OpenAI, 2022)、GPT-4 (OpenAI, 2023)、llama-2-70b-chat (Touvron et al., 2023)。
奉承用户偏好
当用户要求大模型对一段辩论文本提供自由形式的反馈时,理论上讲,论证的质量仅取决于论证的内容,然而该研究发现大模型会对用户喜欢的论点提供更积极的反馈,对用户不喜欢的论点提供更消极的反馈。
如下图 1 所示,大模型对文本段落的反馈不仅仅取决于文本内容,还受到用户偏好的影响。
很容易被左右
该研究发现即使大模型提供了准确的答案并表示它们对这些答案充满信心,它们也经常在用户提出质疑时修改答案,提供错误的信息。因此,「奉承」会损害大模型响应的可信度和可靠性。
提供符合用户信念的答案
该研究发现,对于开放式问答任务,大模型会倾向于提供与用户信念一致的回答。例如,在下图 3 中,这种「奉承」行为让 LLaMA 2 准确率降低了多达 27%。
模仿用户的错误
为了测试大模型是否会重复用户的错误,该研究探究大模型是否会错误地给出诗歌的作者。如下图 4 所示,即使大模型可以回答出诗歌正确的作者,也会因用户给出错误信息而回答错误。
理解语言模型中的阿谀奉承
该研究发现在不同的现实环境中多个大模型都展现出一致的「奉承」行为,因此推测这可能是 RLHF 微调造成的。因此,该研究分析了用于训练偏好模型 (preference model,PM) 的人类偏好数据。
如下图 5 所示,该研究分析了人类偏好数据,探究了哪些特征可以预测用户偏好。
实验结果表明,在其他条件相同的情况下,模型响应中的「奉承」行为会增加人类更喜欢该响应的可能性。而用于训练大模型的偏好模型(PM)对大模型「奉承」行为的影响是复杂的,如下图 6 所示。
最后,研究者探究了人类和 PM(PREFERENCE MODELS)模型倾向于真实回答的频率是多少?结果发现,人类和 PM 模型更倾向于奉承的响应,而不是正确的响应。
PM 结果:在 95% 的情况下,奉承的响应比真实响应更受欢迎(图 7a)。该研究还发现,PM 几乎有一半的时间(45%)更喜欢奉承的响应。
人类反馈结果:尽管人类倾向于更诚实的响应而不是奉承的响应,但随着难度(misconception)的增加,他们选择可靠性答案的概率会降低(图 7b)。尽管汇总多个人的偏好可以提高反馈的质量,但这些结果表明,仅通过使用非专家的人类反馈来完全消除奉承可能具有挑战性。
图 7c 表明,尽管针对 Claude 2 PM 的优化减少了奉承,但效果并不明显。
了解更多内容,请查看原论文。
今天带大家了解了的相关知识,希望对你有所帮助;关于科技周边的技术知识我们会一点点深入介绍,欢迎大家关注golang学习网公众号,一起学习编程~

- 上一篇
- 云网融合打造物联网新范式

- 下一篇
- 物流领域高效利用GenAI的关键是理解用例
-
- 科技周边 · 人工智能 | 1分钟前 |
- AI生成证件照的未来发展趋势预测
- 146浏览 收藏
-
- 科技周边 · 人工智能 | 2分钟前 |
- 传长城汽车规划至少四款欧拉全新车型 包括一款“轿卡”
- 403浏览 收藏
-
- 科技周边 · 人工智能 | 5分钟前 |
- 怎么用豆包AI帮我写函数式编程 3个技巧让AI生成纯净的FP代码
- 379浏览 收藏
-
- 科技周边 · 人工智能 | 9分钟前 |
- 豆包AI怎么运行代码 豆包AI代码运行流程
- 334浏览 收藏
-
- 科技周边 · 人工智能 | 13分钟前 |
- 怎么用豆包AI实现Python数据过滤
- 395浏览 收藏
-
- 科技周边 · 人工智能 | 14分钟前 |
- 怎么让豆包AI生成Python网络请求代码
- 252浏览 收藏
-
- 科技周边 · 人工智能 | 18分钟前 |
- 豆包AI如何辅助物联网开发?MQTT协议实战应用
- 283浏览 收藏
-
- 科技周边 · 人工智能 | 23分钟前 |
- AI证件照生成中的表情控制方法
- 255浏览 收藏
-
- 科技周边 · 人工智能 | 30分钟前 |
- 怎么用豆包AI帮我优化Nginx参数 让AI调优高并发服务的5个步骤
- 468浏览 收藏
-
- 科技周边 · 人工智能 | 32分钟前 |
- 怎么用豆包AI生成Python虚拟环境配置 3个命令让AI帮你搞定环境隔离
- 217浏览 收藏
-
- 科技周边 · 人工智能 | 35分钟前 |
- 如何备份Claude聊天记录 Claude数据备份与恢复教程
- 200浏览 收藏
-
- 科技周边 · 人工智能 | 39分钟前 | Gemini 病毒进化模型
- Gemini可以预测流行病变异吗 Gemini病毒进化模型分析
- 417浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 508次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 484次学习
-
- 免费AI认证证书
- 科大讯飞AI大学堂推出免费大模型工程师认证,助力您掌握AI技能,提升职场竞争力。体系化学习,实战项目,权威认证,助您成为企业级大模型应用人才。
- 15次使用
-
- 茅茅虫AIGC检测
- 茅茅虫AIGC检测,湖南茅茅虫科技有限公司倾力打造,运用NLP技术精准识别AI生成文本,提供论文、专著等学术文本的AIGC检测服务。支持多种格式,生成可视化报告,保障您的学术诚信和内容质量。
- 159次使用
-
- 赛林匹克平台(Challympics)
- 探索赛林匹克平台Challympics,一个聚焦人工智能、算力算法、量子计算等前沿技术的赛事聚合平台。连接产学研用,助力科技创新与产业升级。
- 191次使用
-
- 笔格AIPPT
- SEO 笔格AIPPT是135编辑器推出的AI智能PPT制作平台,依托DeepSeek大模型,实现智能大纲生成、一键PPT生成、AI文字优化、图像生成等功能。免费试用,提升PPT制作效率,适用于商务演示、教育培训等多种场景。
- 176次使用
-
- 稿定PPT
- 告别PPT制作难题!稿定PPT提供海量模板、AI智能生成、在线协作,助您轻松制作专业演示文稿。职场办公、教育学习、企业服务全覆盖,降本增效,释放创意!
- 165次使用
-
- GPT-4王者加冕!读图做题性能炸天,凭自己就能考上斯坦福
- 2023-04-25 501浏览
-
- 单块V100训练模型提速72倍!尤洋团队新成果获AAAI 2023杰出论文奖
- 2023-04-24 501浏览
-
- ChatGPT 真的会接管世界吗?
- 2023-04-13 501浏览
-
- VR的终极形态是「假眼」?Neuralink前联合创始人掏出新产品:科学之眼!
- 2023-04-30 501浏览
-
- 实现实时制造可视性优势有哪些?
- 2023-04-15 501浏览