当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > 美媒关注:训练出ChatGPT需要消耗多少电力?

美媒关注:训练出ChatGPT需要消耗多少电力?

来源:51CTO.COM 2023-05-02 08:44:25 0浏览 收藏

科技周边小白一枚,正在不断学习积累知识,现将学习到的知识记录一下,也是将我的所得分享给大家!而今天这篇文章《美媒关注:训练出ChatGPT需要消耗多少电力?》带大家来了解一下##content_title##,希望对大家的知识积累有所帮助,从而弥补自己的不足,助力实战开发!

美媒关注:训练出ChatGPT需要消耗多少电力?

3月10日消息,AI已经重新成为科技行业的热门话题,预计它将彻底改变从零售到医药等价值数万亿美元的行业。但每创造一个新的聊天机器人或图像生成器都需要耗费大量的电力,这意味着这项技术可能释放大量温室气体,进而加剧全球变暖问题。

微软、谷歌和ChatGPT制造商OpenAI都要使用云计算,而云计算依赖于全球海量数据中心服务器内数以千计的芯片来训练被称为模型的AI算法,分析数据以帮助这些算法“学习”如何执行任务。ChatGPT的成功促使其他公司竞相推出自己的AI系统和聊天机器人,或者开发使用大型AI模型的产品。

与其他形式的计算相比,AI需要使用更多的能源​,训练单个模型消耗的电力超过100多个美国家庭1年的用电量。然而,虽然AI行业增长非常快,但却不够透明,以至于没有人确切知道AI的总用电量和碳排放量。碳排放量也可能有很大差异,这取决于提供电力的发电厂类型,靠烧煤或天然气发电供电的数据中心,碳排放量显然高于太阳能或风力发电支持的数据中心。

虽然研究人员已经统计了创建单一模型所产生的碳排放量,有些公司也提供了有关他们能源使用的数据,但他们没有对这项技术的总用电量进行总体估计。AI公司Huging Face研究员萨莎·卢西奥尼(Sasha Luccioni)写了一篇论文,量化了她旗下公司Bloom的碳排放情况,Bloom是OpenAI模型GPT-3的竞争对手。卢西奥尼还试图根据一组有限的公开数据,对OpenAI聊天机器人ChatGPT的碳排放情况进行评估。

提高透明度

卢西奥尼等研究人员表示,在AI模型的电力使用和排放方面,需要提高透明度。有了这些信息,政府和公司可能会决定,使用GPT-3或其他大型模型来研究癌症治疗或保护土著语言是否值得。

更高的透明度也可能带来更多的审查,加密货币行业可能会提供前车之鉴。根据剑桥比特币电力消耗指数,比特币因其耗电量过大而受到批评,每年的耗电量与阿根廷一样多。这种对电力的贪婪需求促使纽约州通过了一项为期两年的禁令,暂停向以化石燃料发电供电的加密货币采矿商发放许可证。

GPT-3是功能单一的通用AI程序,可以生成语言,具有多种不同的用途。2021年发表的一篇研究论文显示,训练GPT-3耗用了1.287吉瓦时电量,大约相当于120个美国家庭1年的用电量。同时,这样的训练产生了502吨碳,相当于110辆美国汽车1年的排放量。而且,这种训练只适用于一个程序,或者说是“模型”。

虽然训练AI模型的前期电力成本巨大,但研究人员发现,在某些情况下,这只是模型实际使用所消耗电力的40%左右。此外,AI模型也在变得越来越大。OpenAI的GPT-3使用了1750亿个参数或变量,而其前身仅使用了15亿个参数。

OpenAI已经在研究GPT-4,而且必须定期对模型进行再训练,以保持其对时事的了解。卡内基梅隆大学教授艾玛·斯特鲁贝尔(Emma Strubell)是首批研究AI能源问题的研究人员之一,她说:“如果你不对模型进行再训练,它甚至可能不知道何为新冠肺炎。”

另一个相对的衡量标准来自谷歌,研究人员发现,AI训练占该公司总用电量的10%至15%,2021年该公司的总用电量为18.3太瓦时。这意味着,谷歌的AI每年耗电量达2.3太瓦时,大约相当于亚特兰大所有家庭的1年用电量。

科技巨头做出净零承诺

虽然在许多情况下,AI模型变得越来越大,但AI公司也在不断改进,使其以更高效的方式运行。微软、谷歌和亚马逊等美国最大的云计算公司,都做出了碳减排或净零承诺。谷歌在一份声明中表示,到2030年,该公司将在所有业务中实现净零排放,其目标是完全使用无碳能源运营其办公室和数据中心。谷歌还在使用AI来提高其数据中心的能效,该技术直接控制设施中的冷却系统。

OpenAI也列举了该公司为提高ChatGPT应用程序编程接口的效率所做的工作,帮助客户降低了用电量和价格。OpenAI发言人表示:“我们非常认真地承担起阻止和扭转气候变化的责任,我们对如何最大限度地利用我们的计算能力进行了很多思考。OpenAI运行在Azure上,我们与微软团队密切合作,以提高运行大型语言模型的效率并减少碳排放。”

微软指出,该公司正在购买可再生能源,并采取其他措施,以实现之前宣布的目标,即到2030年实现净零排放。微软在声明中称:“作为我们创造更可持续性未来承诺的一部分,微软正在投资于研究,以衡量AI的能源使用和碳排放影响,同时致力于提高大型系统在培训和应用方面的效率。”

耶路撒冷希伯来大学教授罗伊·施瓦茨(Roy Schwartz)与微软的一个团队合作,测量了一个大型AI模型的碳足迹。他表示:“显然,这些公司不愿透露他们使用的是什么模型,以及它排放了多少碳。”

有些方法可以让AI更高效地运行。能源咨询公司Wood Mackenzie的本·赫兹-沙格尔(Ben Hertz-Shargel)表示,由于AI训练可以随时进行,开发者或数据中心可以将训练安排在电力更便宜或过剩的时候,从而使它们的运营更加环保。AI公司在电力过剩时训练自己的模型,然后可以在营销中将其当成一大卖点,以此表明他们注重环保。

芯片运行耗电量惊人

大多数数据中心使用图形处理单元(GPU)来训练AI模型,这些组件是芯片行业制造的最耗电组件之一。摩根士丹利分析师本月早些时候发布的一份报告称,大型模型需要数万个GPU,培训周期从几周到几个月不等。

AI领域更大的谜团之一是与所使用芯片相关的碳排放总量。最大的GPU制造商英伟达表示,当涉及到AI任务时,他们的芯片可以更快地完成任务,总体上效率更高。

英伟达在声明中表示:“与使用CPU相比,使用GPU来加速AI速度更快,也更高效。对于某些AI工作负载来说,能效通常可以提高20倍,对于生成式人工智能必不可少的大型语言模型,能效则可提高300倍。”

卢西奥尼说,虽然英伟达已经披露了与能源相关的直接排放和间接排放数据,但该公司并没有透露更多细节。她认为,当英伟达分享这些信息时,我们可能发现GPU消耗的电量与一个小国用电量差不多,“这可能会让人抓狂”!(小小)

今天带大家了解了的相关知识,希望对你有所帮助;关于科技周边的技术知识我们会一点点深入介绍,欢迎大家关注golang学习网公众号,一起学习编程~

版本声明
本文转载于:51CTO.COM 如有侵犯,请联系study_golang@163.com删除
Microsoft Outlook for Android 通过最新更新获得文本预测功能Microsoft Outlook for Android 通过最新更新获得文本预测功能
上一篇
Microsoft Outlook for Android 通过最新更新获得文本预测功能
九种顶流回归算法及实例总结
下一篇
九种顶流回归算法及实例总结
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    542次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    511次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    498次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    484次学习
查看更多
AI推荐
  • 千音漫语:智能声音创作助手,AI配音、音视频翻译一站搞定!
    千音漫语
    千音漫语,北京熠声科技倾力打造的智能声音创作助手,提供AI配音、音视频翻译、语音识别、声音克隆等强大功能,助力有声书制作、视频创作、教育培训等领域,官网:https://qianyin123.com
    192次使用
  • MiniWork:智能高效AI工具平台,一站式工作学习效率解决方案
    MiniWork
    MiniWork是一款智能高效的AI工具平台,专为提升工作与学习效率而设计。整合文本处理、图像生成、营销策划及运营管理等多元AI工具,提供精准智能解决方案,让复杂工作简单高效。
    193次使用
  • NoCode (nocode.cn):零代码构建应用、网站、管理系统,降低开发门槛
    NoCode
    NoCode (nocode.cn)是领先的无代码开发平台,通过拖放、AI对话等简单操作,助您快速创建各类应用、网站与管理系统。无需编程知识,轻松实现个人生活、商业经营、企业管理多场景需求,大幅降低开发门槛,高效低成本。
    191次使用
  • 达医智影:阿里巴巴达摩院医疗AI影像早筛平台,CT一扫多筛癌症急慢病
    达医智影
    达医智影,阿里巴巴达摩院医疗AI创新力作。全球率先利用平扫CT实现“一扫多筛”,仅一次CT扫描即可高效识别多种癌症、急症及慢病,为疾病早期发现提供智能、精准的AI影像早筛解决方案。
    198次使用
  • 智慧芽Eureka:更懂技术创新的AI Agent平台,助力研发效率飞跃
    智慧芽Eureka
    智慧芽Eureka,专为技术创新打造的AI Agent平台。深度理解专利、研发、生物医药、材料、科创等复杂场景,通过专家级AI Agent精准执行任务,智能化工作流解放70%生产力,让您专注核心创新。
    213次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码