AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了
本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的,希望这篇《AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了》对你有很大帮助!欢迎收藏,分享给更多的需要的朋友学习~
搞事情!
AI“看”了一眼GitHub上人类都是怎么提交更新(commit)的,然后就模仿人类程序员修改代码……
最终,这个AI还成功“调教”出了个智能体机器人:
没开玩笑,这种细思极恐的事情,在OpenAI最新发布的一项研究中,就真真的发生了……
原本呢,研究人员要解决的是一个遗传程序设计(GP)问题——让一个智能体机器人学会移动。
(GP是演化计算中的一个特殊领域,它主要针对自动构建程序去独立解决问题。)
但OpenAI剑走偏锋,把自家的大规模语言模型(LLM)放了进来,结果就是一个大大的“万万没想到”。
以前在智能体演进的过程中,人类研究员是需要参与进来做一些细节调整、确定演进方向等工作,让智能体往好的方向发展。
现在好了,这些活儿都让大模型给包揽了,自己学、自己写代码、自己去“调教”:
这事一经论文一作Joel Lehman在网络曝光,瞬间引发了网友们的大量关注:
一位程序员网友在看完后直呼“跟不上(技术)发展的步伐”了:
甚至OpenAI自己都在研究中说:
弥合了进化算法在人类思想水平运行的鸿沟。
那么这件“魔幻”的事情,AI到底是怎么办到的?
看一眼GitHub,AI自己动手敲代码
在虚拟环境中设计可移动的机器人,是遗传算法研究中很火的一个项目。
特别是Sodarace竞赛因为需要的计算量少,过程方便可视化很受欢迎。
规则很简单,由“关节”和“肌肉”组成的机器人在各种地形上赛跑。
OpenAI还特意把整个竞赛程序从专用的遗传编码改写成了Python版本,为了展示新方法对现代编程语言的通用性。
比如这样一段Python代码,就可以作为初始种子机器人。
定义好一个正方形的四个顶点关节、终点关节,相互之间都用“肌肉”连接好后,结果如下。
不过这样方方正正的结构一动都不能动,接下来就需要靠遗传算法对代码做修改。
研究团队认为,用传统遗传算法修改代码VS人类程序员自己动手,在效率上还有两点差距:
一个是软件越来越复杂,人类可以搞模块化的代码复用来应对,而目前最先进的遗传算法也无法在人类使用的编程语言上做到这一点。
另一个是几乎所有遗传算法靠的都是随机突变(mutation),而人类程序员每一次修改代码都带有目的,或者是增加功能、或者是改进效率、又或者是修复bug。
那么有没有办法让AI学习到人类是如何修改代码的呢?
还真有,所需的训练数据都存在GitHub上。
优秀的程序员每次提交代码都会写好commit描述,说清楚这一次提交修改了什么内容。
commit描述配合上提交前后代码对比的diff数据,就是AI绝佳的学习材料。
研究人员筛选出一些描述意图明确、修改的代码量不大的提交数据来训练一个GPT-3架构的AI模型。
相当于让AI向人类程序员学习了如何有目的的修改一段代码。
这篇论文所用的模型也不需要完全版GPT-3的1750亿参数那么大,最高7.5亿参数就足以。
由此得到了基础的AI模型,将在遗传算法中扮演变异算子的角色。
接下来让AI自己设计新机器人的流程总共分三步。
第一步,先用经典的MAP-Elites算法生成一组初始机器人。
这是一种QD(质量多样性)算法,可以保证机器人行为不同且质量都很高。
第二步,用第一步产生的初始数据做预训练,让AI先学会设计出训练数据分布内的机器人。
也就是开头处那张在网上惊艳了众人的动图,展示了AI如何一步步把无法移动的“方块”改造成双腿交替弹跳移动机器人。
第三步,再结合上强化学习算法做微调,让AI能根据不同地形条件生成能适应环境的机器人。
最终,研究人员选取了从最初的三个种子进化而来的机器人做效果展示。
可以看出它们的结构和移动方式都完全不同。
网友惊呼“思路清奇”
这项研究一经公布,可谓是一石激起千层浪。
许多网友都惊叹于这种“大模型+演进算法”结合的新奇方式:
做过与之相关工作的研究人员也表示,从未想过能用大模型以diffs的形式来学习突变:
而除了对研究形式和本身的讨论之外,也有网友配上了这样图:
Emmm……是有点那种味了。
团队介绍
这项研究的团队成员均来自OpenAI。
论文一作是Joel Lehman,是一位机器学习科学家。其聚焦的领域包括人工智能安全、强化学习和开放式搜索算法。
与此同时,Joel Lehman此前基于对人工智能发展的思考合写过一本科学读物《为什么伟大不能被计划出来:客观的秘密》:
而对于这项研究的下一步,Joel Lehman本人表示:
还有一个重要问题,就是模型能够多大程度上应用到其它环境中。
GP中的突变功效现在可以通过ELM大幅提高,这将激发出一系列广泛的新应用和研究方向。
那么这项研究是否也对你产生了新的启发呢?
参考链接:
[1]https://arxiv.org/abs/2206.08896
[2]https://twitter.com/joelbot3000/status/1538770905119150080?s=21&t=l8AASYjgC6RAEEimcQaFog
好了,本文到此结束,带大家了解了《AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了》,希望本文对你有所帮助!关注golang学习网公众号,给大家分享更多科技周边知识!

- 上一篇
- 效率提升1200倍!麻省理工开发AI制药新模型

- 下一篇
- Apple Watch 最终获得 SOS 和紧急联系人的卫星连接功能
-
- 有魅力的网络
- 这篇文章内容太及时了,太全面了,写的不错,已加入收藏夹了,关注作者大大了!希望作者大大能多写科技周边相关的文章。
- 2023-07-07 23:50:27
-
- 缓慢的乌冬面
- 太全面了,已收藏,感谢师傅的这篇文章内容,我会继续支持!
- 2023-06-14 16:00:36
-
- 虚拟的飞机
- 感谢大佬分享,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,帮助很大,总算是懂了,感谢作者大大分享技术贴!
- 2023-05-21 18:20:02
-
- 快乐的萝莉
- 这篇文章真是及时雨啊,太全面了,写的不错,收藏了,关注大佬了!希望大佬能多写科技周边相关的文章。
- 2023-05-02 21:23:03
-
- 舒服的薯片
- 这篇文章内容出现的刚刚好,up主加油!
- 2023-05-02 04:54:48
-
- 科技周边 · 人工智能 | 1小时前 |
- 文心一言职场励志文案怎么写?
- 208浏览 收藏
-
- 科技周边 · 人工智能 | 1小时前 |
- 豆包AI能识图吗?多模态使用教程分享
- 309浏览 收藏
-
- 科技周边 · 人工智能 | 2小时前 |
- GeminiAPI限速设置与调用方法
- 272浏览 收藏
-
- 科技周边 · 人工智能 | 2小时前 |
- 笔尖AIAPI接入与安全使用指南
- 490浏览 收藏
-
- 科技周边 · 人工智能 | 2小时前 |
- Deepseek满血版联手Copy.ai,文案模板秒用
- 104浏览 收藏
-
- 科技周边 · 人工智能 | 3小时前 |
- 苹果用户如何安装DeepSeek详解
- 254浏览 收藏
-
- 科技周边 · 人工智能 | 3小时前 |
- 用ChatGPT写评论区文案的步骤与技巧
- 228浏览 收藏
-
- 科技周边 · 人工智能 | 3小时前 |
- Deepseek满血版+Kapwing,轻松剪辑创意视频
- 395浏览 收藏
-
- 科技周边 · 人工智能 | 3小时前 |
- Diffusers图像生成教程:扩散模型推理详解
- 482浏览 收藏
-
- 科技周边 · 人工智能 | 3小时前 |
- 文心一言生成图片步骤详解
- 150浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 511次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 498次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 484次学习
-
- 千音漫语
- 千音漫语,北京熠声科技倾力打造的智能声音创作助手,提供AI配音、音视频翻译、语音识别、声音克隆等强大功能,助力有声书制作、视频创作、教育培训等领域,官网:https://qianyin123.com
- 231次使用
-
- MiniWork
- MiniWork是一款智能高效的AI工具平台,专为提升工作与学习效率而设计。整合文本处理、图像生成、营销策划及运营管理等多元AI工具,提供精准智能解决方案,让复杂工作简单高效。
- 227次使用
-
- NoCode
- NoCode (nocode.cn)是领先的无代码开发平台,通过拖放、AI对话等简单操作,助您快速创建各类应用、网站与管理系统。无需编程知识,轻松实现个人生活、商业经营、企业管理多场景需求,大幅降低开发门槛,高效低成本。
- 226次使用
-
- 达医智影
- 达医智影,阿里巴巴达摩院医疗AI创新力作。全球率先利用平扫CT实现“一扫多筛”,仅一次CT扫描即可高效识别多种癌症、急症及慢病,为疾病早期发现提供智能、精准的AI影像早筛解决方案。
- 231次使用
-
- 智慧芽Eureka
- 智慧芽Eureka,专为技术创新打造的AI Agent平台。深度理解专利、研发、生物医药、材料、科创等复杂场景,通过专家级AI Agent精准执行任务,智能化工作流解放70%生产力,让您专注核心创新。
- 252次使用
-
- GPT-4王者加冕!读图做题性能炸天,凭自己就能考上斯坦福
- 2023-04-25 501浏览
-
- 单块V100训练模型提速72倍!尤洋团队新成果获AAAI 2023杰出论文奖
- 2023-04-24 501浏览
-
- ChatGPT 真的会接管世界吗?
- 2023-04-13 501浏览
-
- VR的终极形态是「假眼」?Neuralink前联合创始人掏出新产品:科学之眼!
- 2023-04-30 501浏览
-
- 实现实时制造可视性优势有哪些?
- 2023-04-15 501浏览