登录注册

当前位置：首页 > 文章列表 > 科技周边 > 人工智能 > 李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首

李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首

来源：机器之心 2023-11-06 21:29:52 0浏览 收藏

大家好，我们又见面了啊~本文《李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首》的内容中将会涉及到等等。如果你正在学习科技周边相关知识，欢迎关注我，以后会给大家带来更多科技周边相关文章，希望我们能一起进步！下面就开始本文的正式内容~

李开复指出：“要使得零一万物跻身全球大模型的第一梯队。”

李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首

开源大模型宇宙又有了新的重量级成员，这次是创新工场董事长兼 CE0 李开复大模型公司「零一万物」推出的「Yi」系列开源大模型。据悉，零一万物在今年 3 月底官宣成立，六七月开始运营，李开复博士为创始人兼 CEO。

11 月 6 日，零一万物正式发布「Yi」系列预训练开源大模型，包括了 Yi-6B 和 Yi-34B 两个版本，给了开源大模型社区「一点小小的震撼」。

根据 Hugging Face 英文开源社区平台和 C-Eval 中文评测的最新榜单，Yi-34B 预训练模型取得了多项 SOTA 国际最佳性能指标认可，成为全球开源大模型「双料冠军」，击败了 LLaMA2 和 Falcon 等开源竞品。

李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首

Yi-34B 也成为迄今为止唯一成功登顶 Hugging Face 全球开源模型排行榜的国产模型。

李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首

以小博大，登顶全球英文及中文权威大模型榜单No 1

我们了解到，在 Hugging Face 英文测试公开榜单 Pretrained 预训练开源模型排名中，Yi-34B 的各项指标表现亮眼，以 70.72 的分数位列全球第一，以小博大，碾压 LLaMA2-70B 和 Falcon-180B 等众多大尺寸模型。

在参数量和性能方面，Yi-34B 相当于只用了不及 LLaMA2-70B 一半、Falcon-180B 五分之一的参数量，取得了在各项测试任务中超越全球领跑者的成绩。凭借出色表现，Yi-34B 跻身目前世界范围内开源最强基础模型之列。

李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首

                                 来源：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

同时作为国产大模型， 李开复表示，Yi-34B 更「懂」中文，在 C-Eval 中文权威榜单排行榜上超越了全球所有开源模型。

相较于大模型最强王者 GPT-4，Yi-34B 在 CMMLU、E-Eval、Gaokao 三个主要中文指标上具有绝对优势，凸显中文世界的优异能力，能够更好地满足国内市场需求。

李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首

从更为全面的评估看，在全球大模型各项评测中最关键的「MMLU」（Massive Multitask Language Understanding，大规模多任务语言理解）、BBH 等反映模型综合能力的评测集上，Yi-34B 表现最为突出，在通用能力、知识推理、阅读理解等多项指标评比中全部胜出，与 Hugging Face 评测高度一致。

李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首

不过，与 LLaMA2 一样，Yi 系列开源大模型在 GSM8k、MBPP 的数学和代码评测表现略逊 GPT 模型。未来，Yi 系列大模型将推出专攻代码能力和数学能力的继续训练模型。

上下文窗口大小突破 200k，并直接开源

在对大模型实战效果至关重要的上下文窗口方面，此次开源的 Yi-34B 发布了全球最长、支持 200K 超长上下文窗口版本，可以处理约 40 万汉字超长文本输入，大致相当于一本《儒林外史》的长度。相比之下，OpenAI 的 GPT-4 上下文窗口只有 32K，文字处理量约 2.5 万字。

李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首

如何做到的呢？据了解，零一万物技术团队实施了一系列优化，包括了计算通信重叠、序列并行、通信压缩等。通过这些能力增强，实现了在大规模模型训练中近 100 倍的能力提升。

值得一提的是，零一万物还是第一家将超长上下文窗口开源开放的大模型公司，允许开发者直接使用。

Yi-34B 的 200K 上下文窗口直接开源，不仅能提供更丰富的语义信息，理解超过 1000 页的 PDF 文档，让很多依赖于向量数据库构建外部知识库的场景都可以用上下文窗口来进行替代。Yi-34B 的开源属性也给想要在更长上下文窗口进行微调的开发者提供了更多的可能性。

独有科学训模方法，训练成本下降 40%

Yi-34B 如此强大，这要得益于以下两个关键因素，即 AI Infra 团队、自研规模化训练平台。

李开复介绍称，零一万物内部设立了 AI Infra（AI Infrastructure）团队，主要负责大模型训练和部署提供各种底层技术设施，包括处理器、操作系统、存储系统、网络基础设施、云计算平台等等，成为 Yi 系列模型训练背后极其关键的「保障技术」。

凭借强大的 AI Infra 支撑，零一万物团队实现了超越行业水平的训练效果。Yi-34B 模型训练成本实测下降 40%，实际训练完成达标时间与预测的时间误差不到一小时，进一步模拟上到千亿规模训练成本可下降多达 50%。

与此同时，零一万物实现了从「粗放炼丹」到「科学训模」方法论的转化。

经过几个月的建模和实验，零一万物自研出一套「规模化训练实验平台」，用来指导模型的设计和优化。数据配比、超参搜索、模型结构实验都可以在小规模实验平台上进行，对 34B 模型每个节点的预测误差都可以控制在 0.5% 以内。模型预测能力更强，大大减少了进行对比实验需要的资源，也减少了训练误差对于计算资源的浪费。

数据处理管线和加大规模预测的训练能力建设，把以往的大模型训练碰运气的「炼丹」过程变得极度细致和科学化，不仅保证了目前发布 Yi-34B、Yi-6B 模型的高性能，也为未来更大规模模型的训练压缩了时间和成本，还有能力以领先于行业的速度将模型规模扩大到数倍。

最后，李开复也宣布，在完成 Yi-34B 预训练的同时，已经旋即启动下一个千亿参数模型的训练。
李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首
未来几个月，我们预计将看到更多的 Yi 后续大模型亮相。

理论要掌握，实操不能落！以上关于《李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！

产业 李开复 零一万物
版本声明
本文转载于：机器之心 如有侵犯，请联系study_golang@163.com删除
福特全新Mustang Dark Horse车型亮相 2023进博会，独树一帜的高性能座驾福特全新Mustang Dark Horse车型亮相 2023进博会，独树一帜的高性能座驾
上一篇
福特全新Mustang Dark Horse车型亮相 2023进博会，独树一帜的高性能座驾
荷兰光刻机巨头阿斯麦：对中国市场明年业务非常乐观
下一篇
荷兰光刻机巨头阿斯麦：对中国市场明年业务非常乐观
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案，代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景，打造一站式知识长龙服务，适合有JS基础的同学学习。
    542次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例，全面具体可落地，从理论到实践，一步一步将GO核心编程技术、编程思想、底层实现融会贯通，使学习者贴近时代脉搏，做IT互联网时代的弄潮儿。
    508次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信：Le-studyg；在课程中，我们将首先介绍MySQL8的新特性，包括性能优化、安全增强、新数据类型等，帮助学生快速熟悉MySQL8的最新功能。接着，我们将深入解析MySQL的网络通信机制，包括协议、连接管理、数据传输等，让
    497次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网，分为导航，轮播，关于我们，成功案例，服务流程，团队介绍，数据部分，公司动态，底部信息等内容区块。网站整体采用CSSGrid布局，支持响应式，有流畅过渡和展现动画。
    484次学习
查看更多
AI推荐
  • 互联网信息服务算法备案系统：如何完成算法备案流程
    互联网信息服务算法备案系统
    了解互联网信息服务算法备案系统，掌握如何进行算法备案的详细步骤和要求，确保您的互联网服务合规运营。
    61次使用
  • SEO标题魔匠AI：高质量学术写作平台，毕业论文生成与优化专家
    魔匠AI
    SEO摘要魔匠AI专注于高质量AI学术写作，已稳定运行6年。提供无限改稿、选题优化、大纲生成、多语言支持、真实参考文献、数据图表生成、查重降重等全流程服务，确保论文质量与隐私安全。适用于专科、本科、硕士学生及研究者，满足多语言学术需求。
    106次使用
  • PPTFake答辩PPT生成器：一键生成高效专业的答辩PPT
    PPTFake答辩PPT生成器
    PPTFake答辩PPT生成器，专为答辩准备设计，极致高效生成PPT与自述稿。智能解析内容，提供多样模板，数据可视化，贴心配套服务，灵活自主编辑，降低制作门槛，适用于各类答辩场景。
    139次使用
  • SEO标题Lovart AI：全球首个设计领域AI智能体，实现全链路设计自动化
    Lovart
    SEO摘要探索Lovart AI，这款专注于设计领域的AI智能体，通过多模态模型集成和智能任务拆解，实现全链路设计自动化。无论是品牌全案设计、广告与视频制作，还是文创内容创作，Lovart AI都能满足您的需求，提升设计效率，降低成本。
    269次使用
  • 美图AI抠图：行业领先的智能图像处理技术，3秒出图，精准无误
    美图AI抠图
    美图AI抠图，依托CVPR 2024竞赛亚军技术，提供顶尖的图像处理解决方案。适用于证件照、商品、毛发等多场景，支持批量处理，3秒出图，零PS基础也能轻松操作，满足个人与商业需求。
    126次使用
查看更多
相关文章
关于我们 免责声明 意见反馈 联系我们 内容提交
Golang学习网：公益在线Go学习平台，帮助Go学习者快速成长！
技术交流群
Copyright 2023 http://www.17golang.com/ All Rights Reserved ｜ 苏ICP备2023003363号-1
  • Golang学习网
    关注公众号
    Golang学习网
微信登录更方便
  • 密码登录
  • 注册账号
忘记密码
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码
发送验证码