魔改RNN挑战Transformer,RWKV上新:推出两种新架构模型
今日不肯埋头,明日何以抬头!每日一句努力自己的话哈哈~哈喽,今天我将给大家带来一篇《魔改RNN挑战Transformer,RWKV上新:推出两种新架构模型》,主要内容是讲解等等,感兴趣的朋友可以收藏或者有更好的建议在评论提出,我都会认真看的!大家一起进步,一起学习!
不走Transformer寻常路,魔改RNN的国产新架构RWKV,有了新进展:
提出了两种新的RWKV架构,即Eagle (RWKV-5) 和Finch(RWKV-6)。
这两种序列模型以RWKV-4架构为基础,然后作了改进。
新架构的设计进步包括多头矩阵值状态(multi-headed matrix-valued states)和动态递归机制(dynamic recurrence mechanism),这些改进提高了RWKV模型的表达能力,同时保持RNN的推理效率特征。
同时,新架构引入了一个新的多语言语料库,包含1.12万亿个令牌。
团队还基于贪婪匹配(greedy matching)开发了一种快速的分词器,以增强RWKV的多语言性。
目前,4个Eagle模型和2个Finch模型,都已经在抱抱脸上发布了~
新模型Eagle和Finch
此次更新的RWKV,共包含6个模型,分别是:
4个Eagle(RWKV-5)模型:分别为0.4B、1.5B、3B、7B参数大小;
2个Finch(RWKV-6)模型:分别是1.6B、3B参数大小。
Eagle通过使用多头矩阵值状态(而非向量值状态)、重新构造的接受态和额外的门控机制,改进了从RWKV-4中学习到的架构和学习衰减进度。
Finch则通过引入新的数据相关函数,进一步改进架构的表现能力和灵活性,用于时间混合和令牌移位模块,包括参数化线性插值。
此外,Finch提出了对低秩自适应函数的新用法,以使可训练的权重矩阵能够以一种上下文相关的方式有效地增强学习到的数据衰减向量。
最后,RWKV新架构引入了一种新的分词器RWKV World Tokenizer,和一个新数据集RWKV World v2,两者均用于提高RWKV模型在多语言和代码数据上的性能。
其中的新分词器RWKV World Tokenizer包含不常见语言的词汇,并且通过基于Trie的贪婪匹配(greedy matching)进行快速分词。
而新数据集RWKV World v2是一个新的多语言1.12T tokens数据集,取自各种手工选择的公开可用数据源。
其数据组成中,约70%是英语数据,15%是多语言数据,15%是代码数据。
基准测试结果如何?
光有架构创新还不够,关键要看模型的实际表现。
来看看新模型在各大权威评测榜单上的成绩——
MQAR测试结果
MQAR (Multiple Query Associative Recall)任务是一种用于评估语言模型的任务,旨在测试模型在多次查询情况下的联想记忆能力。
在这类任务中,模型需要通过给定的多个查询来检索相关的信息。
MQAR任务的目标是衡量模型在多次查询下检索信息的能力,以及其对不同查询的适应性和准确性。
下图为RWKV-4、Eagle、 Finch和其他非Transformer架构的MQAR任务测试结果。
可以看出,在MQAR任务的准确度测试中, Finch在多种序列长度测试中的准确度表现都非常稳定,对比RWKV-4、RWKV-5和其他非Transformer架构的模型有显著的性能优势。
长上下文实验
在PG19测试集上测试了从2048 tokens开始的RWKV-4、Eagle和Finch的loss与序列位置。
(所有模型均基于上下文长度4096进行预训练)。
测试结果显示, Eagle在长序列任务上比RWKV-4有了显著的改进,而在上下文长度4096训练的Finch的表现比Eagle更好,可以良好地自动适应到20000以上的上下文长度。
速度和显存基准测试
速度和内存基准测试中,团队比较了Finch、Mamba和Flash Attention的类Attention内核的速度和显存利用率。
可以看到,Finch在内存使用方面始终优于Mamba和Flash Attention,而内存使用量分别比Flash Attention和Mamba少40%和17%。
多语言任务表现
日语
西班牙语
阿拉伯语
日语-英语
下一步工作
以上研究内容,来自RWKV Foundation发布的最新论文《Eagle and Finch:RWKV with Matrix-Valued States and Dynamic Recurrence》。
论文由RWKV创始人Bo PENG(彭博)和RWKV开源社区成员共同完成。
共同一作彭博,毕业于香港大学物理系,编程经验20+年,曾在世界最大外汇对冲基金之一Ortus Capital就职,负责高频量化交易。
还出版过一本关于深度卷积网络的书籍《深度卷积网络·原理与实践》。
他的主要关注和兴趣方向在软硬件开发方面,在此前的公开访谈中,他曾明确表示AIGC是自己的兴趣所在,尤其是小说生成。
目前,彭博在Github有2.1k的followers。
但他的最主要公开身份是一家灯具公司禀临科技的联合创始人,主要是做阳光灯、吸顶灯、便携台灯什么的。
并且其人应该是一个喵星人资深爱好者,Github、知乎、微信头像,以及灯具公司的官网首页、微博上,都有一只橘猫的身影。
量子位获悉,RWKV当前的多模态工作包含RWKV Music(音乐方向)和 VisualRWKV(图像方向)。
接下来,RWKV的重点工作将放在以下几个方向:
- 扩展训练语料库,使其更加多样化(这是改进模型性能的关键事项);
- 训练和发布更大版本的Finch,如7B和14B参数,并通过MoE降低推理和训练成本,进一步扩展其性能。
- 对Finch的CUDA实现做进一步优化(包括算法改进),带来速度的提升和更大的并行化。
论文链接:
https://arxiv.org/pdf/2404.05892.pdf
好了,本文到此结束,带大家了解了《魔改RNN挑战Transformer,RWKV上新:推出两种新架构模型》,希望本文对你有所帮助!关注golang学习网公众号,给大家分享更多科技周边知识!

- 上一篇
- PHP 函数库中有什么内容?

- 下一篇
- 问界M5智驾版V3.3.9.6系统更新发布,多项功能优化提升
-
- 科技周边 · 人工智能 | 1分钟前 |
- AI视频生成助力知识与情感解说案例解析
- 492浏览 收藏
-
- 科技周边 · 人工智能 | 8分钟前 |
- AI剪辑原理与实操技巧解析
- 474浏览 收藏
-
- 科技周边 · 人工智能 | 18分钟前 |
- 自学AI工具推荐:免费平台与教程大全
- 163浏览 收藏
-
- 科技周边 · 人工智能 | 23分钟前 |
- AI视频工具推荐做虾仁动漫
- 367浏览 收藏
-
- 科技周边 · 人工智能 | 28分钟前 |
- Moonshot公众号日更测试:速度与质量评估
- 458浏览 收藏
-
- 科技周边 · 人工智能 | 44分钟前 |
- DeepSeek满血版生态全解析及平台详解
- 185浏览 收藏
-
- 科技周边 · 人工智能 | 55分钟前 |
- 豆包AI生成API的实用技巧分享
- 307浏览 收藏
-
- 科技周边 · 人工智能 | 1小时前 |
- 百万豪车对战20万国产车,车评人激辩影视大佬
- 448浏览 收藏
-
- 科技周边 · 人工智能 | 1小时前 |
- DeepSeek+Trello:智能任务管理新体验
- 440浏览 收藏
-
- 科技周边 · 人工智能 | 1小时前 |
- Deepseek联手RunwayML,视频特效智能生成新突破
- 395浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 511次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 498次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 484次学习
-
- 千音漫语
- 千音漫语,北京熠声科技倾力打造的智能声音创作助手,提供AI配音、音视频翻译、语音识别、声音克隆等强大功能,助力有声书制作、视频创作、教育培训等领域,官网:https://qianyin123.com
- 113次使用
-
- MiniWork
- MiniWork是一款智能高效的AI工具平台,专为提升工作与学习效率而设计。整合文本处理、图像生成、营销策划及运营管理等多元AI工具,提供精准智能解决方案,让复杂工作简单高效。
- 106次使用
-
- NoCode
- NoCode (nocode.cn)是领先的无代码开发平台,通过拖放、AI对话等简单操作,助您快速创建各类应用、网站与管理系统。无需编程知识,轻松实现个人生活、商业经营、企业管理多场景需求,大幅降低开发门槛,高效低成本。
- 126次使用
-
- 达医智影
- 达医智影,阿里巴巴达摩院医疗AI创新力作。全球率先利用平扫CT实现“一扫多筛”,仅一次CT扫描即可高效识别多种癌症、急症及慢病,为疾病早期发现提供智能、精准的AI影像早筛解决方案。
- 117次使用
-
- 智慧芽Eureka
- 智慧芽Eureka,专为技术创新打造的AI Agent平台。深度理解专利、研发、生物医药、材料、科创等复杂场景,通过专家级AI Agent精准执行任务,智能化工作流解放70%生产力,让您专注核心创新。
- 122次使用
-
- GPT-4王者加冕!读图做题性能炸天,凭自己就能考上斯坦福
- 2023-04-25 501浏览
-
- 单块V100训练模型提速72倍!尤洋团队新成果获AAAI 2023杰出论文奖
- 2023-04-24 501浏览
-
- ChatGPT 真的会接管世界吗?
- 2023-04-13 501浏览
-
- VR的终极形态是「假眼」?Neuralink前联合创始人掏出新产品:科学之眼!
- 2023-04-30 501浏览
-
- 实现实时制造可视性优势有哪些?
- 2023-04-15 501浏览