遗憾不？原来百度2017年就研究过Scaling Law，连Anthropic CEO灵感都来自百度

学习知识要善于思考，思考，再思考！今天golang学习网小编就给大家带来《遗憾不？原来百度2017年就研究过Scaling Law，连Anthropic CEO灵感都来自百度》，以下内容主要包含等知识点，如果你正在学习或准备学习科技周边，就都不要错过本文啦~让我们一起来看看吧，能帮助到你就更好了！

原来早在 2017 年，百度就进行过 Scaling Law 的相关研究，并且通过实证研究验证了深度学习模型的泛化误差和模型大小随着训练集规模的增长而呈现出可预测的幂律 scaling 关系。只是，他们当时用的是 LSTM，而非 Transformer，也没有将相关发现命名为「Scaling Law」。

• 论文标题：Scaling Laws for Neural Language Models

• 论文链接：https://arxiv.org/pdf/2001.08361

                            ^{图源：https://xueqiu.com/8973695164/312384612。发布者：@pacificwater}

在此之前，也有不少研究者进行了类似研究，分析了达到期望泛化误差所需的样本复杂度，但论文中提到，这些结果似乎不足以准确预测实际应用中的误差 scaling 规律。还有一些研究从理论上预测泛化误差「学习曲线」呈幂律形式，即 ε(m) ∝。在这里，ε 是泛化误差，m 是训练集中的样本数量，α 是问题的一个常数属性。β_g= −0.5 或−1 是定义学习曲线陡峭度的 scaling 指数 —— 即通过增加更多的训练样本，一个模型家族可以多快地学习。不过，在实际应用中，研究者发现，β_g 通常在−0.07 和−0.35 之间，这些指数是先前理论工作未能解释的。

                                  ^{神经机器翻译学习曲线。                                  单词语言模型的学习曲线和模型大小结果和趋势。}

                                 ^{字符语言模型的学习曲线和模型大小结果和趋势。}

                                 ^{ResNet 图像分类任务上的学习曲线和模型大小结果和趋势。}

                               ^{DS2 和注意力语音模型的学习曲线（左），以及不同 DS2 模型尺寸（1.7M ~ 87M 参数）的学习曲线（右）。}

理论要掌握，实操不能落！以上关于《遗憾不？原来百度2017年就研究过Scaling Law，连Anthropic CEO灵感都来自百度》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！