AI发展：训练数据即将遭遇瓶颈

“纵有疾风来，人生不言弃”，这句话送给正在学习科技周边的朋友们，也希望在阅读本文《AI发展：训练数据即将遭遇瓶颈》后，能够真的帮助到大家。我也会在后续的文章中，陆续更新科技周边相关的技术文章，有好的建议欢迎大家在评论留言，非常感谢！

人工智能（AI）在过去十年取得了显著进展，这得益于神经网络规模的扩大和海量数据的训练。大型语言模型（LLM），例如ChatGPT，便是“做大做强”策略的成功案例。

然而，众多权威期刊如《自然》、《麻省理工科技评论》等指出，AI的扩展正遭遇瓶颈。一方面，AI消耗的能源日益增多；另一方面，为AI模型提供养分的传统数据集正被过度利用。

训练数据即将枯竭的警讯已现。研究机构预测，到2028年，AI模型训练数据集的典型规模将与现有公共在线文本总量相当，这意味着AI可能在短短四年内耗尽训练数据。同时，数据所有者（如报社）加强了对内容的版权保护，限制数据访问，加剧了“数据共享”危机。AI开发者必须另寻出路。

数据供需失衡日益严重

过去十年，LLM发展对数据的需求呈爆炸式增长。自2020年以来，用于训练LLM的“标记”（或单词）数量增长了100倍，从数百亿飙升至数万亿。RedPajama等大型数据集包含数万亿个单词，这些数据经处理后成为训练LLM的定制数据集。

然而，互联网可用内容的增长速度远低于预期，年增长率不足10%，而AI训练数据集的规模却每年增长一倍以上。预测显示，这两者将在2028年左右相遇。

此外，越来越多的内容提供商通过软件代码或修改条款来阻止爬虫和AI抓取数据。2023年，明确禁止爬虫访问的内容比例不足3%，而2024年这一比例已激增至20%到33%。

围绕AI训练中数据使用的合法性，多起诉讼正在进行，数据提供商寻求获得合理的经济赔偿。例如，《纽约时报》和多家报纸已对OpenAI和微软提起诉讼，指控其侵犯版权。OpenAI则回应称诉讼“毫无根据”。

如果法院最终支持内容提供商的索赔请求，那么AI开发者，特别是资金有限的研究人员，获取所需数据将变得更加困难。

新的解决方案有待验证

数据匮乏对AI的传统扩展策略构成巨大挑战。

获取更多数据的途径之一是收集非公开数据，例如社交媒体信息或视频转录文本。然而，这种做法的合法性存在争议。

一些公司选择使用自身数据训练AI模型，例如Meta利用虚拟现实头显收集的音频和图像。但各公司政策不一，Zoom等公司明确表示不会使用客户内容训练AI。

另一种选择是专注于快速增长的专业数据集，例如天文学或基因组学数据，但其对训练LLM的适用性和有效性尚不明确。

如果AI能够接受多种类型的数据训练（而非仅限于文本），则可能解决数据匮乏问题。Meta首席AI科学家Yann LeCun指出，人类通过观察学习到的数据量远超用于训练LLM的数据量，类人机器人或许能从中受益。

此外，生成数据也是一种解决方案。一些AI公司付费让人们生成训练内容，或使用AI生成的合成数据。这可能成为巨大的数据来源。然而，合成数据也存在问题，例如可能会巩固错误，放大误解，降低学习质量。

小型化、专业化模型的兴起

另一种策略是放弃“模型越大越好”的理念，转向更高效、专注于单一任务的小型语言模型。这些模型需要更精细、更专业的数据和更先进的训练技术。

OpenAI发布的OpenAI o1模型就是一个例子，它更注重强化学习，让模型对每个回答进行更深入的思考，这标志着一种转变，即从依赖大规模预训练数据集转向更注重训练和推理。

LLM可能已经吸收了互联网大部分内容，或许无需更多数据即可变得更智能。斯坦福大学的研究表明，模型从多次读取相同数据集中学习到的内容，与从相同数量的唯一数据中学习到的内容一样丰富。

合成数据、专业数据集、多次读取和自我反思等方法的结合，或许将共同推动AI的进一步发展。

文章来源：科技日报

好了，本文到此结束，带大家了解了《AI发展：训练数据即将遭遇瓶颈》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多科技周边知识！