为大模型恶补数学，上交开源MathPile语料库，95亿tokens，还可商用

上海交通大学生成式人工智能实验室推出“MathPile”，一个专注于数学领域的预训练语料库，包含约95亿个tokens。与现有语料库不同，“MathPile”以数学为中心，涵盖了从小学到研究生阶段的数学知识，数据来源多样且质量高。研究团队遵循“少即是多”的理念，通过严谨的预处理流程，确保语料库的高质量和多样性，为大型语言模型在数学推理方面的提升提供了丰富的资源。

• 论文地址：https://huggingface.co/papers/2312.17120

• 项目地址：https://gair-nlp.github.io/MathPile/
• 代码地址：https://github.com/GAIR-NLP/MathPile

• 研究使用：https://huggingface.co/datasets/GAIR/MathPile
• 商用版本：https://huggingface.co/datasets/GAIR/MathPile_Commercial

^{MathPile 的数据收集和处理过程。}

• 检测包含 「lorem ipsum」的行，如果将行中「lorem ipsum」替换掉少于 5 个字符，便移除掉该行；
• 检测包含「javescript」并且同时包含「enable」,「disable」或者「browser」 的行，并且该行的字符数量小于 200 字符，便过滤掉该行；
• 过滤掉少于 10 个单词并且包含「Login」, 「sign-in」, 「read more...」, 或者 「items in cart」 的行；
• 过滤掉大写单词占比超过 40% 的文档；
• 过滤掉以省略号结尾的行占比整个文档超过 30% 的文档；
• 过滤掉非字母单词的比例超过 80% 的文档；
• 过滤掉文档平均英文单词字符长度介于（3，10）区间以外的文档；
• 过滤掉不包含至少两个停用词（比如 the, be, to, of, and, that, have 等）的文档；
• 过滤掉省略号与单词比例超过 50% 的文档；
• 过滤掉项目符号开始的行占比超过 90% 的文档；
• 过滤掉移除掉空格和标点符号后少于 200 个字符的文档；
• ...

实验结果

研究团队还披露了一些初步的实验结果。他们在目前颇受欢迎的 Mistral-7B 模型的基础上进行了进一步的预训练。接着通过少量样本提示（few-shot prompting）方法，在一些常见的数学推理基准数据集上进行了评估。目前已获得的初步实验数据如下：

这些测试基准覆盖了各个层次的数学知识，包括小学数学（例如 GSM8K、TAL-SCQ5K-EN 和 MMLU-Math），高中数学（如 MATH、SAT-Math、MMLU-Math、AQuA 和 MathQA），以及大学数学（例如 MMLU-Math）。研究团队初步公布的实验结果显示，通过在 MathPile 中的教科书和维基百科子集上进行继续预训练，语言模型在不同难度级别的数学推理能力上均实现了比较可观的提升。

研究团队也强调，相关实验仍在继续进行中。

结语

^{MathPile 登 Huggingface Datasets 趋势榜单。}

今天关于《为大模型恶补数学，上交开源MathPile语料库，95亿tokens，还可商用》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！