Minimind-人人皆可训练的“小”AI模型

Minimind 是一个仅有 2500 万个参数的“小”语言模型，其最小版本体积仅为 GPT-3 的七千分之一，作者称只需 3 元人民币和 2 小时即可完成训练。该项目在 GitHub 上开源，提供了从零开始的全阶段大语言模型复现，是学习 LLM 的绝佳教程。本文将依据项目文档进行两阶段训练（预训练和有监督微调），并在 ModelScope 提供的云主机上完成，体验“大”模型的训练过程。

Minimind 是一个“小”语言模型，仅有 2500 万个参数，最小版本的体积仅为 GPT-3 的七千分之一，作者表示只需 3 元人民币和 2 小时即可完成训练。项目开源在 GitHub 上，地址为：https://github.com/jingyaogong/minimind。

Minimind 从零开始，对大语言模型进行了全阶段的开源复现，是学习 LLM 的绝佳教程。

本文将依据项目文档进行两阶段训练（预训练和有监督微调），初步体验“大”模型的训练过程：

环境准备

Minimind 作者的软硬件配置（仅供参考）：

• CPU: Intel(R) Core(TM) i9-10980XE CPU @ 3.00GHz
• RAM: 128 GB
• GPU: NVIDIA GeForce RTX 3090(24GB) * 8
• Ubuntu 20.04
• CUDA 12.2
• Python 3.10.16
• requirements.txt

我的软硬件配置（我的个人电脑GPU只有500M显存，因此使用了云主机）：

• ModelScope 免费提供的阿里云PAI-DSW实例（36个小时，完成本文训练共花费4小时左右）
• 8核CPU + 32GB内存
• NIVDIA A10，24G显存
• Ubuntu 22.04
• CUDA 12.1
• Python 3.10.16（Miniconda虚拟环境）

ModelScope提供的免费GPU实例

获取代码

代码语言：bash

# 从 github 下载代码并进入项目目录
git clone https://github.com/jingyaogong/minimind.git
cd minimind
# 创建虚拟环境并激活
conda create --name minimind python=3.10.16
conda init
conda activate minimind
# 安装需要的依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

下载数据

代码语言：bash

# 还是在 minimind 目录
pip install modelscope
modelscope download --dataset gongjy/minimind_dataset --local_dir ./dataset

总共下载了 20 多 G 的数据，都是 jsonl 格式：

预训练

预训练需要执行一个 python 文件：

代码语言：bash

python train_pretrain.py

预训练过程其实是有一些参数可以调整的，但为了快速完成训练，我们先全部使用默认参数。

预训练所使用的数据：

在我的这个云主机里，训练一个 epoch 大概需要两个小时：

有监督微调

有监督微调也只需要执行一个 python 文件：

代码语言：bash

python train_full_sft.py

微调使用的数据格式和预训练不同，对对话的双方做了区分：

从肉眼上看，微调的速度比预训练略快：

模型评估

经过上面的训练，我们得到了两个模型，一个是预训练模型，一个是微调模型，都在 out 目录下：

可以看到两个模型的大小一模一样，说明两个模型的结构应该是相同的。

下面我们使用 python eval_model.py 来比较两个模型的表现，eval_model.py 这个文件接收两个参数：

• --load 参数，用来指示加载我们自己训练的模型（在 out 目录），还是加载从Huggingface下载下来的模型（在 MiniMind2 目录）；
• model_mode 参数，用来指示加载哪个阶段的模型，0表示预训练模型，1表示微调模型，2表示RLHF模型等；

首先是项目自带的评测：

预训练模型-自动评测

微调模型-自动评测

可以看出，虽然都只训练了一个epoch，微调后的模型比预训练模型明显强了很多，即使存在信息不准确或者错误，但是对话的语气和意图是很明显的，而预训练模型就差了很多，而且看起来似乎有时没办法终止对话。

再来看看人工评测，我问了两个模型三个相同问题：

• 豆腐脑甜的好吃还是咸的好吃？
• 大模型是什么东西？
• 邓紫棋哪首歌好听？

下面是它们的回答：

预训练模型-人工评测

微调模型-人工评测

和自动评测的结果差不多，微调模型“知道”自己在对话，而预训练模型的回答非常发散。

项目也提供了 Web 页面和模型交互的方法，通过 streamlit 实现：

代码语言：bash

cd scripts
streamlit run web_demo.py

对话界面长这样：

后续

本篇关于《Minimind-人人皆可训练的“小”AI模型》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于科技周边的相关知识，请关注golang学习网公众号！