用Scikit-learn构建基础机器学习模型

小伙伴们有没有觉得学习文章很有意思？有意思就对了！今天就给大家带来《用Scikit-learn搭建基础机器学习模型》，以下内容将会涉及到，若是在学习中对其中部分知识点有疑问，或许看了本文就能帮到你！

使用Scikit-learn构建模型需遵循数据预处理、模型选择、训练、预测与评估的流程。首先用pandas加载数据并进行清洗，通过StandardScaler或OneHotEncoder处理数值和分类特征，利用ColumnTransformer和Pipeline整合预处理与模型训练，防止数据泄露。选择模型时，根据任务类型（分类、回归等）选用LogisticRegression、RandomForest等算法，通过train_test_split划分数据集，fit()训练模型，predict()进行预测，并用accuracy_score等指标评估性能。为避免过拟合，应采用交叉验证、正则化、特征选择及超参数调优（如GridSearchCV），结合学习曲线分析模型泛化能力，确保在测试集上稳定表现。整个过程强调数据质量与流程规范化，是提升模型效果的关键。

使用Scikit-learn构建基础的机器学习模型，核心在于理解其统一的API范式：数据准备、模型选择与实例化、训练、预测和评估。它提供了一套非常直观且高效的工具集，让即使是初学者也能快速上手，将复杂的算法逻辑抽象成几行代码，从而专注于解决实际问题，而不是深陷数学细节。

解决方案

在我看来，使用Scikit-learn构建一个基础的机器学习模型，其实就是走这么几步，每一步都有它的小心思和讲究。

首先，数据是基石，没有好的数据，再厉害的模型也白搭。通常我会用pandas来加载和初步清洗数据，比如处理缺失值，或者转换一些数据类型。然后，一个非常关键的步骤是特征工程和数据预处理。这包括数值特征的标准化或归一化（StandardScaler或MinMaxScaler），以及分类特征的独热编码（OneHotEncoder）。这些步骤对模型的性能影响巨大，甚至比你选什么模型更重要。

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

# 假设我们有一个DataFrame df
# df = pd.read_csv('your_data.csv')
# 为了演示，我们创建一个简单的数据
data = {
    'feature_num_1': [10, 20, 30, 40, 50, 60, 70, 80, 90, 100],
    'feature_num_2': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
    'feature_cat': ['A', 'B', 'A', 'C', 'B', 'A', 'C', 'B', 'A', 'C'],
    'target': [0, 1, 0, 1, 0, 1, 0, 1, 0, 1]
}
df = pd.DataFrame(data)

X = df.drop('target', axis=1)
y = df['target']

# 划分训练集和测试集，这是为了模拟真实世界中模型对未知数据的表现
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定义预处理步骤
numeric_features = ['feature_num_1', 'feature_num_2']
categorical_features = ['feature_cat']

numeric_transformer = StandardScaler()
categorical_transformer = OneHotEncoder(handle_unknown='ignore')

preprocessor = ColumnTransformer(
    transformers=[
        ('num', numeric_transformer, numeric_features),
        ('cat', categorical_transformer, categorical_features)
    ])

# 构建一个管道，将预处理和模型训练串联起来
# 这样可以避免数据泄露，并简化工作流
model_pipeline = Pipeline(steps=[('preprocessor', preprocessor),
                               ('classifier', LogisticRegression(random_state=42))])

# 训练模型
model_pipeline.fit(X_train, y_train)

# 做出预测
y_pred = model_pipeline.predict(X_test)

# 评估模型
accuracy = accuracy_score(y_test, y_pred)
print(f"模型在测试集上的准确率: {accuracy:.2f}")

接下来就是选择一个合适的模型。Scikit-learn里模型种类繁多，从简单的线性回归到复杂的集成学习，应有尽有。你需要根据你的问题类型（分类、回归、聚类等）和数据特点来决定。比如，如果你在做二分类问题，LogisticRegression、SVC或RandomForestClassifier都是不错的起点。选定模型后，实例化它，然后用fit()方法在训练数据上进行训练。

训练完的模型就可以用来做预测了，用predict()方法。但仅仅预测还不够，我们还需要评估模型的性能。对于分类问题，准确率（accuracy_score）、精确率、召回率、F1分数（classification_report）都是常用的指标；对于回归问题，均方误差（mean_squared_error）和R²分数（r2_score）则更具参考价值。通过这些指标，我们能大致了解模型在没见过的数据上的表现如何，有没有过拟合或欠拟合的风险。整个过程其实就是不断迭代、优化，直到你对模型表现满意为止。

如何为我的数据选择合适的Scikit-learn模型？

这确实是个让人头疼的问题，Scikit-learn的文档里虽然有个“作弊小抄”（Choosing the right estimator），但实际操作起来，远不止看图那么简单。我个人经验是，选择模型就像是挑工具，得看你要解决什么问题，以及手头有什么材料。

首先，最基础的区分是你的任务是监督学习还是无监督学习。如果你有明确的标签（比如预测房价、识别图片中的物体），那就是监督学习。如果数据没有标签，你只是想发现数据内部的结构（比如客户分群），那就是无监督学习。

在监督学习里，又分为分类和回归。

• 分类：预测离散的类别，比如邮件是不是垃圾邮件（0/1），图片里是猫还是狗。常见的Scikit-learn模型有LogisticRegression（逻辑回归，虽然名字带回归，但它是个分类器）、SVC（支持向量机）、DecisionTreeClassifier（决策树）、RandomForestClassifier（随机森林）和GradientBoostingClassifier（梯度提升分类器）。
• 回归：预测连续的数值，比如预测房价、股票价格。对应的模型有LinearRegression（线性回归）、Ridge、Lasso（带正则化的线性模型）、DecisionTreeRegressor、RandomForestRegressor等。

无监督学习则包括聚类和降维。

• 聚类：将数据分成若干组，组内相似度高，组间相似度低。KMeans是最经典的，还有DBSCAN、AgglomerativeClustering等。
• 降维：减少数据的特征数量，同时尽量保留数据中的信息，常用于可视化或作为预处理步骤。PCA（主成分分析）是其中的代表。

选择时，我通常会先从一些简单、解释性强的模型开始，比如逻辑回归或决策树。它们训练速度快，容易理解，如果性能不错，那可能就够用了。如果简单模型效果不佳，我才会考虑更复杂的模型，比如随机森林或梯度提升树。这些集成模型往往性能更好，但训练时间更长，也更难解释。

另外，数据量的大小、特征的维度、特征之间的相关性、数据是否线性可分，这些都会影响模型的选择。比如，数据量不大且特征维度不高时，SVM可能表现不错；如果数据量很大，线性模型或基于树的模型会更高效。在我看来，没有“最好”的模型，只有“最适合”的模型。多尝试几种模型，通过交叉验证来比较它们的性能，是找到最佳模型的不二法门。

数据预处理在Scikit-learn模型构建中扮演什么角色？

数据预处理在Scikit-learn模型构建中，扮演的角色简直是“幕后英雄”，甚至可以说，它决定了你模型性能的上限。我个人觉得，很多时候模型效果不好，并不是算法本身的问题，而是数据没处理好。

Scikit-learn的API设计非常优雅，它的预处理模块和模型模块有着高度的一致性，都是fit()和transform()（或fit_transform()）方法。这使得将预处理步骤融入到整个机器学习工作流中变得非常自然。

常见的预处理步骤和它们的重要性：

1. 处理缺失值：数据中经常会有空值。Scikit-learn的SimpleImputer可以很方便地用均值、中位数或众数填充缺失值。如果缺失值太多，有时直接删除特征或样本可能是更好的选择，但这需要慎重考虑，因为可能会丢失信息。
2. 特征缩放：这是最常用也最重要的预处理之一。很多机器学习算法（比如SVM、K近邻、逻辑回归以及神经网络）对特征的尺度非常敏感。如果特征尺度差异很大，那些尺度大的特征可能会在距离计算中占据主导地位，导致模型偏向它们。
   • StandardScaler：将特征缩放到均值为0，方差为1的正态分布。适用于大部分情况。
   • MinMaxScaler：将特征缩放到一个固定范围，通常是[0, 1]。对于那些需要固定输入范围的算法（如某些神经网络激活函数）很有用。
3. 处理分类特征：机器学习模型通常只能处理数值型数据。
   • OneHotEncoder：将分类特征转换为独热编码，即为每个类别创建一个新的二元特征。这是处理无序分类特征的标准做法。比如“红、绿、蓝”会变成三列，每列只有0或1。
   • OrdinalEncoder：如果分类特征有明确的顺序（比如“小、中、大”），则可以使用序数编码，将其映射为1、2、3等数值。
4. 特征工程：这其实是一个更广的概念，包括从现有特征中创造新特征。比如，从日期时间中提取年份、月份、星期几，或者将两个特征相乘或相除以捕捉它们的交互作用。Scikit-learn虽然没有直接提供“特征工程”模块，但其转换器（transformer）的API设计鼓励你自定义这些操作。
5. 管道（Pipelines）：这是Scikit-learn中一个非常强大的概念，我强烈推荐使用。它允许你将多个预处理步骤和最终的模型训练串联起来，形成一个统一的工作流。这样做的好处是：
   • 代码整洁：整个流程一目了然。
   • 避免数据泄露：确保在交叉验证时，预处理的统计信息（如均值、方差）只从训练集计算，然后应用于验证集/测试集，避免模型“偷看”到测试集的信息。
   • 简化模型部署：整个训练好的管道可以直接保存和加载，方便部署。

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.linear_model import LogisticRegression

# 假设 numeric_features 和 categorical_features 已经定义
preprocessor = ColumnTransformer(
    transformers=[
        ('num', StandardScaler(), numeric_features),
        ('cat', OneHotEncoder(handle_unknown='ignore'), categorical_features)
    ])

# 完整的管道
pipeline = Pipeline(steps=[('preprocessor', preprocessor),
                           ('classifier', LogisticRegression(random_state=42))])

# 之后直接对 pipeline 进行 fit 和 predict 操作即可
# pipeline.fit(X_train, y_train)
# y_pred = pipeline.predict(X_test)

数据预处理的质量直接影响模型的学习能力和泛化能力。一个精心预处理过的数据集，往往能让一个简单的模型也表现出色；而一个未经处理的“脏”数据，即使是最复杂的模型也可能束手无策。所以，花时间在数据预处理上，绝对是值得的投资。

如何有效评估Scikit-learn模型的性能并避免过拟合？

评估模型性能和避免过拟合，这简直是机器学习实践中的两大永恒主题，也是区分新手和老手的关键。我个人觉得，光看一个准确率就下结论，那真是太草率了。

1. 有效评估模型性能

首先，你得明白，评估模型的目标是看它在“没见过”的数据上的表现，而不是它在训练数据上有多完美。这就是为什么我们要把数据分成训练集和测试集，甚至引入验证集。

• 选择合适的评估指标：

  • 分类问题：
    • 准确率 (Accuracy)：最直观，但如果类别不平衡（比如95%的样本是类别A，5%是类别B），高准确率可能只是因为模型把所有样本都预测成了多数类。
    • 精确率 (Precision)：预测为正的样本中，有多少是真正的正样本。关注“预测的准确性”。
    • 召回率 (Recall)：所有真正的正样本中，有多少被模型正确识别。关注“识别的完整性”。
    • F1分数 (F1-score)：精确率和召回率的调和平均值，在两者之间取得平衡。
    • ROC曲线和AUC (Area Under the Curve)：衡量分类器在不同阈值下的表现，对于不平衡数据集尤其有用。AUC值越高，模型性能越好。
    • Scikit-learn的classification_report函数能一次性给出这些指标，非常方便。
  • 回归问题：
    • 均方误差 (Mean Squared Error, MSE) / 均方根误差 (Root Mean Squared Error, RMSE)：预测值与真实值之差的平方的平均值（或其开方）。数值越小越好。
    • 平均绝对误差 (Mean Absolute Error, MAE)：预测值与真实值之差的绝对值的平均值。对异常值不如MSE敏感。
    • R²分数 (R-squared)：表示模型能解释目标变量方差的比例，值越接近1越好。

• 交叉验证 (Cross-validation)：这是评估模型最稳健的方法之一。简单地划分一次训练集和测试集，结果可能会因为数据划分的随机性而有所偏差。交叉验证通过多次划分数据，训练和评估模型，然后取平均值，能更可靠地评估模型的泛化能力。

  • KFold：将数据集分成K个折叠，每次用K-1个折叠训练，1个折叠测试。
  • StratifiedKFold：在分类问题中，确保每个折叠中各类别的比例与原始数据集保持一致，这对于不平衡数据集非常重要。
  • Scikit-learn的cross_val_score和GridSearchCV、RandomizedSearchCV都内置了交叉验证功能。

from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression

# 假设 X, y 已经准备好
model = LogisticRegression(random_state=42)
scores = cross_val_score(model, X, y, cv=5, scoring='accuracy') # cv=5 表示5折交叉验证
print(f"交叉验证准确率: {scores.mean():.2f} (+/- {scores.std() * 2:.2f})")

2. 避免过拟合

过拟合（Overfitting）就像是学生死记硬背了所有考题，但在面对新题目时却一筹莫展。模型在训练集上表现完美，但在测试集或真实数据上却一塌糊涂，这就是过拟合。

• 更多的数据：最直接也最有效的方法。数据量越大，模型越难“记住”所有细节，被迫去学习更普遍的规律。
• 特征选择/降维：减少模型的复杂性。如果特征太多，模型可能会捕捉到噪声而不是真实模式。
  • SelectKBest、RFE（递归特征消除）等是Scikit-learn中常用的特征选择方法。
  • PCA（主成分分析）可以用于降维。
• 正则化 (Regularization)：在模型的损失函数中加入惩罚项，限制模型参数的大小，从而防止模型过度拟合训练数据。
  • L1正则化（Lasso）：倾向于将一些特征的系数变为零，实现特征选择。
  • L2正则化（Ridge）：倾向于使所有特征的系数都变小，但不会完全变为零。
  • 在Scikit-learn中，LogisticRegression、LinearRegression等模型都支持通过参数（如C或alpha）来控制正则化强度。
• 简化模型：选择更简单的模型，或者减少复杂模型的参数（如决策树的深度、集成模型的基学习器数量）。
• 早停 (Early Stopping)：在训练过程中，监控模型在验证集上的性能。当验证集上的性能不再提升甚至开始下降时，就停止训练，以防止过拟合。这在神经网络中尤其常用。
• 超参数调优 (Hyperparameter Tuning)：通过搜索最佳的超参数组合来优化模型。超参数是模型外部的配置，比如学习率、正则化强度、决策树的最大深度等。
  • GridSearchCV：网格搜索，尝试所有可能的超参数组合。
  • RandomizedSearchCV：随机搜索，在给定的超参数分布中随机采样。当超参数空间很大时，效率更高。

from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC

# 定义要搜索的超参数空间
param_grid = {
    'C': [0.1, 1, 10, 100],
    'gamma': [1, 0.1, 0.01, 0.001],
    'kernel': ['rbf', 'linear']
}

grid_search = GridSearchCV(SVC(random_state=42), param_grid, cv=3, verbose=2, n_jobs=-1)
# grid_search.fit(X_train, y_train)
# print(f"最佳超参数: {grid_search.best_params_}")
# print(f"最佳模型在交叉验证集上的准确率: {grid_search.best_score_:.2f}")

记住，过拟合和欠拟合（Underfitting，模型太简单，连训练数据都学不好）是一对矛盾。我们总是在寻找一个平衡点，让模型既能充分学习训练数据的规律，又能很好地泛化到未知数据。这个过程需要大量的实验、分析和一点点直觉。

本篇关于《用Scikit-learn构建基础机器学习模型》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！