Python特征工程全攻略：sklearn预处理详解

**Python特征工程全流程详解：sklearn预处理指南** 在机器学习项目中，特征工程至关重要。本文详解如何使用Python的sklearn库进行特征预处理，打造更优模型。首先，利用pandas加载数据并进行初步检查，针对缺失值，可选择删除（缺失严重）或填充（均值、中位数或标记“Missing”）。接着，使用LabelEncoder（有序类别）或OneHotEncoder（无序类别）对类别变量进行编码，避免手动替换易出错。然后，对数值特征应用StandardScaler或MinMaxScaler进行标准化或归一化，训练集使用fit_transform，测试集仅transform。最后，利用ColumnTransformer结合Pipeline构建统一的预处理流程，高效处理不同类型特征，提升代码复用性。掌握这些技巧，能显著提升模型性能。

在机器学习项目中，特征工程是提升模型性能的关键，而sklearn库提供了完整的预处理工具。1. 首先使用pandas加载数据并检查缺失值与数据类型，缺失严重则删除列，少量缺失则填充均值、中位数或标记为“Missing”。2. 使用LabelEncoder或OneHotEncoder对类别变量进行编码，前者适用于有序类别，后者适用于无序类别，避免手动替换导致错误。3. 对数值特征应用StandardScaler或MinMaxScaler进行标准化或归一化，注意训练集用fit_transform，测试集仅transform。4. 利用ColumnTransformer结合Pipeline构建预处理流程，统一处理不同类型的特征，提高代码可复用性与效率。

在做机器学习项目时，特征工程往往是决定模型性能的关键一环。而用Python做特征预处理，最常用的就是sklearn这个库了。它提供了很多实用的工具，能帮你把原始数据变得更适合模型训练。

下面我来一步步讲讲怎么用sklearn完成一个完整的特征预处理流程，包括缺失值处理、标准化、编码类别变量等常见步骤。

1. 数据加载与初步检查

不管你用的是CSV文件还是数据库，第一步肯定是把数据读进来。一般会用pandas来做这一步：

import pandas as pd
df = pd.read_csv('data.csv')

然后要看看有没有缺失值，哪些是数值型，哪些是类别型。可以用df.info()和df.isnull().sum()快速查看。

建议：

• 如果某一列缺失太多（比如超过50%），可以考虑直接删掉。
• 少量缺失的话，数值型可以用均值/中位数填充，类别型可以用众数或者加个“Missing”标记。

2. 编码类别变量：LabelEncoder 与 OneHotEncoder

机器学习模型不能直接处理字符串，所以类别变量需要转换成数字。

• LabelEncoder：适合有序类别，比如“小、中、大”，可以映射成0、1、2。
• OneHotEncoder：适合无序类别，比如“红、绿、蓝”，会变成三个二进制列。

举个例子，假设你有个"Color"列，包含'red'、'blue'、'green'：

from sklearn.preprocessing import OneHotEncoder

encoder = OneHotEncoder()
encoded = encoder.fit_transform(df[['Color']])

这样就会生成三列，每一列代表一种颜色是否存在。

注意点：

• 不要手动写循环去替换类别值，容易出错。
• 如果类别特别多，可以考虑用频率编码或目标编码来降维。

3. 处理数值特征：标准化与归一化

很多模型（比如线性回归、KNN）对数值范围敏感，所以要做标准化或归一化。

• StandardScaler：减去均值再除以标准差，适合分布接近正态的数据。
• MinMaxScaler：把数据缩放到[0,1]区间，适合有明显上下限的数据。

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
scaled = scaler.fit_transform(df[['Age', 'Income']])

小细节：

• 一定要先fit_transform训练集，测试集只transform。
• 对于偏态分布的数据，可以先做对数变换再标准化。

4. 管道化处理：使用ColumnTransformer组合不同操作

如果你既有类别型又有数值型变量，一个个处理太麻烦。可以用ColumnTransformer统一处理：

from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline

numeric_features = ['Age', 'Income']
categorical_features = ['Color']

numeric_transformer = StandardScaler()
categorical_transformer = OneHotEncoder(handle_unknown='ignore')

preprocessor = ColumnTransformer(
    transformers=[
        ('num', numeric_transformer, numeric_features),
        ('cat', categorical_transformer, categorical_features)
    ])

pipeline = Pipeline(steps=[('preprocessor', preprocessor)])

这样整个预处理过程就可以封装起来，后续调用只需要一行：

X_processed = pipeline.fit_transform(X_train)

基本上就这些。整个流程看起来有点长，但其实每一步都很清晰。只要搞清楚每种方法适用的场景，组合起来就能应对大多数预处理任务了。

本篇关于《Python特征工程全攻略：sklearn预处理详解》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！