多算法融合异常检测Python教程

积累知识，胜过积蓄金银！毕竟在文章开发的过程中，会遇到各种各样的问题，往往都是一些细节知识点还没有掌握好而导致的，因此基础知识点的积累是很重要的。下面本文《Python多算法融合异常检测教程》，就带大家讲解一下知识点，若是你对本文感兴趣，或者是想搞懂其中某个知识点，就请你继续往下看吧~

单一算法在异常检测中表现受限，因其依赖特定假设，难以捕捉复杂多样的异常模式，而集成学习通过融合多模型可提升鲁棒性。1. 异常定义多样，单一算法难以覆盖点异常、上下文异常和集体异常；2. 数据复杂性高，如噪声、缺失值影响模型稳定性；3. 不同算法有各自偏见，集成可引入多视角，降低依赖单一模式；4. 基学习器需原理多样，如LOF、Isolation Forest、One-Class SVM；5. 输出分数需标准化（如Min-Max）以统一量纲；6. 融合策略可采用平均、加权平均或堆叠，提升检测准确性。

在Python中实现基于集成学习的异常检测，通过融合多种算法来提升检测的鲁棒性和准确性，这本质上是利用不同模型捕捉异常的不同侧面，从而形成一个更全面的判断。你可以理解为，它就像一个“专家委员会”，每个专家从自己的专业角度给出意见，最终汇总得出更可靠的结论。

解决方案

要构建一个多算法融合的异常检测系统，核心步骤包括选择多样化的基学习器、对它们的输出（通常是异常分数）进行标准化，然后通过某种策略进行融合。

数据预处理是第一步，通常包括特征缩放（如StandardScaler），因为许多异常检测算法对特征的量纲敏感。接下来，选择几种原理不同、各有侧重的异常检测算法作为基学习器。比如，你可以选择基于距离的局部异常因子（LOF），基于隔离的隔离森林（Isolation Forest），以及基于支持向量机的One-Class SVM。

训练这些基模型后，每个模型都会为数据集中的每个点生成一个异常分数。这些分数往往量纲和含义不同（例如，隔离森林的分数可能在-0.5到0.5之间，而LOF的分数可能是一个正数，且数值范围差异很大）。因此，将这些分数标准化到一个统一的区间（比如0到1）至关重要。一个常用的方法是Min-Max标准化，或者更稳健的，使用基于排名的融合。

分数标准化后，就可以进行融合。最简单也是最常用的方法是取平均值，即将所有标准化后的分数相加再除以模型数量。这假定所有模型同等重要。如果对某些模型有更高的信任度，可以采用加权平均。更高级的融合方法包括投票（如果基模型输出的是二分类结果）或堆叠（Stacking），即训练一个元模型来学习如何结合基模型的输出。

import numpy as np
import pandas as pd
from sklearn.ensemble import IsolationForest
from sklearn.neighbors import LocalOutlierFactor
from sklearn.svm import OneClassSVM
from sklearn.preprocessing import StandardScaler, MinMaxScaler
from sklearn.metrics import roc_auc_score, precision_recall_curve, auc

# 1. 模拟数据（实际应用中替换为你的真实数据）
# 假设前400个点是正常数据，后20个点是异常数据
rng = np.random.RandomState(42)
X_normal = 0.3 * rng.randn(400, 2)
X_outliers = rng.uniform(low=-4, high=4, size=(20, 2))
X = np.r_[X_normal, X_outliers]
y_true = np.array([0] * 400 + [1] * 20) # 0:正常, 1:异常

# 2. 数据预处理：特征缩放
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 3. 初始化并训练多样化的基学习器
# 注意：IsolationForest和OneClassSVM的decision_function越小越异常。
# LocalOutlierFactor的negative_outlier_factor_越大越异常（即LOF值越小越异常）。
# 我们需要统一方向：让分数越高表示越异常。

# 隔离森林 (Isolation Forest)
model_if = IsolationForest(random_state=42, contamination=0.05) # contamination是预估的异常比例
model_if.fit(X_scaled)
# score_samples() 返回的是正常程度分数，值越大越正常，所以取负值或1-x使其符合“异常分数越高越异常”
scores_if = -model_if.score_samples(X_scaled)

# 局部异常因子 (Local Outlier Factor)
# novelty=True 用于新数据预测，fit_predict()用于训练数据
model_lof = LocalOutlierFactor(novelty=True, contamination=0.05)
model_lof.fit(X_scaled)
# negative_outlier_factor_ 越大越异常，符合我们的方向
scores_lof = -model_lof.negative_outlier_factor_ # LOF的负值越大越异常，所以取负值后，越大越异常

# One-Class SVM
model_ocsvm = OneClassSVM(nu=0.05) # nu是异常点的比例
model_ocsvm.fit(X_scaled)
# decision_function() 值越大越正常，所以取负值使其符合“异常分数越高越异常”
scores_ocsvm = -model_ocsvm.decision_function(X_scaled)

# 4. 分数标准化与融合
# 将所有分数标准化到 [0, 1] 区间
min_max_scaler = MinMaxScaler()

scores_if_norm = min_max_scaler.fit_transform(scores_if.reshape(-1, 1)).flatten()
scores_lof_norm = min_max_scaler.fit_transform(scores_lof.reshape(-1, 1)).flatten()
scores_ocsvm_norm = min_max_scaler.fit_transform(scores_ocsvm.reshape(-1, 1)).flatten()

# 简单平均融合
ensemble_scores = (scores_if_norm + scores_lof_norm + scores_ocsvm_norm) / 3

# 5. 确定异常阈值并进行预测
# 通常根据业务需求或异常比例来设定阈值，这里我们假设异常比例为5%
threshold = np.percentile(ensemble_scores, 100 * (1 - model_if.contamination)) # 假设按IF的污染率来定
ensemble_predictions = (ensemble_scores >= threshold).astype(int)

# 6. 评估（如果存在真实标签）
# print(f"集成模型 AUC-ROC: {roc_auc_score(y_true, ensemble_scores):.4f}")
# precision, recall, _ = precision_recall_curve(y_true, ensemble_scores)
# print(f"集成模型 PR-AUC: {auc(recall, precision):.4f}")

# print("\n部分集成结果示例：")
# result_df = pd.DataFrame({
#     'IF_Score': scores_if,
#     'LOF_Score': scores_lof,
#     'OCSVM_Score': scores_ocsvm,
#     'IF_Norm': scores_if_norm,
#     'LOF_Norm': scores_lof_norm,
#     'OCSVM_Norm': scores_ocsvm_norm,
#     'Ensemble_Score': ensemble_scores,
#     'Ensemble_Prediction': ensemble_predictions,
#     'True_Label': y_true
# })
# print(result_df.head(10))
# print(result_df[result_df['True_Label'] == 1].head(10)) # 看看异常点的情况

为什么单一算法在异常检测中常常力不从心？

我个人觉得，这就像我们诊断一个复杂疾病。一个医生可能擅长看X光片，另一个擅长分析血液报告，还有一个则精通病史问询。如果只依赖其中一个医生，很可能会漏掉关键信息。异常检测也是如此，单一算法往往有其内在的假设和局限性。

首先，异常的定义本身就非常模糊和多变。有些异常是数据点与整体分布格格不入（点异常），有些则是在特定背景下显得不寻常（上下文异常），还有些是多个正常点的组合行为变得异常（集体异常）。一个算法可能擅长识别“离群太远”的点，但对那些“行为模式”异常的序列却束手无策。比如，隔离森林在处理高维数据时非常高效，因为它通过随机切分来隔离异常点，但它可能对局部密度异常不那么敏感。而LOF则非常擅长识别局部异常，但在全局异常或高维稀疏数据上可能表现平平。

其次，数据本身的复杂性也是一个挑战。数据中可能存在噪声、缺失值，或者数据分布不是理想的形状（比如非高斯分布）。单一算法的鲁棒性往往有限，容易被这些因素干扰。一个模型可能对噪声敏感，而另一个则相对稳定。当多个模型一起工作时，它们可以互相弥补短板，共同抵御这些干扰，从而使最终的检测结果更加稳健。

再者，很多异常检测算法在设计时就带有特定的“偏见”或“视角”。它们基于不同的数学原理和统计假设。如果数据的真实异常模式与算法的假设不符，那么该算法的表现就会大打折扣。通过集成，我们引入了多种视角，降低了对特定数据模式的依赖，从而提高了模型适应未知异常模式的能力。

如何选择合适的基学习器并进行分数融合

本篇关于《多算法融合异常检测Python教程》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！