Python求分位数的几种方法

在Python中，计算分位数是数据分析的关键步骤，NumPy和Pandas是两大核心工具。NumPy的`percentile()`函数专为数组设计，通过指定0到100的百分位数，快速获取数据集中特定位置的值。而Pandas的`quantile()`方法则更适用于DataFrame和Series，接受0到1之间的分位数参数，特别擅长处理结构化数据。两者都支持多种插值方法，如linear、lower等，以应对分位点位于数据点之间的情况。Pandas还能自动忽略NaN值，简化数据清洗流程。此外，通过`groupby().quantile()`，可以轻松计算分组数据的分位数，为多类别数据分析提供有力支持。掌握这些方法，能有效应对从基础到高级的分位数计算需求，为数据洞察提供更深入的视角。

在Python中计算数据的分位数，主要通过NumPy和Pandas库实现。1. NumPy的percentile()函数适用于数组数据，接受数据和0到100之间的百分位数参数；2. Pandas的quantile()方法适用于DataFrame或Series，接受0到1之间的分位数参数，更适合结构化数据；3. 两者均支持插值方法设置，如linear、lower、higher、nearest和midpoint，用于处理分位点位于数据点之间的情况；4. Pandas默认忽略NaN值进行计算，而NumPy会返回NaN；5. 异常值对分位数影响有限，但极高或极低分位数时需谨慎处理；6. 使用groupby().quantile()可对分组数据分别计算分位数，适用于多类别数据分析。掌握这些方法可有效支持从基础到高级的分位数计算需求。

Python中实现数据的分位数计算，主要依赖于NumPy和Pandas这两个核心库。它们提供了直观且功能强大的函数，能让你轻松获取数据集的任意分位数，无论是单个数值序列还是复杂的数据框。

解决方案

在Python里，计算数据的分位数，最常用的方法莫过于借助NumPy库的percentile函数，以及Pandas库中DataFrame或Series对象的quantile方法。它们各自有其适用场景，但核心功能都是一致的：帮你找到数据集中特定比例点上的数值。

对于一个简单的数值列表或NumPy数组，numpy.percentile是首选。它接受数据数组和一个0到100之间的百分位数（例如，25代表25th百分位数，也就是第一四分位数）。

import numpy as np

data = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])

# 计算25th百分位数 (第一四分位数)
q1 = np.percentile(data, 25)
print(f"25th百分位数 (Q1): {q1}")

# 计算中位数 (50th百分位数)
median = np.percentile(data, 50)
print(f"中位数: {median}")

# 计算75th百分位数 (第三四分位数)
q3 = np.percentile(data, 75)
print(f"75th百分位数 (Q3): {q3}")

# 也可以同时计算多个分位数
quantiles = np.percentile(data, [25, 50, 75])
print(f"25th, 50th, 75th百分位数: {quantiles}")

如果你正在处理结构化的表格数据，比如Pandas DataFrame，那么直接使用DataFrame或Series的.quantile()方法会更加便捷。这个方法接受一个0到1之间的分位数（例如，0.25代表25th百分位数）。

import pandas as pd

df = pd.DataFrame({
    'A': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
    'B': [10, 9, 8, 7, 6, 5, 4, 3, 2, 1]
})

# 计算列'A'的25th分位数
q1_A = df['A'].quantile(0.25)
print(f"列'A'的25th分位数: {q1_A}")

# 计算整个DataFrame所有数值列的50th分位数
# 默认按列计算
median_df = df.quantile(0.5)
print(f"\nDataFrame的50th分位数:\n{median_df}")

# 同时计算多个分位数
multi_quantiles_df = df.quantile([0.25, 0.5, 0.75])
print(f"\nDataFrame的25th, 50th, 75th分位数:\n{multi_quantiles_df}")

这两个方法在实际应用中非常灵活，基本能满足你对分位数计算的绝大部分需求。

理解分位数计算中的插值方法：Python如何处理？

分位数，尤其是当数据点数量不多，或者所求分位数恰好落在两个数据点之间时，它的计算方式其实并不是唯一的。这里就涉及到“插值”的概念。NumPy的np.percentile和Pandas的.quantile都提供了interpolation（或Pandas中叫method）参数来指定这种处理方式，这对于理解结果的细微差异至关重要。

我个人在工作中就遇到过，不同工具或库计算出的同一个分位数结果略有不同，排查下来往往就是插值方法的差异。常见的插值方法有：

• 'linear' (线性插值)：这是NumPy和Pandas的默认方法。它会根据分位数的位置，在线性假设下在两个最近的数据点之间进行插值。比如，如果25th百分位数落在第2个和第3个数据点之间，它会根据距离按比例计算出一个值。这通常是统计学中最常用的方法。
• 'lower' (向下取整)：取小于或等于所需分位数位置的最近数据点。
• 'higher' (向上取整)：取大于或等于所需分位数位置的最近数据点。
• 'nearest' (最近点)：取离所需分位数位置最近的数据点。
• 'midpoint' (中点)：取'lower'和'higher'结果的平均值。

我们来看一个例子，感受一下不同插值方式的区别：

data_odd = np.array([1, 2, 3, 4, 5]) # 奇数个数据点

# 25th百分位数
print(f"数据: {data_odd}")
print(f"线性插值 (默认): {np.percentile(data_odd, 25, interpolation='linear')}") # 结果是2.0，因为25%位置在1和2之间，线性插值
print(f"向下取整: {np.percentile(data_odd, 25, interpolation='lower')}") # 结果是2
print(f"向上取整: {np.percentile(data_odd, 25, interpolation='higher')}") # 结果是2
print(f"最近点: {np.percentile(data_odd, 25, interpolation='nearest')}") # 结果是2
print(f"中点: {np.percentile(data_odd, 25, interpolation='midpoint')}") # 结果是2

data_even = np.array([1, 2, 3, 4, 5, 6]) # 偶数个数据点
# 25th百分位数
print(f"\n数据: {data_even}")
print(f"线性插值 (默认): {np.percentile(data_even, 25, interpolation='linear')}") # 结果是2.25
print(f"向下取整: {np.percentile(data_even, 25, interpolation='lower')}") # 结果是2
print(f"向上取整: {np.percentile(data_even, 25, interpolation='higher')}") # 结果是3
print(f"最近点: {np.percentile(data_even, 25, interpolation='nearest')}") # 结果是2
print(f"中点: {np.percentile(data_even, 25, interpolation='midpoint')}") # 结果是2.5

你会发现，当百分位点正好落在某个数据点上时，这些方法的结果可能相同；但一旦落在数据点之间，差异就显现出来了。理解并选择合适的插值方法，对于确保你的分位数计算结果符合特定场景的统计定义至关重要。我通常会坚持使用默认的linear，除非有明确的业务或统计要求需要采用其他方法。

处理数据中的异常值与缺失值对分位数计算的影响

在实际的数据分析工作中，数据往往不会那么“干净”。缺失值（NaN）和异常值是常态。它们对分位数计算的影响是显而易见的，而且如果不加处理，可能会导致计算结果失真，甚至直接报错。

首先说缺失值。NumPy的percentile函数在遇到数组中有NaN时，默认会返回NaN，因为它无法对非数值进行排序和计算。Pandas的quantile方法则更加智能，它默认会跳过NaN值进行计算。

data_with_nan = np.array([1, 2, np.nan, 4, 5])
# NumPy遇到NaN会返回NaN
# print(np.percentile(data_with_nan, 50)) # 这会输出nan

df_with_nan = pd.DataFrame({'C': [1, 2, np.nan, 4, 5]})
# Pandas默认跳过NaN
print(f"Pandas处理NaN后的中位数: {df_with_nan['C'].quantile(0.5)}")

虽然Pandas默认行为很方便，但在某些情况下，你可能需要更明确地处理缺失值。比如，你可以选择删除包含NaN的行（dropna()），或者用一个合理的值进行填充（fillna()），这取决于你的数据特性和分析目标。

至于异常值，它们不会直接导致计算失败，但会极大地“拉偏”你的分位数。比如，如果你有一组数据是[1, 2, 3, 4, 1000]，那么1000这个异常值会使得均值大幅度上升，但对于中位数（50th百分位数）的影响则小得多，它仍然是3。然而，如果你计算的是99th百分位数，这个1000就可能是决定性的了。

在分位数分析中，分位数本身就是一种对异常值相对稳健的统计量（特别是中位数和四分位数）。它们不像均值那样容易受到极端值的影响。但如果你在计算极高或极低分位数（如99.9th或0.1th）时，异常值的影响就会凸显出来。在这种情况下，通常的做法是：

1. 数据清洗：在计算分位数之前，先识别并处理异常值。这可能包括删除它们、替换为合理值（如均值、中位数），或者进行数据转换。
2. 分位数本身作为异常值检测工具：分位数，特别是四分位数间距（IQR = Q3 - Q1），是识别异常值的有力工具。任何超出Q1 - 1.5 * IQR和Q3 + 1.5 * IQR范围的数据点，通常被认为是潜在的异常值。

我通常会先对数据进行探索性分析，画个箱线图或者直方图，看看数据的分布和有没有明显的异常点。在确认数据质量后再进行分位数计算，这样结果才更可靠。

Python中如何计算分组数据的分位数？

在数据分析中，我们经常需要对数据进行分组，然后计算每个组的分位数，而不是整个数据集的分位数。比如，你可能想知道不同产品类别、不同地区或不同用户群体销售额的25th、50th、75th分位数。Pandas库的groupby()功能与quantile()方法结合，能非常优雅地解决这个问题。

这在实际业务分析中简直是家常便饭。比如，分析电商平台不同SKU的销售额分布，或者不同渠道的客户生命周期价值（LTV）分布，分组分位数就能提供非常细致的洞察。

来看一个具体的例子：假设我们有一个包含产品销售数据的DataFrame，我们想按产品类别计算销售额的分位数。

import pandas as pd
import numpy as np

# 模拟一些销售数据
data = {
    'Product_Category': ['Electronics', 'Books', 'Electronics', 'Books', 'Books', 'Electronics', 'Books', 'Electronics', 'Books', 'Electronics'],
    'Sales_Amount': [1200, 50, 1500, 75, 60, 1100, 90, 1800, 80, 1300]
}
df_sales = pd.DataFrame(data)

print("原始销售数据:\n", df_sales)

# 按产品类别分组，并计算每个组的销售额中位数 (50th分位数)
median_sales_by_category = df_sales.groupby('Product_Category')['Sales_Amount'].quantile(0.5)
print(f"\n按产品类别划分的销售额中位数:\n{median_sales_by_category}")

# 同时计算多个分位数 (25th, 50th, 75th)
multi_quantiles_by_category = df_sales.groupby('Product_Category')['Sales_Amount'].quantile([0.25, 0.5, 0.75])
print(f"\n按产品类别划分的销售额25th, 50th, 75th分位数:\n{multi_quantiles_by_category}")

输出结果会清晰地展示每个产品类别下销售额的分位数情况，这比看整体分位数要有用得多。

groupby().quantile()的强大之处在于，它能自动处理分组逻辑，并对每个组独立地应用分位数计算。你甚至可以对多个列进行分组，或者计算多个数值列的分位数，Pandas都能很好地支持。这种组合操作是Pandas在数据处理方面备受青睐的原因之一。在我看来，掌握groupby()是进行复杂数据分析的基石。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~