Python高效统计排序大型商品数据集技巧

本文介绍了利用Python高效统计和排序大型商品数据集的方法。通过`collections.Counter`对象，代码能够快速统计相同商品标题、颜色、尺码的商品数量，并计算每个标题下所有商品的总数量。最终结果按总数量降序排列，并附带详细代码示例，有效解决了大型数据集处理效率问题，适用于电商、库存管理等需要处理海量商品数据的场景。 关键词：Python, 数据统计, 数据排序, 大型数据集, 商品数据, collections.Counter

利用Python高效处理和排序大型商品数据集

本文演示如何将一个包含商品信息的列表高效地转换为另一个包含商品统计信息并按特定规则排序的列表。原始数据包含商品标题、颜色、尺码和数量，目标是统计相同标题、颜色和尺码的商品数量，并计算每个标题下所有商品的总数量，最终结果按总数量降序排列。

示例原始数据：

data = [
    ('连衣裙', '白色', 'S', 1),
    ('连衣裙', '白色', 'S', 1),
    ('连衣裙', '黑色', 'M', 1),
    ('裤子', '白色', 'S', 1),
]

目标输出格式：

result = [
    ('连衣裙', '白色', 'S', 2, 3),
    ('连衣裙', '黑色', 'M', 1, 3),
    ('裤子', '白色', 'S', 1, 1),
]

其中，最后一个数字代表该标题下所有商品的总数量。为了高效处理大型数据集，我们将使用Python的collections.Counter对象进行计数。

以下代码实现了这一功能：

from collections import Counter

data = [
    ('连衣裙', '白色', 'S', 1),
    ('连衣裙', '白色', 'S', 1),
    ('连衣裙', '黑色', 'M', 1),
    ('裤子', '白色', 'S', 1),
]

# 使用Counter统计每个(标题, 颜色, 尺码)组合的数量
item_counts = Counter(tuple(item[:-1]) for item in data)

# 使用Counter统计每个标题的总数量
title_totals = Counter(item[0] for item in data)

# 创建结果列表，包含标题、颜色、尺码、数量和标题总数量
result = [
    (*item, count, title_totals[item[0]])
    for item, count in item_counts.items()
]

# 按标题总数量降序排序，然后按标题、颜色、尺码升序排序
result.sort(key=lambda x: (-x[4], x[0], x[1], x[2]))

print(result)

这段代码首先利用Counter高效地统计每个商品组合和每个标题的出现次数。然后，它构造一个新的列表，包含所有必要的信息，并根据总数量进行排序。这种方法充分利用了Counter的效率，能够轻松处理包含数千条甚至更多记录的大型数据集。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Python高效统计排序大型商品数据集技巧》文章吧，也可关注golang学习网公众号了解相关技术文章。