Pandas每小时出现次数统计方法

本教程旨在解决Pandas时间序列数据分析中跨日时间统计的难题，提供一种精准计算每小时出现次数的解决方案。针对排班管理、事件频率分析等场景，详细阐述如何利用Pandas处理包含`first_appear`和`last_appear`的时间区段数据，尤其关注跨越午夜的时间段。通过自定义`get_hours`函数，巧妙地将跨日时间区段分解并标记为“1 days XX:00:00”格式，确保次日小时的统计准确性。教程内容涵盖数据准备、核心逻辑实现、数据展开与聚合统计，并提供完整代码示例，助力读者轻松掌握基于Pandas的跨日时间统计方法，从而获得包含次日小时标记的完整统计结果，提升数据分析效率。

本教程详细介绍了如何利用Pandas处理时间序列数据，以实现按小时粒度统计时间区段的出现次数，并特别关注跨越午夜的区段。通过自定义函数和数据重塑技术，我们能准确标记和汇总这些跨日时间，从而获得包含次日小时标记的完整统计结果。

在数据分析和排班管理等场景中，我们经常需要统计特定时间段内事件或活动出现的频率。一个常见的挑战是，当时间区段跨越午夜（即从一天持续到第二天）时，如何准确地将其分解并计入相应日期的每小时统计中。例如，一个从晚上23:30持续到次日01:30的活动，应该被计入当前日的23:00-23:59时段，以及次日的00:00-00:59和01:00-01:59时段。本教程将提供一个基于Pandas的解决方案，能够优雅地处理这类问题。

场景描述

假设我们有一组时间区段数据，包含每个事件的开始时间（first_appear）和结束时间（last_appear）。我们需要统计每个小时（以00:00:00、01:00:00等表示）被这些区段覆盖的次数。特别地，如果一个区段跨越了午夜，例如从23:34:20到6:11:00，那么次日的00:00:00到06:00:00这些小时也应该被正确计数，并标记为“1 days XX:00:00”的形式，以区分当前日期的同名小时。

以下是我们的示例数据：

first_appear	last_appear
12:10:00	12:31:00
12:33:49	13:29:12
15:30:20	18:40:30
20:12:20	23:10:20
23:34:20	6:11:00

解决方案实现

我们的解决方案将分步进行：数据准备、定义核心逻辑处理时间区段（尤其是跨日区段）、应用逻辑并展开数据、最后进行聚合统计和结果补全。

1. 数据准备

首先，我们需要将时间字符串转换为Pandas的Timedelta类型，这有助于我们进行时间计算和比较。

import pandas as pd
import numpy as np

# 示例数据
data = {
    'first_appear': ['12:10:00', '12:33:49', '15:30:20', '20:12:20', '23:34:20'],
    'last_appear': ['12:31:00', '13:29:12', '18:40:30', '23:10:20', '6:11:00']
}
df = pd.DataFrame(data)

# 将时间字符串转换为Timedelta类型
df["first_appear"] = pd.to_timedelta(df["first_appear"])
df["last_appear"] = pd.to_timedelta(df["last_appear"])

print("原始数据（Timedelta格式）：")
print(df)

2. 核心逻辑：处理时间区段

我们将定义一个函数get_hours，它接收每一行数据（一个时间区段），并返回该区段所覆盖的所有小时的起始点（以Timedelta表示）。这个函数的关键在于如何识别和处理跨越午夜的区段。

def get_hours(row):
    out = []
    # 获取区段的起始小时和结束小时的起始点
    # floor("1h") 将时间向下取整到最接近的小时
    start_hour = row["first_appear"].floor("1h")
    end_hour = row["last_appear"].floor("1h")

    # 判断是否为跨日区段：如果结束时间小于开始时间，则表示跨日
    if row["last_appear"] < row["first_appear"]:
        # 处理当前日的部分：从开始小时到午夜前
        # pd.timedelta_range的stop是排他的，所以这里到'24:00:00'会包含23:00:00
        out.extend(
            pd.timedelta_range(
                start_hour,
                "24:00:00",
                freq="1H",
            )
        )
        # 处理次日的部分：从午夜开始到结束小时
        # 通过添加 pd.Timedelta("1 day") 来明确标记为次日的小时
        out.extend(
            pd.timedelta_range(
                "00:00:00",
                end_hour,
                freq="1H",
            )
            + pd.Timedelta("1 day")
        )
    else:
        # 处理非跨日区段：直接从开始小时到结束小时
        out.extend(
            pd.timedelta_range(
                start_hour,
                end_hour,
                freq="1H",
            )
        )
    return out

get_hours函数详解：

• floor("1h"): 这一步非常关键。它将任何时间（例如12:10:00或12:33:49）向下取整到该小时的起始点（例如12:00:00）。这确保了我们统计的是每个小时的整点。
• 跨日判断 row["last_appear"] < row["first_appear"]: 这是识别跨日区段的简单而有效的方法。例如，23:34:20到6:11:00，6:11:00作为Timedelta会小于23:34:20。
• pd.timedelta_range: 用于生成一系列按指定频率递增的Timedelta对象。stop参数是排他的，这意味着生成的序列不包含stop本身，但会包含stop之前的最后一个符合频率的Timedelta。
  • 对于跨日区段的当前日部分，我们从start_hour生成到"24:00:00"，这会包含23:00:00。
  • 对于跨日区段的次日部分，我们从"00:00:00"生成到end_hour。
  • + pd.Timedelta("1 day"): 这是将次日小时明确标记为“1天后”的关键步骤。例如，00:00:00加上一天会变成1 days 00:00:00。

3. 整合与统计

现在我们将get_hours函数应用到DataFrame的每一行，然后使用explode方法将每个区段生成的小时列表展开成单独的行。最后，通过groupby和count来统计每个小时的出现次数，并使用reindex来填充任何未被覆盖的小时，确保结果的完整性。

# 应用get_hours函数，生成包含小时列表的新列
df = df.assign(hours=df.apply(get_hours, axis=1))

# 展开hours列表，使每个小时成为独立的一行
df = df.explode("hours")

# 按小时分组并计数
# 由于explode后，每个'hours'值代表一次出现，因此直接对'hours'列计数即可
df = df.groupby("hours")["hours"].count()

# 重新索引以包含所有可能的小时，并用0填充未出现的时段
# 范围从00:00:00到最大出现的小时，确保覆盖所有跨日情况
df = df.reindex(pd.timedelta_range("00:00:00", df.index.max(), freq="1H"), fill_value=0)

print("\n最终每小时出现次数统计：")
print(df)

完整代码示例

import pandas as pd
import numpy as np

# 示例数据
data = {
    'first_appear': ['12:10:00', '12:33:49', '15:30:20', '20:12:20', '23:34:20'],
    'last_appear': ['12:31:00', '13:29:12', '18:40:30', '23:10:20', '6:11:00']
}
df = pd.DataFrame(data)

# 1. 数据准备：将时间字符串转换为Timedelta类型
df["first_appear"] = pd.to_timedelta(df["first_appear"])
df["last_appear"] = pd.to_timedelta(df["last_appear"])

# 2. 定义核心逻辑函数，处理时间区段并标记跨日小时
def get_hours(row):
    out = []
    start_hour = row["first_appear"].floor("1h")
    end_hour = row["last_appear"].floor("1h")

    if row["last_appear"] < row["first_appear"]:
        # 处理当前日部分
        out.extend(
            pd.timedelta_range(
                start_hour,
                "24:00:00",
                freq="1H",
            )
        )
        # 处理次日部分，并添加一天标记
        out.extend(
            pd.timedelta_range(
                "00:00:00",
                end_hour,
                freq="1H",
            )
            + pd.Timedelta("1 day")
        )
    else:
        # 处理非跨日区段
        out.extend(
            pd.timedelta_range(
                start_hour,
                end_hour,
                freq="1H",
            )
        )
    return out

# 3. 应用函数，展开数据，进行聚合统计和结果补全
df = (
    df.assign(hours=df.apply(get_hours, axis=1)) # 应用get_hours函数
    .explode("hours")                           # 展开小时列表
    .groupby("hours")["hours"]                  # 按小时分组
    .count()                                    # 计数
)

# 重新索引以包含所有可能的小时，并用0填充未出现的时段
df = df.reindex(pd.timedelta_range("00:00:00", df.index.max(), freq="1H"), fill_value=0)

print("最终每小时出现次数统计：")
print(df)

结果解读与注意事项

上述代码将输出如下结果：

最终每小时出现次数统计：
0 days 00:00:00    0
0 days 01:00:00    0
0 days 02:00:00    0
0 days 03:00:00    0
0 days 04:00:00    0
0 days 05:00:00    0
0 days 06:00:00    0
0 days 07:00:00    0
0 days 08:00:00    0
0 days 09:00:00    0
0 days 10:00:00    0
0 days 11:00:00    0
0 days 12:00:00    2  # 12:10-12:31 和 12:33-13:29 都覆盖了12点
0 days 13:00:00    1  # 12:33-13:29 覆盖了13点
0 days 14:00:00    0
0 days 15:00:00    1  # 15:30-18:40 覆盖了15点
0 days 16:00:00    1  # 15:30-18:40 覆盖了16点
0 days 17:00:00    1  # 15:30-18:40 覆盖了17点
0 days 18:00:00    1  # 15:30-18:40 覆盖了18点
0 days 19:00:00    0
0 days 20:00:00    1  # 20:12-23:10 覆盖了20点
0 days 21:00:00    1  # 20:12-23:10 覆盖了21点
0 days 22:00:00    1  # 20:12-23:10 覆盖了22点
0 days 23:00:00    2  # 20:12-23:10 和 23:34-6:11 都覆盖了23点
1 days 00:00:00    2  # 23:34-6:11 跨日到0点，以及另一个隐含的跨日情况（如果存在）
1 days 01:00:00    1  # 23:34-6:11 跨日到1点
1 days 02:00:00    1  # 23:34-6:11 跨日到2点
1 days 03:00:00    1  

本篇关于《Pandas每小时出现次数统计方法》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！