Pandas动态拆分相同分隔符列方法

本文主要讲解如何使用 Pandas DataFrame 动态拆分包含相同分隔符的多个列，例如冒号（:）。 针对需要重复编写 `str.split()` 代码的问题，我们提出了一种高效简洁的解决方案。该方案结合了列表推导式和 `pd.concat()` 函数，能够动态地对指定列进行拆分，并自动生成易于识别的新列名，如 `原列名_序号`。 通过示例代码，详细展示了如何利用该方法处理包含 `TALK_TIME` 和 `CONSULT_TIME` 等字段的数据，并提供了完整的代码示例。此外，文章还分享了注意事项，包括数据清洗、列名冲突处理以及性能优化等，帮助读者更好地理解和应用该技术。 掌握此技巧，能显著提高数据处理效率，简化 Pandas DataFrame 的操作流程。

本文旨在解决 Pandas DataFrame 中，当需要根据相同分隔符（例如冒号 :）拆分多个列时，如何避免重复编写 str.split() 代码的问题。 通过结合列表推导式和 pd.concat() 函数，可以实现对多个列的动态拆分，并自动生成新的列名。这种方法不仅简洁高效，而且易于维护和扩展。

首先，我们需要准备一些示例数据：

import pandas as pd

data = {
    'DATE': ['2023-11-21', '2023-11-21', '2023-11-21', '2023-11-21', '2023-11-21'],
    'TALK_TIME': [None, '00:04:16', None, '00:24:30', '00:04:08'],
    'CONSULT_TIME': ['05:10', None, None, None, None]
}

df = pd.DataFrame(data)
print(df)

接下来，定义需要拆分的列的列表：

cols = ['TALK_TIME', 'CONSULT_TIME']

现在，使用列表推导式和 str.split() 函数来拆分这些列。str.split() 函数的 expand=True 参数会将拆分后的结果扩展为新的列。同时，使用 rename() 函数自动生成新的列名，格式为 原列名_序号。

lst = [df[col].str.split(':', expand=True)
       .rename(columns=lambda x: f'{col}_{x+1}')
       for col in cols
      ]
print(lst)

最后，使用 pd.concat() 函数将拆分后的列与原始 DataFrame 合并。axis=1 参数表示按列合并。同时，使用 df.drop() 函数删除原始的需要拆分的列。

out = pd.concat([df.drop(columns=cols)]+lst, axis=1)
print(out)

完整代码如下：

import pandas as pd

data = {
    'DATE': ['2023-11-21', '2023-11-21', '2023-11-21', '2023-11-21', '2023-11-21'],
    'TALK_TIME': [None, '00:04:16', None, '00:24:30', '00:04:08'],
    'CONSULT_TIME': ['05:10', None, None, None, None]
}

df = pd.DataFrame(data)

cols = ['TALK_TIME', 'CONSULT_TIME']

lst = [df[col].str.split(':', expand=True)
       .rename(columns=lambda x: f'{col}_{x+1}')
       for col in cols
      ]

out = pd.concat([df.drop(columns=cols)]+lst, axis=1)

print(out)

注意事项：

• 确保需要拆分的列包含分隔符。如果列中没有分隔符，str.split() 函数将返回原始列的值。
• pd.concat() 函数的 axis 参数需要根据实际情况进行调整。如果需要按行合并，则应设置为 axis=0。
• 如果原始 DataFrame 中存在与新列名冲突的列，需要先进行重命名。
• 在处理大型 DataFrame 时，可以考虑使用 dask 等分布式计算框架来提高效率。

总结：

通过使用循环和列表推导式，可以动态地拆分 Pandas DataFrame 中包含相同分隔符的多个列。这种方法不仅简洁高效，而且易于维护和扩展。在实际应用中，可以根据具体需求进行调整和优化。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~