Pandas条件替换与字符分组技巧

本文深入探讨了 Pandas 中条件替换与分组字符处理的实用技巧，尤其聚焦于如何巧妙运用 `groupby` 函数与字符串操作，针对 DataFrame 列中的特定字符进行精准替换。文章通过实例演示，展示了基于 'ACCOUNT' 列分组，将 'ASSET_CLASS' 列中的 "XX" 替换为递增数字，并动态调整资产类别名称的方法。同时，针对更复杂的场景，例如同一账户下存在多种资产类别时，文章也提供了更为精细的分组策略。掌握这些技巧，能有效提升数据处理效率，助力开发者应对各种复杂的数据转换任务。

本文介绍了如何使用 Pandas 的 groupby 功能，并结合字符串处理，根据条件替换 DataFrame 列中的特定字符。具体来说，我们将根据 'ACCOUNT' 列进行分组，然后将 'ASSET_CLASS' 列中的 "XX" 替换为递增的两位数字，并根据替换的数字修改资产类别名称，例如将 "FI CHF" 替换为 "FI CHF Gov" 或 "FI CHF Corporate"。此外，还介绍了当一个账户同时拥有 CHF 和 EUR 资产时，如何使用更精细的分组策略来实现相同的替换逻辑。

基于 Groupby 的字符串替换

在 Pandas 中，经常需要根据分组对数据进行转换。本节将演示如何使用 groupby 和字符串操作来替换 DataFrame 中特定列的字符，并根据替换结果修改其他字符串。

示例 DataFrame

首先，我们创建一个示例 DataFrame：

import pandas as pd

df = pd.DataFrame({
    'ACCOUNT': [1, 1, 2, 2],
    'ASSET_CLASS': ['11201XX FI CHF', '11201XX FI CHF',
                    '12201XX FI EUR', '12201XX FI EUR',
                   ],
})

print(df)

输出:

   ACCOUNT ASSET_CLASS
0        1  11201XX FI CHF
1        1  11201XX FI CHF
2        2  12201XX FI EUR
3        2  12201XX FI EUR

替换 "XX" 并修改资产类别名称

以下代码演示了如何基于 'ACCOUNT' 列进行分组，并将 'ASSET_CLASS' 列中的 "XX" 替换为递增的两位数字，同时修改资产类别名称。

s1 = df.groupby('ACCOUNT').cumcount().add(1).astype('str').str.zfill(2)
m = {'01': ' Gov', '02': ' Corporate'}
s2 = df['ASSET_CLASS'].str.split('XX')
df['ASSET_CLASS'] = s2.str[0] + s1 + s2.str[1] + s1.map(m)

print(df)

代码解释：

1. df.groupby('ACCOUNT').cumcount(): 根据 'ACCOUNT' 列进行分组，并计算每个组内的累计计数。
2. .add(1): 将累计计数加 1，因为我们希望从 1 开始计数。
3. .astype('str').str.zfill(2): 将计数转换为字符串，并使用 zfill(2) 填充前导零，确保所有数字都是两位数。例如，1 变为 "01"，2 变为 "02"。
4. m = {'01': ' Gov', '02': ' Corporate'}: 创建一个字典，用于将替换的数字映射到相应的资产类别名称后缀。
5. s2 = df['ASSET_CLASS'].str.split('XX'): 将 'ASSET_CLASS' 列中的字符串按照 "XX" 分割成两部分。
6. df['ASSET_CLASS'] = s2.str[0] + s1 + s2.str[1] + s1.map(m): 将分割后的字符串、替换的数字和资产类别名称后缀拼接在一起，更新 'ASSET_CLASS' 列。

输出：

   ACCOUNT         ASSET_CLASS
0        1  1120101 FI CHF Gov
1        1  1120102 FI CHF Corporate
2        2  1220101 FI EUR Gov
3        2  1220102 FI EUR Corporate

处理一个账户拥有多种资产类别的情况

如果一个账户同时拥有多种资产类别（例如 CHF 和 EUR），则需要更精细的分组策略。以下示例演示了如何处理这种情况。

示例 DataFrame

df = pd.DataFrame({
    'ACCOUNT': [1, 1, 1, 1, 2, 2],
    'ASSET_CLASS': ['11201XX FI CHF', '11201XX FI CHF',
                    '12201XX FI EUR', '12201XX FI EUR',
                    '12201XX FI EUR', '12201XX FI EUR',
                   ],
})

print(df)

输出:

   ACCOUNT ASSET_CLASS
0        1  11201XX FI CHF
1        1  11201XX FI CHF
2        1  12201XX FI EUR
3        1  12201XX FI EUR
4        2  12201XX FI EUR
5        2  12201XX FI EUR

基于账户和资产类别进行分组

以下代码演示了如何基于 'ACCOUNT' 和资产类别进行分组，并将 'ASSET_CLASS' 列中的 "XX" 替换为递增的两位数字，同时修改资产类别名称。

s1 = df.groupby(['ACCOUNT', df['ASSET_CLASS'].str.split(' ').str[-1]]).cumcount() \
       .add(1).astype('str').str.zfill(2)
m = {'01': ' Gov', '02': ' Corporate'}
s2 = df['ASSET_CLASS'].str.split('XX')
df['ASSET_CLASS'] = s2.str[0] + s1 + s2.str[1] + s1.map(m)

print(df)

代码解释：

1. df.groupby(['ACCOUNT', df['ASSET_CLASS'].str.split(' ').str[-1]]): 根据 'ACCOUNT' 列和 'ASSET_CLASS' 列的最后一个单词（即资产类别）进行分组。df['ASSET_CLASS'].str.split(' ').str[-1] 用于提取资产类别。
2. 其余步骤与前面的示例相同，用于计算累计计数、替换 "XX" 和修改资产类别名称。

输出：

   ACCOUNT         ASSET_CLASS
0        1  1120101 FI CHF Gov
1        1  1120102 FI CHF Corporate
2        1  1220101 FI EUR Gov
3        1  1220102 FI EUR Corporate
4        2  1220101 FI EUR Gov
5        2  1220102 FI EUR Corporate

总结

本文介绍了如何使用 Pandas 的 groupby 功能和字符串操作，根据条件替换 DataFrame 列中的特定字符。通过灵活运用 groupby 和字符串处理函数，可以实现各种复杂的数据转换任务。在实际应用中，需要根据具体的数据结构和业务需求选择合适的分组策略和替换逻辑。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Pandas条件替换与字符分组技巧》文章吧，也可关注golang学习网公众号了解相关技术文章。