Pandas文本拼接与数值提取技巧

本文深入解析了Pandas DataFrame中高效拼接文本与提取数值的实用技巧，重点介绍了`Series.str`访问器、`str.extract`以及`str.replace`这三种核心方法。针对从文本列中提取数字并与固定文本组合的常见需求，例如将“P”与提取的数字、空格、“Stufe”与另一个提取的数字拼接成如“P8 Stufe 4”的格式，详细对比了三种方法的优劣与适用场景。通过具体示例，展示了如何利用Pandas的字符串处理功能，结合正则表达式，实现灵活强大的数据预处理。无论你是数据分析新手还是经验丰富的开发者，本文都能帮助你掌握Pandas文本处理的精髓，提升数据处理效率。

本文将深入探讨在Pandas DataFrame中，如何高效地将固定文本与从现有列中通过正则表达式提取的动态数值进行拼接。我们将详细介绍并对比使用Series.str访问器、str.extract以及str.replace这三种核心方法，以帮助用户根据具体场景选择最合适的策略，实现灵活且强大的数据处理。

在数据分析和预处理过程中，我们经常会遇到需要从某一文本列中提取特定信息（例如数字），并将其与预设的静态文本组合，生成一个新的描述性列。例如，将“P”与提取的第一个数字、空格、“Stufe”与提取的第二个数字拼接起来，形成如“P8 Stufe 4”这样的格式。直接进行字符串拼接时，如果提取结果是列表形式，需要特别注意如何正确访问列表中的元素。

场景描述与初始数据准备

假设我们有一个Pandas DataFrame，其中包含一列PROJEKT[BEZEICHNUNG]，其内容是包含数字的字符串。我们的目标是从这些字符串中提取出两个数字，并将它们与固定文本“P”和“ Stufe ”组合成一个新的列EINGRUPPIERUNG。

首先，我们模拟一些示例数据：

import pandas as pd
import re

# 示例数据
data = {
    'PROJEKT[BEZEICHNUNG]': [
        'blah 8 blah 4',
        'another 8 text 5',
        'item 8 version 5',
        'project 8 code 4',
        'group 7 level 4'
    ]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

输出：

原始DataFrame:
  PROJEKT[BEZEICHNUNG]
0        blah 8 blah 4
1     another 8 text 5
2     item 8 version 5
3     project 8 code 4
4      group 7 level 4

如果直接使用str.findall(r'\d+')，我们会得到一个Series，其中每个元素是一个包含所有匹配数字的列表：

match_lists = df['PROJEKT[BEZEICHNUNG]'].str.findall(r'\d+')
print("\n使用str.findall提取的数字列表:")
print(match_lists)

输出：

使用str.findall提取的数字列表:
0    [8, 4]
1    [8, 5]
2    [8, 5]
3    [8, 4]
4    [7, 4]
Name: PROJEKT[BEZEICHNUNG], dtype: object

直接尝试像df["EINGRUPPIERUNG"]="P",match_lists[:][0], ...这样的操作是无效的，因为它混淆了Series操作和Python列表操作。正确的做法是利用Pandas的str访问器。

方法一：利用 str 访问器处理列表元素

当str.findall返回一个包含列表的Series时，我们可以利用Series.str访问器来进一步操作这些列表中的元素。Series.str[index]允许我们按索引访问每个列表中的特定元素。

# 提取所有匹配的数字列表
match = df['PROJEKT[BEZEICHNUNG]'].str.findall(r'\d+')

# 使用str访问器获取列表的第一个和第二个元素
# 注意：这里假设每个列表至少包含两个数字
df['EINGRUPPIERUNG_Method1'] = 'P' + match.str[0] + ' Stufe ' + match.str[1]

print("\n方法一结果（使用str访问器）:")
print(df[['PROJEKT[BEZEICHNUNG]', 'EINGRUPPIERUNG_Method1']])

输出：

方法一结果（使用str访问器）:
  PROJEKT[BEZEICHNUNG] EINGRUPPIERUNG_Method1
0        blah 8 blah 4               P8 Stufe 4
1     another 8 text 5               P8 Stufe 5
2     item 8 version 5               P8 Stufe 5
3     project 8 code 4               P8 Stufe 4
4      group 7 level 4               P7 Stufe 4

注意事项：

• 此方法要求str.findall返回的每个列表都包含足够多的元素，否则访问match.str[index]时可能会引发IndexError。在实际应用中，如果数字数量不确定，需要进行错误处理或预先过滤。
• 适用于当你需要先获取所有匹配项的列表，再从中选择特定项的场景。

方法二：使用 str.extract 进行结构化提取

str.extract是Pandas中一个非常强大的方法，专门用于通过正则表达式的捕获组（capturing groups）来提取结构化数据。它直接返回一个DataFrame，其中每个捕获组对应一列。这使得后续的拼接操作变得非常简洁和直观。

# 使用str.extract提取两个数字
# 正则表达式 r'(\d+).*(\d+)' 捕获第一个和第二个数字
# expand=True 是默认值，表示返回DataFrame
match_df = df['PROJEKT[BEZEICHNUNG]'].str.extract(r'(\d+).*(\d+)', expand=True)

# 将提取的列与固定文本拼接
df['EINGRUPPIERUNG_Method2'] = 'P' + match_df[0] + ' Stufe ' + match_df[1]

print("\n方法二结果（使用str.extract）:")
print(df[['PROJEKT[BEZEICHNUNG]', 'EINGRUPPIERUNG_Method2']])

输出：

方法二结果（使用str.extract）:
  PROJEKT[BEZEICHNUNG] EINGRUPPIERUNG_Method2
0        blah 8 blah 4               P8 Stufe 4
1     another 8 text 5               P8 Stufe 5
2     item 8 version 5               P8 Stufe 5
3     project 8 code 4               P8 Stufe 4
4      group 7 level 4               P7 Stufe 4

注意事项：

• str.extract要求正则表达式中至少有一个捕获组。
• 如果正则表达式没有匹配到任何内容，对应的列将包含NaN。
• 此方法在提取多个结构化数据时表现优秀，代码可读性高。

方法三：利用 str.replace 进行模式替换

str.replace方法结合正则表达式的捕获组，可以直接将原始字符串转换为目标格式。通过在替换字符串中使用\1, \2等反向引用（backreferences），可以引用正则表达式中捕获组的内容。

# 使用str.replace和反向引用进行模式替换
df['EINGRUPPIERUNG_Method3'] = df['PROJEKT[BEZEICHNUNG]'].str.replace(
    r'.*(\d+).*(\d+).*',  # 匹配整个字符串，并捕获两个数字
    r'P\1 Stufe \2',      # 使用捕获的数字进行替换
    regex=True            # 必须设置为True以启用正则表达式替换
)

print("\n方法三结果（使用str.replace）:")
print(df[['PROJEKT[BEZEICHNUNG]', 'EINGRUPPIERUNG_Method3']])

输出：

方法三结果（使用str.replace）:
  PROJEKT[BEZEICHNUNG] EINGRUPPIERUNG_Method3
0        blah 8 blah 4               P8 Stufe 4
1     another 8 text 5               P8 Stufe 5
2     item 8 version 5               P8 Stufe 5
3     project 8 code 4               P8 Stufe 4
4      group 7 level 4               P7 Stufe 4

注意事项：

• regex=True是启用正则表达式替换的关键。
• 如果正则表达式没有匹配到整个字符串，原始字符串将保持不变。确保正则表达式能够覆盖所有需要转换的情况。
• 此方法在需要一步到位地完成提取和格式化时非常高效和简洁。

选择建议与总结

这三种方法各有优势，适用于不同的场景：

1. Series.str访问器 (match.str[0]等)：

   • 适用场景： 当你已经通过str.findall获取了所有匹配项的列表，并且需要从这些列表中精确选择特定索引的元素时。
   • 优点： 直观地处理列表中的元素。
   • 缺点： 需要确保列表长度，否则可能出错；如果匹配项数量不固定，处理会比较复杂。

2. str.extract：

   • 适用场景： 当你需要从字符串中提取多个结构化的数据片段，并将它们作为独立的列进行处理时。
   • 优点： 返回DataFrame，结构清晰，便于后续操作；正则表达式捕获组直接对应列，代码可读性好。
   • 缺点： 如果只有一个捕获组，返回的是Series，需要注意类型转换。

3. str.replace (结合反向引用)：

   • 适用场景： 当你希望一步到位地将原始字符串转换为新的格式，其中新格式的内容是原始字符串中提取出的部分时。

好了，本文到此结束，带大家了解了《Pandas文本拼接与数值提取技巧》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！