Pandas实战：按结尾标点复制行并清理标点

本文揭秘了一种高效、向量化的Pandas文本预处理技巧：自动识别以问号、句号或感叹号结尾的文本行，一键复制并生成去标点版本，既实现轻量级数据增强，又完成规范化清洗——无需循环、不依赖复杂正则，仅用三步简洁代码即可处理百万级数据，大幅提升NLP任务中模型对表达变体的鲁棒性，是数据工程师和算法研究员不可错过的实用干货。

本文介绍如何使用 Pandas 高效识别并复制以问号、句号或感叹号结尾的行，同时生成去除末尾标点的新行，实现数据增强与规范化预处理。

本文介绍如何使用 Pandas 高效识别并复制以问号、句号或感叹号结尾的行，同时生成去除末尾标点的新行，实现数据增强与规范化预处理。

在自然语言处理（NLP）或文本清洗任务中，常需对带有标点结尾的样本进行数据扩展——例如，将 "Hi!" 同时保留原样和去标点形式 "Hi"，以提升模型对不同表达变体的鲁棒性。Pandas 提供了简洁高效的向量化操作来完成这一任务，无需循环，也无需正则匹配整个字符串。

核心思路是三步走：

1. 筛选：定位所有 msg 列以 ?、. 或 ! 结尾的行；
2. 清洗：对这些行的 msg 字符串统一截去最后一个字符（因目标标点均位于末尾，且仅占 1 位）；
3. 合并：将清洗后的子集追加到原始 DataFrame 底部，保持原有索引并自动重排。

以下是完整可运行代码示例：

import pandas as pd

# 构造示例数据
df = pd.DataFrame({
    'msg': ["hello", "hi!", "What?", "OK.", "test"],
    'label': [1, 0, 2, 3, 4]
})

# 步骤1：筛选以 ?, ., ! 结尾的行（注意：str.endswith 接受元组）
mask = df['msg'].str.endswith(('?', '.', '!'))
punc_rows = df[mask].copy()

# 步骤2：批量移除末尾标点（安全截取：str[:-1]）
punc_rows['msg'] = punc_rows['msg'].str[:-1]

# 步骤3：纵向拼接（axis=0），忽略索引重复问题（可选 reset_index(drop=True)）
result = pd.concat([df, punc_rows], axis=0, ignore_index=True)

print(result)

输出结果：

     msg  label
0  hello      1
1    hi!      0
2  What?      2
3    OK.      3
4   test      4
5     hi      0
6   What      2
7     OK      3

✅ 关键注意事项：

• str.endswith() 支持元组参数 ('?', '.', '!')，比链式 | 条件更简洁、可读性更强；
• 使用 .copy() 避免 SettingWithCopyWarning；
• str[:-1] 在字符串为空或单字符时仍安全（空串返回空串，单标点返回空串），但若业务要求严格校验长度，可前置添加 str.len() > 0 过滤；
• pd.concat(..., ignore_index=True) 推荐启用，避免索引重复影响后续操作（如 .iloc 定位）；
• 若需保留原始顺序（如让新增行紧邻原行下方），可借助 pd.concat + 自定义排序逻辑，但多数场景下 ignore_index=True 已满足需求。

该方法时间复杂度为 O(n)，完全向量化，适用于百万级文本行的批量处理，是文本预处理流水线中轻量而可靠的实用技巧。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Pandas实战：按结尾标点复制行并清理标点》文章吧，也可关注golang学习网公众号了解相关技术文章。