Pandas添加文件名列的实用方法

**Pandas 为 DataFrame 添加文件名列方法：快速掌握文档-词项矩阵构建与文件名列添加技巧** 还在为如何使用 Pandas 创建文档-词项矩阵并添加文件名列而烦恼吗？本文将为你详细解读。本文深入探讨了如何利用 Pandas 库，结合 `sklearn` 和 `pathlib` 库，轻松创建文档-词项矩阵，并巧妙地将文件名添加到 DataFrame 中，作为索引或单独的列。通过清晰的代码示例，一步步讲解如何获取文件名、去除文件后缀，并将其整合到 DataFrame 中。无论你是自然语言处理新手还是数据分析爱好者，都能快速掌握这些实用技巧，提升文本数据处理效率，为后续的分析和可视化打下坚实基础。了解更多关于 Pandas DataFrame 文件名列添加的实用技巧，请继续阅读。

本文介绍了如何使用 Pandas 创建一个文档-词项矩阵，并为 DataFrame 添加包含文件名的列。通过示例代码，详细讲解了如何利用 pathlib 库获取文件名，并将其设置为 DataFrame 的索引或单独的列，同时展示了如何去除文件名后缀，方便后续数据分析和可视化。

在自然语言处理和文本分析中，经常需要将文本数据转换为数值型数据，以便进行后续的分析和建模。文档-词项矩阵（Document-Term Matrix）是一种常用的表示方法，它将文档集合表示为一个矩阵，其中每一行代表一个文档，每一列代表一个词项，矩阵中的元素表示该词项在对应文档中出现的频率或权重。

本文将介绍如何使用 Pandas 库创建一个文档-词项矩阵，并为 DataFrame 添加包含文件名的列。

创建文档-词项矩阵

首先，我们需要读取文本文件，并使用 CountVectorizer 将其转换为文档-词项矩阵。以下是一个示例代码：

from sklearn.feature_extraction.text import CountVectorizer
from pathlib import Path
import pandas as pd
import re

# 指定文本文件所在的目录
corpus_dir = "/Users/MyPath/files"

# 创建一个列表，用于存储所有文本文件的路径
corpus = []

# 使用 pathlib 库获取指定目录下所有 .txt 文件的路径
for file in Path(corpus_dir).rglob("*.txt"):
    corpus.append(file.parent / file.name)

# 对文件路径进行排序
corpus.sort()

# 创建一个列表，用于存储所有文档的内容
all_documents = []
for file_path in corpus:
    with open(file_path) as f:
        file_content = f.read()
        # 使用正则表达式去除文本中的非字母字符
        file_content = re.sub('[^A-Za-z]', ' ', file_content)
    all_documents.append(file_content)

# 创建 CountVectorizer 对象，并指定停用词
count_vect = CountVectorizer(stop_words="english")

# 使用 fit_transform 方法将文档转换为词项矩阵
count_matrix = count_vect.fit_transform(all_documents)

# 将词项矩阵转换为数组
count_array = count_matrix.toarray()

# 创建 DataFrame 对象，并将文件名作为索引
allDataframe = pd.DataFrame(data=count_array, columns=count_vect.get_feature_names())
print(allDataframe)
allDataframe.to_csv("Matrice_doc_term.csv")

添加文件名列

上述代码创建了一个 DataFrame，其中每一行代表一个文档，每一列代表一个词项。但是，DataFrame 的索引是默认的数字索引，我们需要将其替换为文件名。

可以使用以下方法将文件名设置为 DataFrame 的索引：

allDataframe = pd.DataFrame(data=count_array, columns=count_vect.get_feature_names(), index=corpus)

或者，如果只想使用文件名，可以使用以下代码：

allDataframe = pd.DataFrame(data=count_array, columns=count_vect.get_feature_names(), index=[f.name for f in corpus])

如果需要去除文件名后缀 .txt，可以使用以下代码：

allDataframe = pd.DataFrame(data=count_array, columns=count_vect.get_feature_names(), index=[f.stem for f in corpus])

总结

本文介绍了如何使用 Pandas 创建一个文档-词项矩阵，并为 DataFrame 添加包含文件名的列。通过示例代码，详细讲解了如何利用 pathlib 库获取文件名，并将其设置为 DataFrame 的索引或单独的列，同时展示了如何去除文件名后缀。这些技巧可以帮助你更好地处理文本数据，并进行后续的分析和可视化。

注意事项：

• 确保文本文件所在的目录路径正确。
• 根据实际需求选择合适的文件名处理方式（例如，是否需要去除后缀）。
• CountVectorizer 的参数可以根据具体情况进行调整，例如，可以指定词频的下限和上限，或者使用不同的分词器。

终于介绍完啦！小伙伴们，这篇关于《Pandas添加文件名列的实用方法》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识，快来关注吧！