Python处理CSV：删行、转分隔符与编码转换

从现在开始，努力学习吧！本文《Python清洗CSV数据：删除行、转换分隔符与编码》主要讲解了等等相关知识点，我会在golang学习网中持续更新相关的系列文章，欢迎大家关注并积极留言建议。下面就先一起来看一下本篇正文内容吧，希望能帮到你！

本教程详细介绍了如何使用Python的`csv`模块对CSV文件进行数据清洗和格式转换。内容涵盖了如何删除特定行、替换数据字段内的字符、更改文件分隔符以及实现UTF-16到UTF-8的编码转换。通过逐行处理数据，本教程提供了一个高效且内存友好的解决方案，并纠正了常见的编程错误，旨在帮助用户构建健壮的CSV处理脚本。

引言：CSV文件处理的常见挑战

在数据处理工作中，CSV（逗号分隔值）文件因其简洁性而广泛应用。然而，由于数据来源的多样性，我们经常需要对CSV文件进行清洗、格式化和编码转换。这可能包括删除不必要的行、统一分隔符、替换特定字符，以及处理不同的文件编码。本教程将通过一个具体的案例，详细讲解如何利用Python的csv模块高效地完成这些任务。

核心需求分析

假设我们有一个名为input.csv的CSV文件，需要对其进行以下转换以生成一个新的output.csv文件：

1. 删除前导无效行： 移除文件开头的一些空行或包含无效数据的行（例如，只有连字符的行）。
2. 添加新文件头： 在输出文件中加入自定义的列标题。
3. 更改分隔符： 将原始的逗号(,)分隔符替换为分号(;)。
4. 替换字段内字符： 将数据字段中所有的连字符(-)替换为分号(;)。
5. 编码转换： 将原始文件的UTF-16编码转换为UTF-8编码。
6. 生成新文件： 在保留原文件的同时，创建一个处理后的新文件。

Python csv模块基础

Python内置的csv模块是处理CSV文件的强大工具。它能够妥善处理各种分隔符、引号规则和换行符，避免了手动解析文本可能遇到的复杂问题。

• csv.reader(file_object, delimiter)：用于读取CSV文件，delimiter参数指定输入文件的分隔符。
• csv.writer(file_object, delimiter, newline='')：用于写入CSV文件，delimiter参数指定输出文件的分隔符。newline=''是推荐设置，用于防止在Windows系统上写入额外的空行。

解决方案：逐步实现CSV文件转换

我们将构建一个Python脚本，以流式处理的方式（即逐行读取和写入）来完成上述所有需求，从而避免将整个文件加载到内存中，这对于处理大型文件尤其重要。

1. 文件打开与编码处理

首先，我们需要同时打开输入文件和输出文件。输入文件使用其原始编码（UTF-16），而输出文件则指定为目标编码（UTF-8）。使用单个with语句管理多个文件句柄是最佳实践，确保文件在处理完成后被正确关闭。

import csv

input_file_path = 'input.csv'
output_file_path = 'output.csv'
new_header = ['column1', 'column2', 'column3', 'column4', 'column5', 'column6', 'column7', 'column8']

with open(input_file_path, 'r', encoding="utf-16") as read_file, \
     open(output_file_path, 'w', newline='', encoding="utf-8") as write_file:

    reader = csv.reader(read_file, delimiter=",")
    writer = csv.writer(write_file, delimiter=";")

    # 写入新文件头
    writer.writerow(new_header)

    # 后续处理逻辑将在此处添加

2. 过滤无效行

原始文件可能包含空行、只有连字符的行或其他无效数据。一种简单而有效的方法是检查行的字段数量。如果一行没有逗号分隔符，csv.reader通常会将其解析为一个只包含一个元素的列表（即原始行内容作为一个字段）。我们可以利用这个特性来过滤掉这些不含有效数据的行。

    # ... (前面的文件打开和writer.writerow代码)

    for row in reader:
        # 过滤掉只有单个字段的行，这些行通常是空行或不含分隔符的无效行
        if len(row) == 1 and not row[0].strip(): # 进一步检查是否为空字符串
            continue

        # 也可以根据更具体的模式过滤，例如只包含连字符的行
        # if len(row) == 1 and all(c == '-' for c in row[0].strip()):
        #     continue

        # 假设前10行是无效的，也可以使用enumerate硬编码跳过
        # if reader.line_num <= 10: # line_num从1开始计数
        #     continue

        # 后续的数据处理和写入逻辑将在此处添加

3. 数据字段内字符替换与写入

在处理每一行数据时，我们需要遍历该行的每个字段，并将字段内的连字符(-)替换为分号(;)。这可以通过列表推导式高效完成。完成替换后，将新行写入输出文件。

    # ... (前面的文件打开、writer.writerow和过滤逻辑)

    for row in reader:
        # 过滤逻辑 (同上)
        if len(row) == 1 and not row[0].strip():
            continue

        # 替换数据字段中的连字符
        new_row = [field.replace('-', ';') for field in row]

        # 将处理后的行写入输出文件
        writer.writerow(new_row)

完整示例代码

将以上所有步骤整合，形成一个完整的Python脚本：

import csv

def process_csv_file(input_path, output_path, new_header_columns):
    """
    处理CSV文件，执行以下操作：
    1. 删除前导无效行（基于字段数量判断）。
    2. 添加新的文件头。
    3. 更改分隔符从逗号(,)到分号(;)。
    4. 替换数据字段中所有的连字符(-)为分号(;)。
    5. 转换文件编码从UTF-16到UTF-8。

    Args:
        input_path (str): 输入CSV文件的路径。
        output_path (str): 输出CSV文件的路径。
        new_header_columns (list): 包含新文件头列名的列表。
    """
    try:
        with open(input_path, 'r', encoding="utf-16") as read_file, \
             open(output_path, 'w', newline='', encoding="utf-8") as write_file:

            reader = csv.reader(read_file, delimiter=",")
            writer = csv.writer(write_file, delimiter=";")

            # 1. 写入新文件头
            writer.writerow(new_header_columns)

            # 2. 逐行读取、过滤、处理和写入
            for row in reader:
                # 过滤逻辑：跳过空行或只有单个字段（且内容为空或全为连字符）的行
                # 这种过滤方式假设有效数据行至少包含两个字段
                # 或者包含非空白的单个字段
                if len(row) == 0: # 真正的空行，csv.reader可能解析为[]
                    continue
                if len(row) == 1 and not row[0].strip(): # 只有一个字段且内容为空白
                    continue
                if len(row) == 1 and all(c == '-' for c in row[0].strip()): # 只有一个字段且全为连字符
                    continue

                # 3. 替换数据字段中的连字符
                processed_row = [field.replace('-', ';') for field in row]

                # 4. 写入处理后的行
                writer.writerow(processed_row)

        print(f"CSV文件处理完成：'{input_path}' 已转换为 '{output_path}'")
    except FileNotFoundError:
        print(f"错误：文件 '{input_path}' 未找到。")
    except Exception as e:
        print(f"处理文件时发生错误：{e}")

# 示例用法
input_csv_file = 'input.csv'
output_csv_file = 'output.csv'
custom_header = ['cars', 'Date', 'Daypart', 'Avg_000', 'Share'] # 根据实际数据调整列名

# 运行处理函数
process_csv_file(input_csv_file, output_csv_file, custom_header)

input.csv 示例内容 (用于测试上述代码):

empty line
empty line
empty line
empty line
empty line
------------------------------------
empty line
empty line
empty line
cars,Date,Daypart,'000 (avg),Share (excluded: Other))
car1,2022-01-01,02:00-02:00,24.459,4.3
car1,2022-01-01,02:01-02:01,20.967,3.7
car1,2022-01-01,02:02-02:02,20.967,3.8
car1,2022-01-01,02:03-02:03,13.029,2.3
car1,2022-01-01,02:04-02:04,13.029,2.3
car1,2022-01-01,02:05-02:05,10.621,1.9
car1,2022-01-01,02:06-02:06,10.621,2.0
car1,2022-01-01,02:07-02:07,10.621,2.0
car1,2022-01-01,02:08-02:08,10.621,2.0

请注意，input.csv文件需要以UTF-16编码保存。

注意事项与最佳实践

1. 错误处理：

   • AttributeError: 'list' object has no attribute 'split'： 这个错误通常发生在尝试对一个列表对象调用字符串的split()方法时。例如，lines = list(); lines.split('-')。正确的做法是对列表中的每个字符串元素单独调用split()或replace()。
   • ValueError: I/O operation on closed file.： 这个错误表明你试图在一个已经关闭的文件句柄上执行I/O操作。with open(...) as file:语句块会在代码块执行完毕后自动关闭文件。若要在块外部访问文件内容，需要将内容读取到内存变量中，或重新打开文件。本教程的流式处理方法通过在同一个with块中完成所有读写，有效避免了此问题。

2. 内存效率： 本教程采用逐行处理的方式，即每次只读取一行、处理一行、写入一行。这种方法避免了将整个文件内容一次性加载到内存中，对于处理大型CSV文件至关重要，可以有效防止内存溢出。

3. 灵活性： 过滤无效行的方法可以根据实际情况进行调整。除了检查len(row)，还可以：

   • 基于行号： 使用enumerate或reader.line_num跳过固定的前N行。
   • 基于内容模式： 使用正则表达式检查行内容是否符合特定模式。
   • 基于数据类型： 尝试将某些字段转换为预期的数据类型（如float或int），如果转换失败则跳过该行。例如：

     try:
         _ = float(row[-1]) # 尝试将最后一列转换为浮点数
     except ValueError:
         continue # 如果转换失败，则跳过此行

4. 编码： 务必确保在打开文件时指定正确的encoding参数。如果原始文件编码不确定，可以尝试常见的编码（如utf-8、latin-1、gbk等），或使用chardet等库进行自动检测。

总结

通过本教程，我们学习了如何使用Python的csv模块高效、健壮地处理CSV文件。我们掌握了删除无效行、添加新文件头、更改分隔符、替换字段内字符以及转换文件编码的技巧。通过流式处理和正确的错误处理实践，我们可以构建出可靠且高性能的数据预处理脚本，以应对各种复杂的CSV数据处理需求。

终于介绍完啦！小伙伴们，这篇关于《Python处理CSV：删行、转分隔符与编码转换》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识，快来关注吧！