Python轻松读写CSV文件教程

Python读写CSV文件是数据处理的常见任务，本文提供了一份全面的攻略，助你轻松掌握CSV文件的读写技巧。通过Python内置的`csv`模块，我们可以方便地将数据转换为字符串写入CSV文件，或将CSV文件中的字符串解析为数据。文章详细讲解了如何使用`csv.reader`和`csv.writer`进行读写操作，并着重强调了编码、分隔符和引号处理的重要性，避免出现乱码或解析错误。此外，针对大型CSV文件，本文还介绍了逐行迭代和`pandas`分块读取两种高效处理方法，有效降低内存消耗。无论是处理特殊字符，还是应对编码问题，本文都提供了实用的解决方案和示例代码，让你在实际应用中游刃有余。

答案：Python通过csv模块读写CSV文件，需注意编码、分隔符和引号处理；读取时用csv.reader配合with open确保文件正确关闭，指定encoding避免乱码；写入时使用csv.writer并设置newline=''防止空行；处理特殊字符可配置delimiter、quotechar和quoting参数；对于大文件，可采用逐行迭代或pandas分块读取chunksize来降低内存消耗。

Python读写CSV文件，简单来说，就是利用csv模块，把数据变成字符串然后写入，或者把字符串解析成数据。这事儿听起来简单，但细节不少，尤其是处理编码、分隔符、引号这些问题的时候。

解决方案

Python通过内置的csv模块可以轻松地读取和写入CSV（逗号分隔值）文件。以下是基本的操作指南：

1. 读取CSV文件：

import csv

def read_csv_file(filename):
    """读取CSV文件并返回数据列表。"""
    data = []
    try:
        with open(filename, 'r', encoding='utf-8') as csvfile:
            csv_reader = csv.reader(csvfile)
            header = next(csv_reader)  # 跳过标题行，如果存在的话
            for row in csv_reader:
                data.append(row)
    except FileNotFoundError:
        print(f"文件未找到: {filename}")
    except Exception as e:
        print(f"读取文件时发生错误: {e}")
    return data

# 示例用法
csv_data = read_csv_file('example.csv')
if csv_data:
    for row in csv_data:
        print(row)

这里用了with open()，保证文件在使用完后会自动关闭，是个好习惯。encoding='utf-8'是为了处理中文或其他特殊字符，避免乱码。csv.reader会把每一行变成一个列表。next(csv_reader)跳过表头，这个根据你的文件有没有表头来决定要不要用。

2. 写入CSV文件：

import csv

def write_csv_file(filename, data, header=None):
    """将数据写入CSV文件。"""
    try:
        with open(filename, 'w', newline='', encoding='utf-8') as csvfile:
            csv_writer = csv.writer(csvfile)
            if header:
                csv_writer.writerow(header)  # 写入标题行
            csv_writer.writerows(data)  # 写入数据行
    except Exception as e:
        print(f"写入文件时发生错误: {e}")

# 示例用法
data_to_write = [
    ['Alice', 25, 'Engineer'],
    ['Bob', 30, 'Doctor'],
    ['Charlie', 22, 'Student']
]
header = ['Name', 'Age', 'Occupation']  # 可选
write_csv_file('output.csv', data_to_write, header)

'w'模式是写入模式，会覆盖原有文件。newline=''是为了防止写入时出现空行，在Windows系统上尤其重要。csv.writer负责把数据写入文件。writerow写入一行，writerows写入多行。

如何处理CSV文件中的特殊字符？

CSV文件里经常会有逗号、引号之类的特殊字符，这些字符如果处理不好，会导致数据解析错误。csv模块提供了quoting和quotechar参数来处理这些问题。

• quoting: 控制引号的使用。常用的值有：
  • csv.QUOTE_MINIMAL: 只有包含分隔符、引号或换行符的字段才会被引号包围。
  • csv.QUOTE_ALL: 所有字段都被引号包围。
  • csv.QUOTE_NONNUMERIC: 所有非数字字段都被引号包围。
  • csv.QUOTE_NONE: 永远不使用引号。如果字段中包含分隔符，会抛出csv.Error异常。
• quotechar: 定义引号字符，默认为双引号"。

例如，如果你的CSV文件使用竖线|作为分隔符，并且使用单引号'作为引号字符，你可以这样读取：

import csv

def read_csv_with_custom_delimiter(filename):
    """使用自定义分隔符和引号读取CSV文件。"""
    data = []
    try:
        with open(filename, 'r', encoding='utf-8') as csvfile:
            csv_reader = csv.reader(csvfile, delimiter='|', quotechar="'")
            for row in csv_reader:
                data.append(row)
    except FileNotFoundError:
        print(f"文件未找到: {filename}")
    except Exception as e:
        print(f"读取文件时发生错误: {e}")
    return data

# 示例用法
custom_csv_data = read_csv_with_custom_delimiter('custom.csv')
if custom_csv_data:
    for row in custom_csv_data:
        print(row)

写入的时候也类似，只需要在csv.writer中指定delimiter、quotechar和quoting参数即可。

如何处理大型CSV文件？

如果CSV文件非常大，一次性读取到内存可能会导致内存溢出。这时候，可以使用迭代器逐行读取，或者使用pandas库的分块读取功能。

1. 使用迭代器：

csv.reader本身就是一个迭代器，可以逐行读取数据，无需一次性加载到内存。

import csv

def process_large_csv(filename):
    """逐行处理大型CSV文件。"""
    try:
        with open(filename, 'r', encoding='utf-8') as csvfile:
            csv_reader = csv.reader(csvfile)
            header = next(csv_reader)  # 跳过标题行
            for row in csv_reader:
                # 在这里处理每一行数据
                process_row(row)
    except FileNotFoundError:
        print(f"文件未找到: {filename}")
    except Exception as e:
        print(f"读取文件时发生错误: {e}")

def process_row(row):
    """处理单行数据的函数。"""
    # 例如，打印第一列数据
    print(row[0])

# 示例用法
process_large_csv('large.csv')

2. 使用pandas分块读取：

pandas库提供了read_csv函数的chunksize参数，可以指定每次读取的行数。

import pandas as pd

def process_large_csv_with_pandas(filename, chunksize=1000):
    """使用pandas分块读取大型CSV文件。"""
    try:
        for chunk in pd.read_csv(filename, chunksize=chunksize):
            # 在这里处理每个数据块
            process_chunk(chunk)
    except FileNotFoundError:
        print(f"文件未找到: {filename}")
    except Exception as e:
        print(f"读取文件时发生错误: {e}")

def process_chunk(chunk):
    """处理数据块的函数。"""
    # 例如，打印每个数据块的行数
    print(len(chunk))

# 示例用法
process_large_csv_with_pandas('large.csv', chunksize=10000)

pandas的read_csv函数功能强大，可以处理各种复杂的CSV文件格式。chunksize参数指定了每次读取的行数，可以根据你的内存大小进行调整。

如何避免CSV文件读写中的编码问题？

编码问题是CSV文件读写中常见的坑。如果CSV文件使用了非UTF-8编码，读取时可能会出现乱码。为了避免这个问题，应该始终指定正确的编码方式。

• 读取文件时，指定encoding参数：

  with open(filename, 'r', encoding='gbk') as csvfile:  # 例如，使用GBK编码
      csv_reader = csv.reader(csvfile)
      # ...

  常用的编码方式有utf-8、gbk、gb2312、latin1等。如果不知道文件的编码方式，可以尝试使用chardet库进行检测。

• 写入文件时，同样指定encoding参数：

  with open(filename, 'w', newline='', encoding='utf-8') as csvfile:
      csv_writer = csv.writer(csvfile)
      # ...

  保持读取和写入的编码方式一致，可以避免乱码问题。

总的来说，Python读写CSV文件并不难，但需要注意细节，尤其是处理特殊字符和编码问题。使用csv模块提供的各种参数，以及pandas库的分块读取功能，可以轻松地处理各种复杂的CSV文件。记住，实践是检验真理的唯一标准，多写代码，多踩坑，才能真正掌握这些技巧。

以上就是《Python轻松读写CSV文件教程》的详细内容，更多关于Python,编码,csv文件,读写,Pandas的资料请关注golang学习网公众号！