Python读取CSV文件全攻略

本文详细介绍了使用Python读取CSV文件的各种实用技巧，重点讲解了如何利用`csv`模块高效处理CSV数据。从基础的`csv.reader()`用法入手，强调了异常处理和编码设置的重要性，避免中文乱码问题。针对大型CSV文件，提出了使用`pandas`库的`chunksize`参数进行分块读取，有效降低内存占用。此外，还提供了解决CSV文件常见编码问题的方案，包括尝试不同的`encoding`参数和使用`chardet`库自动检测编码。针对不规范数据，讲解了如何跳过错误行或使用`csv.DictReader`将CSV数据转换为字典格式，方便按字段名访问数据。掌握这些技巧，能让你轻松应对各种CSV文件读取需求，提升数据处理效率。

1.使用csv模块读取CSV文件，通过csv.reader()处理逗号分隔，注意异常处理和编码设置。2.处理大型CSV文件应使用pandas的chunksize参数分块读取，降低内存占用。3.解决编码问题可尝试不同encoding参数或用chardet库自动检测编码。4.跳过错误行可在读取时用try-except捕获异常或检查行长度。5.转换CSV数据为字典格式使用csv.DictReader，方便通过字段名访问数据。

Python读取CSV文件，其实核心就是利用csv模块，简单易用，是数据分析的入门必备技能。

import csv

def read_csv_file(file_path):
    """
    读取CSV文件并返回数据列表。

    Args:
        file_path (str): CSV文件路径。

    Returns:
        list: CSV文件中的数据，每一行是一个列表。
    """
    data = []
    try:
        with open(file_path, 'r', encoding='utf-8') as file:
            csv_reader = csv.reader(file)
            header = next(csv_reader) # 读取标题行
            for row in csv_reader:
                data.append(row)
    except FileNotFoundError:
        print(f"错误：文件 '{file_path}' 未找到。")
        return None
    except Exception as e:
        print(f"读取文件时发生错误：{e}")
        return None
    return data

# 示例用法
if __name__ == "__main__":
    file_path = 'example.csv' # 替换为你的CSV文件路径
    csv_data = read_csv_file(file_path)
    if csv_data:
        for row in csv_data:
            print(row)

这段代码的核心在于csv.reader()，它能帮你把CSV文件按行读取，并自动处理逗号分隔的问题。 记得处理异常，比如文件不存在的情况。encoding='utf-8'也很重要，防止中文乱码。

如何处理大型CSV文件，避免内存溢出？

大型CSV文件一次性加载到内存可能会导致溢出。 解决方法是使用pandas库的chunksize参数，分块读取文件。 这样可以控制每次读取的数据量，有效降低内存占用。

import pandas as pd

def read_large_csv(file_path, chunk_size=1000):
    """
    分块读取大型CSV文件。

    Args:
        file_path (str): CSV文件路径。
        chunk_size (int): 每个数据块的大小。

    Yields:
        DataFrame: CSV文件的一个数据块。
    """
    try:
        for chunk in pd.read_csv(file_path, chunksize=chunk_size):
            yield chunk
    except FileNotFoundError:
        print(f"错误：文件 '{file_path}' 未找到。")
    except Exception as e:
        print(f"读取文件时发生错误：{e}")

# 示例用法
if __name__ == "__main__":
    file_path = 'large_example.csv' # 替换为你的大型CSV文件路径
    for chunk in read_large_csv(file_path, chunk_size=5000):
        # 在这里处理每个数据块
        print(chunk.head()) # 打印每个数据块的前几行

pd.read_csv(file_path, chunksize=chunk_size)会返回一个迭代器，每次迭代返回一个DataFrame。 你可以在循环中处理每个DataFrame，而不用一次性加载整个文件。

CSV文件常见的编码问题及解决方案？

CSV文件编码问题是新手常遇到的坑。 常见的编码格式有UTF-8、GBK、Latin-1等。 如果编码不匹配，读取时会出现乱码。

解决方案：

1. 尝试不同的编码格式： 在open()函数中指定encoding参数，例如encoding='gbk'或encoding='latin-1'。
2. 使用chardet库自动检测编码： chardet可以检测文件的编码格式，然后使用检测到的编码来读取文件。

import chardet

def detect_encoding(file_path):
    """
    检测文件的编码格式。

    Args:
        file_path (str): 文件路径。

    Returns:
        str: 文件的编码格式。
    """
    with open(file_path, 'rb') as file:
        raw_data = file.read()
        result = chardet.detect(raw_data)
        return result['encoding']

def read_csv_with_detected_encoding(file_path):
    """
    使用检测到的编码读取CSV文件。

    Args:
        file_path (str): CSV文件路径。

    Returns:
        list: CSV文件中的数据，每一行是一个列表。
    """
    encoding = detect_encoding(file_path)
    if not encoding:
        print("无法检测到文件编码。")
        return None

    data = []
    try:
        with open(file_path, 'r', encoding=encoding) as file:
            csv_reader = csv.reader(file)
            header = next(csv_reader)
            for row in csv_reader:
                data.append(row)
    except Exception as e:
        print(f"读取文件时发生错误：{e}")
        return None
    return data

# 示例用法
if __name__ == "__main__":
    file_path = 'encoded_example.csv' # 替换为你的CSV文件路径
    csv_data = read_csv_with_detected_encoding(file_path)
    if csv_data:
        for row in csv_data:
            print(row)

先用chardet.detect()检测编码，再用检测到的编码打开文件，可以有效解决编码问题。 chardet需要单独安装：pip install chardet。

如何跳过CSV文件中的错误行或不规范数据？

有时候CSV文件里会有一些格式不规范的行，比如缺少字段、字段数量不对等等，直接读取会报错。

解决方案：

1. 使用try-except捕获异常： 在循环中读取每一行时，用try-except捕获可能出现的异常，跳过错误行。
2. 使用csv.reader的strict模式： strict=False可以允许行长度不一致，但需要自己处理这些不规范的行。

import csv

def read_csv_skip_errors(file_path):
    """
    跳过错误行读取CSV文件。

    Args:
        file_path (str): CSV文件路径。

    Returns:
        list: CSV文件中的数据，跳过错误行。
    """
    data = []
    try:
        with open(file_path, 'r', encoding='utf-8') as file:
            csv_reader = csv.reader(file, strict=False)
            header = next(csv_reader)
            for row in csv_reader:
                try:
                    # 尝试处理每一行，如果出现错误则跳过
                    if len(row) == len(header):  # 检查行长度是否正确
                        data.append(row)
                    else:
                        print(f"跳过不规范的行：{row}")
                except Exception as e:
                    print(f"处理行时发生错误：{e}")
                    continue
    except FileNotFoundError:
        print(f"错误：文件 '{file_path}' 未找到。")
        return None
    except Exception as e:
        print(f"读取文件时发生错误：{e}")
        return None
    return data

# 示例用法
if __name__ == "__main__":
    file_path = 'error_example.csv' # 替换为你的CSV文件路径
    csv_data = read_csv_skip_errors(file_path)
    if csv_data:
        for row in csv_data:
            print(row)

这段代码会在遇到行长度不一致的情况时，打印错误信息并跳过该行。 可以根据实际情况调整错误处理逻辑。

如何将读取的CSV数据转换为字典格式？

有时候我们需要把CSV数据转换成字典格式，方便按字段名访问数据。

解决方案：

使用csv.DictReader。 它会自动把CSV文件的第一行作为字典的键，后面的每一行作为字典的值。

import csv

def read_csv_to_dict(file_path):
    """
    读取CSV文件并转换为字典列表。

    Args:
        file_path (str): CSV文件路径。

    Returns:
        list: CSV文件中的数据，每个元素是一个字典。
    """
    data = []
    try:
        with open(file_path, 'r', encoding='utf-8') as file:
            csv_reader = csv.DictReader(file)
            for row in csv_reader:
                data.append(row)
    except FileNotFoundError:
        print(f"错误：文件 '{file_path}' 未找到。")
        return None
    except Exception as e:
        print(f"读取文件时发生错误：{e}")
        return None
    return data

# 示例用法
if __name__ == "__main__":
    file_path = 'example.csv' # 替换为你的CSV文件路径
    csv_data = read_csv_to_dict(file_path)
    if csv_data:
        for row in csv_data:
            print(row['name'], row['age']) # 假设CSV文件有'name'和'age'字段

csv.DictReader非常方便，可以直接通过字段名访问数据，避免了使用索引的麻烦。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于文章的相关知识，也可关注golang学习网公众号。