当前位置:首页 > 文章列表 > 文章 > python教程 > Python csv.DictReader 遇到多余列怎么办:restkey、缺失列与行级校验

Python csv.DictReader 遇到多余列怎么办:restkey、缺失列与行级校验

来源:17golang原创 2026-08-27 20:39:11 0浏览 收藏

CSV 文件看起来只是“每行用逗号分隔”,但真实导入时经常会遇到某一行多出一列,或者末尾列缺失。Python 的 csv.DictReader 不会把这两种情况混成一个错误:多余字段默认放进 restkey 对应的列表,缺失字段则填成 None。掌握这个差异,才能在入库前准确拒绝异常行,而不是悄悄丢数据。

先固定表头,再用 restkey 捕获多余字段、用 None 判断缺失字段;行级校验通过后再转换类型和写入数据库。

要点速览
  • restkey 只接收超出表头数量的字段,默认键名是 None。
  • 缺失列对应的值是 None,空字符串则仍是空字符串,不能混为一谈。
  • 把异常行号、缺失字段和多余字段一起记录,后续补数比只报“格式错误”更可靠。

DictReader 如何把一行映射成字典

假设导入文件的表头是 name,score,city。DictReader 先把表头绑定到字段位置,再逐行生成字典。正常行的三列一一对应;列数不一致时,它会沿着两条不同的数据路径继续处理。

import csv
from io import StringIO

csv_text = "name,score,city\nAlice,91,Shanghai\nBob,88\nChen,95,Shenzhen,extra"

reader = csv.DictReader(
    StringIO(csv_text),
    restkey="__extra__",
    restval=None,
)

for row in reader:
    print(row)

这段代码中,Bob 的 city 是 None,表示该位置根本没有值;Chen 的 __extra__ 是包含 extra 的列表。两者都不会自动抛异常,因此必须由业务校验决定是否接受。

Python csv.DictReader 将正常行、缺失字段和多余字段分流到字典结果的二维技术插画

用 restkey 和 None 把异常行拦在入库之前

实际项目中,建议把“解析”和“验收”分开。解析阶段只负责保留原始信息,验收阶段检查必填字段、额外字段和可转换类型。这样即使一行失败,也能把原始行号与具体原因写入错误报告。

import csv
from io import StringIO

REQUIRED = ("name", "score", "city")

def validate_rows(text: str) -> tuple[list[dict], list[dict]]:
    reader = csv.DictReader(
        StringIO(text),
        restkey="__extra__",
        restval=None,
    )
    accepted = []
    rejected = []

    for line_no, row in enumerate(reader, start=2):
        missing = [key for key in REQUIRED if row.get(key) is None]
        extra = row.get("__extra__") or []
        if missing or extra:
            rejected.append({
                "line": line_no,
                "missing": missing,
                "extra": extra,
            })
            continue
        try:
            row["score"] = int(row["score"])
        except (TypeError, ValueError):
            rejected.append({"line": line_no, "reason": "score 不是整数"})
            continue
        accepted.append(row)

    return accepted, rejected

这里的关键路径是 row.get("__extra__") 与 row.get(key) is None。前者识别多余列,后者只识别缺列;如果业务还禁止空值,需要另加 row[key] == "" 的检查。score 的转换放在结构校验之后,避免把格式问题和类型问题混在一条错误里。

Python CSV 行级校验先检查缺失列和多余列,再转换 score 并分为 accepted 与 rejected 的数据流插画

三个容易误判的边界

现象读取结果建议
末尾列缺失字段值为 None按必填规则拒绝或补默认值
末尾多出字段__extra__ 为列表记录原始值,不要静默丢弃
字段存在但为空通常是空字符串单独做空值校验

还要留意表头本身。如果表头写错,逐行校验再严密也只能围绕错误字段名工作。导入前可以先检查 reader.fieldnames 是否与预期字段集合一致,并把文件编码、分隔符和引号规则固定在调用方。

相关问题:什么时候不该继续读入

多余字段一定要拒绝吗?

如果文件来自人工导出或上游版本经常增加列,建议先记录并按兼容策略处理;如果字段顺序代表金额、账号等高风险数据,则应直接拒绝,避免错位入库。

为什么不能只判断字典长度?

多余字段会被放入一个列表值,缺失字段仍可能出现在字典中,因此长度只能说明表面结构,不能替代对 None、空字符串和 __extra__ 的逐项检查。

如何让错误报告能定位原文件?

至少保存文件标识、数据行号、缺失字段、多余字段和原始文本摘要;不要只保存异常类型,否则修正文件时还要重新人工寻找问题行。

小结

DictReader 的宽松读取适合先保留数据、后做业务验收。用 restkey 显式接住多余字段,用 None 区分缺列,再把结构检查、类型转换和错误记录分成独立步骤,CSV 导入就能从“读到了”升级为“可验证地读对了”。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Java 服务上传大文件怎么选对象存储分片:内存、带宽与失败重试Java 服务上传大文件怎么选对象存储分片:内存、带宽与失败重试
上一篇
Java 服务上传大文件怎么选对象存储分片:内存、带宽与失败重试
前端 Element.checkVisibility 怎么判断元素真正可见:CSS 与布局状态的边界
下一篇
前端 Element.checkVisibility 怎么判断元素真正可见:CSS 与布局状态的边界
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    433次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    508次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    524次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    465次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    295次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码