Python怎么处理NumPy读取TXT文件时的编码报错_设置encoding参数处理UTF8或GBK

小伙伴们有没有觉得学习文章很有意思？有意思就对了！今天就给大家带来《Python怎么处理NumPy读取TXT文件时的编码报错_设置encoding参数处理UTF8或GBK》，以下内容将会涉及到，若是在学习中对其中部分知识点有疑问，或许看了本文就能帮到你！

np.loadtxt()和np.genfromtxt()不支持encoding参数，需先用open()按指定编码读取再交由NumPy解析；大文件用生成器逐行处理；编码不明时用chardet探测，UTF-8带BOM用'utf-8-sig'，GBK兼容推荐'gb18030'。

np.loadtxt() 和 np.genfromtxt() 根本不支持 encoding 参数

这是最常踩的坑：直接给 np.loadtxt() 或 np.genfromtxt() 传 encoding='utf-8' 会报 TypeError: loadtxt() got an unexpected keyword argument 'encoding'。这两个函数底层用 C 实现，绕过 Python 的文本解码流程，所以压根没设计编码参数。

正确做法是先用 Python 内置 open() 读取并解码，再交给 NumPy 解析

核心思路是把“文件读取”和“数值解析”拆开：用 open() 控制编码，拿到字符串后交给 NumPy 处理。常见组合如下：

• 对纯数字、格式规整的 TXT（如每行 3 个浮点数），推荐 np.loadtxt() 配合 StringIO：

  from io import StringIO
  with open('data.txt', 'r', encoding='gbk') as f:
      content = f.read()
  arr = np.loadtxt(StringIO(content))

• 对含缺失值、混合类型或不规则空格的文件，用 np.genfromtxt() 更鲁棒：

  with open('data.txt', 'r', encoding='utf-8') as f:
      arr = np.genfromtxt(f, delimiter=',')

  （注意：这里 f 是已解码的文件对象，genfromtxt 能直接读）
• 如果文件超大，不能一次性 read()，就用生成器逐行处理，再拼成列表传给 np.array()：

  with open('big.txt', 'r', encoding='gbk') as f:
      lines = [line.strip().split() for line in f if line.strip()]
  arr = np.array(lines, dtype=float)

GBK 和 UTF-8 混用时怎么自动判断编码

硬写 encoding='gbk' 或 'utf-8' 容易失败，尤其当数据来源不明时。不要手猜，用 chardet 库探测：

• 先装：pip install chardet
• 探测示例：

  import chardet
  with open('data.txt', 'rb') as f:
      raw = f.read(10000)  # 只读前 10KB 足够判断
  encoding = chardet.detect(raw)['encoding'] or 'utf-8'
  with open('data.txt', 'r', encoding=encoding) as f:
      arr = np.loadtxt(f)

• 注意：chardet 对纯 ASCII 或短文本可能返回 None，加个 or 'utf-8' 防崩

Windows 记事本保存的 TXT 默认是 GBK，但带 BOM 的 UTF-8 会被误判为 GBK

Windows 记事本另存为 “UTF-8” 时实际写入的是 UTF-8 with BOM（开头三个字节 \xef\xbb\xbf），而 chardet 常把它识别成 UTF-8-SIG 或直接错判为 GB2312。这时候手动指定更稳：

• 用 encoding='utf-8-sig' 读带 BOM 的 UTF-8 文件（自动剥离 BOM）
• 用 encoding='gb18030' 替代 'gbk' —— 它是 GBK 的超集，兼容更多中文字符，且在 Python 中对乱码更宽容
• 如果读出来仍是乱码，检查原始文件是否真为 ANSI（即本地编码）：在 Windows 上通常就是 gbk，但某些旧系统可能是 big5 或 shift_jis

实际处理时，编码问题往往卡在第一行——一旦 open() 报 UnicodeDecodeError，后续全停。宁可多试两轮 encoding，也别跳过探测直接硬写。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Python怎么处理NumPy读取TXT文件时的编码报错_设置encoding参数处理UTF8或GBK》文章吧，也可关注golang学习网公众号了解相关技术文章。