Python字符串编码详解：UTF8与Unicode原理

本文深入剖析Python字符串编码的本质，揭示Unicode与UTF-8的根本区别：Unicode是为每个字符分配唯一码点的抽象标准（如“中”对应U+4E2D），而UTF-8只是将其高效映射为1–4字节的可变长编码规则；Python 3中str天生是Unicode文本，bytes才是编码后的二进制序列，所有乱码、解码错误和文件读写异常，几乎都源于混淆二者或encode/decode时编码格式不匹配——掌握这一核心逻辑，就能彻底理清编码迷局，从容应对中文处理、文件操作、网络响应等真实开发场景。

Python中字符串编码问题的核心在于区分Unicode字符串和字节序列（bytes），UTF-8只是其中一种将Unicode字符映射为字节的规则。理解这一点，就抓住了乱码、解码错误、文件读写异常等问题的根源。

Unicode是字符的“身份证”，不是存储格式

Unicode为世界上每种语言的每个字符分配一个唯一的编号（称为码点，如汉字“中”的码点是U+4E2D）。它不规定这个编号怎么存成文件或网络传输的字节——那是编码方案（如UTF-8、UTF-16）的事。

Python 3中，str类型默认就是Unicode字符串，你写的 "你好" 在内存里是以Unicode码点形式存在的，不是UTF-8字节。

• 执行 type("你好") → （Unicode文本）
• 执行 type("你好".encode("utf-8")) → （UTF-8字节流）

UTF-8是可变长的字节编码规则

UTF-8用1–4个字节表示一个Unicode码点，原则是：ASCII字符（U+0000–U+007F）用1个字节原样保存；其余字符按规则扩展。这使得UTF-8兼容ASCII，也节省空间。

例如：

• 'A' → 码点 U+0041 → UTF-8字节 b'A'（0x41）
• '中' → 码点 U+4E2D → UTF-8字节 b'\xe4\xb8\xad'（3字节）
• '€' → 码点 U+20AC → UTF-8字节 b'\xe2\x82\xac'（3字节）

编码（encode）和解码（decode）不能颠倒

从str转bytes叫编码（指定目标编码格式），从bytes转str叫解码（必须用当初编码时相同的格式，否则报错或乱码）。

• "café".encode("utf-8") → b'caf\xc3\xa9'
• b'caf\xc3\xa9'.decode("utf-8") → 'café' ✅
• b'caf\xc3\xa9'.decode("gbk") → UnicodeDecodeError ❌ 或乱码

常见错误场景：读取UTF-8保存的中文文件却用open(..., encoding="gbk")，或把网络收到的UTF-8响应字节直接当str用而忘记.decode("utf-8")。

文件操作和终端显示要显式指定编码

Python不会自动猜编码。打开文件时务必用encoding参数；终端输出依赖系统环境，但代码中应确保传给print()的是str（Unicode），而非未解码的bytes。

• 正确读UTF-8文件：with open("data.txt", encoding="utf-8") as f: text = f.read()
• 正确写UTF-8文件：with open("out.txt", "w", encoding="utf-8") as f: f.write("中文")
• 若用open(..., "rb")读取，则得到bytes，需手动.decode("utf-8")才能变成str

Windows命令行默认GBK，可能无法正常显示UTF-8输出，可在脚本开头加：import sys; sys.stdout.reconfigure(encoding="utf-8")（Python 3.7+）。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Python字符串编码详解：UTF8与Unicode原理》文章吧，也可关注golang学习网公众号了解相关技术文章。