Python对象序列化与反序列化详解

Python对象序列化与反序列化是开发中常见的需求，本文深入探讨了两种常用的方法：`pickle`和`JSON`。`pickle`作为Python标准库，能够序列化几乎所有Python对象，包括自定义类实例和函数，但存在安全隐患和跨版本兼容性问题，不适用于处理不信任的数据源。相比之下，`JSON`更适合跨语言的数据交换，但仅支持基本数据类型，需要自定义编码解码处理复杂对象。本文将详细分析`pickle`和`JSON`的优势与劣势，并结合实际应用场景，指导开发者选择合适的序列化方案，从而提升数据处理效率和安全性。

pickle能序列化几乎所有Python对象，包括自定义类实例、函数等，但无法处理文件句柄、网络连接等外部资源，且存在跨版本兼容性问题；其反序列化过程可执行任意代码，因此不适用于不信任的数据源，易导致安全风险；相比JSON，pickle支持更丰富的Python类型且性能更高，但缺乏跨语言兼容性和安全性，JSON则更适合安全、可读、跨平台的数据交换场景。

Python的pickle模块是标准库中一个非常强大的工具，它能将几乎任何Python对象序列化（即转换为字节流，以便存储到文件或通过网络传输）和反序列化（即从字节流中恢复原始对象）。这个过程就像是给你的Python对象拍了一张“快照”，然后可以在需要的时候再“还原”出来。

使用pickle进行序列化和反序列化其实非常直观。你需要用到pickle.dump()来将对象序列化并写入文件，以及pickle.load()来从文件中读取字节流并反序列化回对象。

import pickle

# 假设我们有一个复杂的Python对象
class MyCustomObject:
    def __init__(self, name, value):
        self.name = name
        self.value = value
        self.data = {'key': [1, 2, 3], 'status': True}

    def greet(self):
        return f"Hello, I'm {self.name} with value {self.value}."

    def __repr__(self):
        return f"MyCustomObject(name='{self.name}', value={self.value})"

my_object = MyCustomObject("示例对象", 123.45)
another_data = {'numbers': [10, 20, 30], 'text': '这是一个字典'}

# 1. 序列化 (Pickling)
# 将对象写入文件，通常使用二进制写入模式 'wb'
file_path = 'my_data.pickle'
try:
    with open(file_path, 'wb') as f:
        pickle.dump(my_object, f)
        pickle.dump(another_data, f) # 可以在同一个文件中dump多个对象
    print(f"对象已成功序列化到 '{file_path}'")
except Exception as e:
    print(f"序列化失败: {e}")

# 2. 反序列化 (Unpickling)
# 从文件读取字节流并反序列化回对象，使用二进制读取模式 'rb'
try:
    with open(file_path, 'rb') as f:
        loaded_object = pickle.load(f)
        loaded_data = pickle.load(f) # 注意：需要按照dump的顺序load
    print(f"\n对象已成功从 '{file_path}' 反序列化。")
    print(f"加载的自定义对象: {loaded_object}")
    print(f"对象类型: {type(loaded_object)}")
    print(f"调用方法: {loaded_object.greet()}")
    print(f"加载的字典数据: {loaded_data}")
except FileNotFoundError:
    print(f"错误: 文件 '{file_path}' 未找到。")
except Exception as e:
    print(f"反序列化失败: {e}")

# 如果只是想将对象序列化成字节串而不是写入文件，可以使用 pickle.dumps() 和 pickle.loads()
# dumps (dump string)
pickled_bytes = pickle.dumps(my_object)
print(f"\n对象序列化为字节串: {pickled_bytes[:50]}...") # 只显示前50个字节

# loads (load string)
restored_object_from_bytes = pickle.loads(pickled_bytes)
print(f"从字节串反序列化的对象: {restored_object_from_bytes}")
print(f"调用方法: {restored_object_from_bytes.greet()}")

pickle 到底能序列化哪些类型的对象？它有什么限制吗？

在我看来，pickle的强大之处在于它几乎可以序列化Python中所有内建的数据类型——列表、字典、元组、集合、数字、字符串、布尔值，这些自然不在话下。更厉害的是，它还能处理自定义类的实例、函数、方法，甚至是模块。这意味着你可以保存一个程序的运行状态，包括各种复杂的数据结构和它们的行为，然后在未来某个时间点精确地恢复它们。我曾经用它来保存机器学习模型的训练状态，这样就不必每次都从头开始训练了，非常方便。

不过，它也不是万能的，有一些限制需要注意。首先，它不能序列化那些依赖于操作系统资源的对象，比如打开的文件句柄、网络连接、数据库连接等。这些对象的状态通常是瞬态的，并且与外部环境紧密耦合，无法简单地打包和恢复。其次，如果你的自定义类实例中包含了C扩展模块创建的对象，那么这些对象可能无法正确序列化，除非C扩展本身提供了特殊的处理机制。再者，当你在一个Python版本中序列化了一个对象，试图在另一个不同版本（尤其是大版本差异）的Python环境中反序列化时，可能会遇到兼容性问题，因为Python内部的对象表示方式可能发生了变化。这就像你用一个老版本的软件保存的文件，新版本可能无法完全兼容。

为什么说使用 pickle 序列化“不安全”？我们应该如何规避风险？

提到pickle，安全性是一个绕不开的话题，而且这真的很重要，我个人觉得甚至比它的功能本身更值得关注。为什么不安全？简单来说，反序列化一个pickle字节流，本质上就是在执行这段字节流所代表的Python代码。pickle的设计允许它在恢复对象时执行任意Python代码，这是它能够处理复杂对象图的关键所在。如果这个字节流来自一个不信任的源，那么攻击者就可以构造恶意的pickle数据，当你的程序对其进行反序列化时，就可能导致任意代码执行，比如删除文件、窃取数据，甚至完全控制你的系统。这可不是开玩笑的。

规避风险的核心原则就一个字：“信”。你绝不能反序列化来自不信任或未知来源的pickle数据。这一点怎么强调都不过分。如果你的应用需要接收外部数据，并且你无法保证这些数据的来源是绝对安全的，那么就不要使用pickle。退一步讲，如果你真的需要在受控环境中处理来自外部的pickle数据（这种情况很少见且风险极高），你可能需要考虑在沙箱环境中进行反序列化，或者严格限制pickle.load可以加载的类（Python 3.8+的pickle.Unpickler提供了find_class方法来做这个，但实现起来非常复杂且容易出错）。但我个人建议，只要有其他选择，就不要去冒这个险。对于外部数据交换，JSON、Protocol Buffers或YAML等是更安全、更通用的选择。

pickle 和 JSON 在序列化场景下各有什么优势和劣势？什么时候该用哪个？

pickle和JSON都是序列化工具，但它们的设计哲学和适用场景大相径庭，我经常看到有人把它们混淆，或者在不合适的场景下使用。理解它们的差异，才能做出正确的选择。

pickle的优势：

• Python原生对象的支持： 它可以序列化几乎所有Python对象，包括自定义类的实例、函数、方法等，无需额外的编码/解码逻辑。这对于需要在Python程序内部持久化复杂对象非常方便。
• 性能： 对于复杂的Python对象结构，pickle通常比JSON更快，因为它直接操作Python的内部表示。
• 保持对象完整性： 它能完整地保存Python对象的类型信息和结构，反序列化后能得到一个功能完全相同的对象。

pickle的劣势：

• 安全性： 如前所述，反序列化不信任的pickle数据是巨大的安全隐患。
• 语言绑定： pickle是Python特有的。它生成的字节流无法被其他编程语言直接理解和反序列化。如果你需要跨语言数据交换，pickle完全不适用。
• 可读性差： 生成的是二进制数据，不具备人类可读性，不方便调试。

JSON的优势：

• 跨语言兼容性： JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，几乎所有主流编程语言都支持解析和生成JSON。这是它最大的优势。
• 安全性： JSON只支持基本的数据类型（字符串、数字、布尔值、数组、对象、null），不包含任何可执行代码，因此从安全角度来看，处理来自不信任源的JSON数据要比pickle安全得多。
• 人类可读性： JSON是文本格式，结构清晰，易于阅读和调试。

JSON的劣势：

• 数据类型限制： JSON只能表示基本的数据类型。它无法直接序列化Python的自定义类实例、函数、日期时间对象、集合等。如果你想序列化这些，需要编写自定义的编码器和解码器，将它们转换为JSON支持的类型。
• 性能： 对于非常复杂的Python对象，如果需要大量自定义编码，其性能可能不如pickle。

什么时候该用哪个？

我的建议是：

• 使用pickle的场景：
  • 当你需要在纯Python环境中持久化复杂的Python对象（例如机器学习模型、复杂的配置对象、程序状态），并且你完全信任数据来源时。
  • 你不需要与其他语言进行数据交互。
• 使用JSON的场景：
  • 当你需要在不同编程语言或系统之间交换数据时。这是JSON的黄金应用场景。
  • 当你需要处理来自外部或不信任来源的数据时。
  • 当你只需要序列化基本的数据类型，或者可以接受为自定义类型编写简单的编码/解码逻辑时。
  • 当你希望数据是人类可读的，便于检查和调试。

简单来说，如果数据是“自产自销”且复杂，pickle很方便；如果数据要“出口或进口”且注重安全和通用性，JSON是更好的选择。两者各有千秋，没有绝对的优劣，关键在于根据具体需求做出最合适的判断。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~