Python序列化存储详解:pickle模块使用指南

Hazel
Hazel
发布时间:2026-10-12| 2人浏览过
原创

本文介绍Python中变量从内存到磁盘的序列化(pickling)及反序列化过程。通过对比cPickle与pickle模块的性能差异,演示如何使用dumps、dump、loads和load方法实现对象的持久化存储与读取,并指出pickle仅限Python使用的局限性。

在程序运行期间,所有变量均驻留在内存中。例如,定义一个字典:

d = dict(name='Bob', age=20, score=88)

变量值可随时修改,如将name改为'Bill'。但程序终止后,操作系统会回收变量占用的内存。若未将修改后的'Bill'保存至磁盘,再次运行程序时,变量将重新初始化为'Bob'。

将内存中的变量转换为可存储或传输格式的过程称为序列化。在Python中称为pickling,其他语言中常称为serialization、marshalling或flattening,含义相同。

序列化后的内容可写入磁盘,或通过网络传输至其他设备。

反之,将序列化对象重新加载至内存的过程称为反序列化,即unpickling。

Python提供cPickle和pickle两个模块实现序列化。两者功能一致,区别在于cPickle由C语言编写,执行速度更快;pickle为纯Python实现,速度较慢,这与cStringIO和StringIO的关系类似。使用时应先尝试导入cPickle,若失败则回退至pickle:

try:
  import cPickle as pickle
except ImportError:
  import pickle

首先,尝试将一个对象序列化并写入文件:

>>> d = dict(name='Bob', age=20, score=88)
>>> pickle.dumps(d)
"(dp0\nS'age'\np1\nI20\nsS'score'\np2\nI88\nsS'name'\np3\nS'Bob'\np4\ns."

使用pickle.dumps()方法可将任意对象序列化为字符串(str),随后可将该字符串写入文件。或者使用pickle.dump()方法,直接将对象序列化后写入类文件对象(file-like Object):

>>> f = open('dump.txt', 'wb')
>>> pickle.dump(d, f)
>>> f.close()

查看生成的dump.txt文件,内容为看似杂乱的数据,这些是Python保存的对象内部信息。

当需要从磁盘将对象读回内存时,可先将内容读取为字符串,再使用pickle.loads()方法反序列化出对象;也可直接使用pickle.load()方法从类文件对象中直接反序列化。我们在另一个Python命令行中反序列化之前保存的对象:

>>> f = open('dump.txt', 'rb')
>>> d = pickle.load(f)
>>> f.close()
>>> d
{'age': 20, 'score': 88, 'name': 'Bob'}

变量内容恢复!

需注意,该变量与原始变量是完全不同的对象,仅内容相同。

Pickle与其他语言特有的序列化问题类似,仅适用于Python,且不同Python版本间可能不兼容。因此,Pickle仅建议用于保存非重要数据,即使无法成功反序列化也可接受。

相关标签:

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。