Python NumPy文件存取详解：二进制与文本格式操作指南

NumPy文件存取概述

NumPy库提供了丰富的文件操作函数，用于保存和读取数组内容。这些文件可以是二进制格式，也可以是文本格式。其中，二进制格式进一步细分为NumPy专用的格式化二进制类型和无格式类型。

使用NumPy格式保存的文件，其文件后缀通常为.npy或.npz。

tofile与fromfile函数用法

1. tofile()与fromfile()函数

• tofile()函数负责将数组中的数据以二进制格式写入指定文件。
• 需要注意的是，tofile()输出的数据不包含数组的形状和元素类型等元信息。
• 因此，使用fromfile()函数读取数据时，用户必须手动指定元素类型，并对数组形状进行相应的调整，以还原原始数据结构。

import numpy as np
# 随机生成12个数字并将其有一维转换成3*4的矩阵形式
a = np.arange(12)
print("一维数组:",a)
a.shape = 3,4
print("3*4的矩阵:",a)
# 将数组中的数据以二进制格式写入到文件
a.tofile('a.bin')
# fromfile在读取numpy文件时需要自己指定数据格式,并且原格式并为保存
b1 = np.fromfile('a.bin', dtype=np.float) # 按照float读取数据
b2 = np.fromfile('a.bin', dtype=np.int) # 按照int读取数据
b3 = np.fromfile('a.bin', dtype=np.int32) # 按照int32读取数据
print('float格式b1:{},\nint格式b2:{},\nint32格式b3:{}'.format(b1,b2,b3))
b3.shape = 3,4
print('b3:',b3)

save、load与savez函数详解

2. save()、load()与savez()函数

• NumPy专用的二进制格式在保存数据时，会自动处理元素类型和数组形状等关键信息，无需用户手动干预。
• 若需将多个数组保存至同一个文件中，可以使用savez()函数。
• savez()函数的第一个参数指定文件名，后续参数为需要保存的数组。此外，还可以使用关键字参数为特定的数组命名，以便后续引用。
• 对于未使用关键字参数命名的数组，系统会自动分配arr_0、arr_1等名称。
• savez()生成的文件扩展名为.npz，这是一种压缩文件格式。该文件内部包含多个独立的.npy文件，每个.npy文件对应一个通过save()保存的数组，且文件名与数组名保持一致。
• load()函数能够自动识别.npz文件，并返回一个类似字典的对象。用户可以通过数组名作为键，直接获取对应的数组内容。

import numpy as np
a = np.arange(12)
a.shape = 3,4
# 将数据存储为npy/npz
np.save('a.npy', a)
np.save('a.npz', a)
c = np.load('a.npy')
print('save-load：',c)
# 存储多个数组
b1 = np.array([[6, 66, 666],[888, 88,8]])
b2 = np.arange(0, 1.0, 0.1)
c2 = np.sin(b2)
np.savez('result.npz', b1,b2,sin_arry = c)
c3 = np.load('result.npz') # npz文件时一个压缩文件
print(c3)
print("数组b1:{}\n数组b2：{}\n数组sin_arry:{}".format(c3['arr_0'],c3['arr_1'],c3['sin_arry']))

savetxt与loadtxt文本处理

3. savetxt()与loadtxt()函数

• 这两个函数主要用于读写一维和二维数组的文本文件。
• 它们同样适用于读写CSV格式的文本文件，提供了灵活的数据交换方式。

深度学习中的数据存储应用

在深度学习场景中，利用这种方式存储数据具有显著优势。它可以同时保存训练集、验证集、测试集及其对应的标签。通过这种方式存储，可以实现按需加载，大幅减少文件数量，并避免频繁修改文件名的繁琐操作，是一种高效的数据存储方案。

总结

总结

以上介绍了Python利用NumPy进行文件存取的主要方式。希望这些信息能对大家有所帮助。如有任何疑问，欢迎留言，小编会及时回复。感谢大家对本站的支持！如果您觉得本文对您有帮助，欢迎转载，请注明出处，谢谢！