Numpy系列（十三）- 文件IO

NumPy提供了多種存取數組內容的文件操做函數。保存數組數據的文件能夠是二進制格式或者文本格式。二進制格式的文件又分爲NumPy專用的格式化二進制類型和無格式類型。

一，tofile()和fromfile()

• tofile()將數組中的數據以二進制格式寫進文件
• tofile()輸出的數據不保存數組形狀和元素類型等信息
• fromfile()函數讀回數據時須要用戶指定元素類型，並對數組的形狀進行適當的修改

a = np.arange(0, 12).reshape(3, 4)
a
Out[355]: 
array([[ 0,  1,  2,  3],
       [ 4,  5,  6,  7],
       [ 8,  9, 10, 11]])
a.tofile('a.bin')
b = np.fromfile('a.bin', dtype=np.float)  # 按照float類型讀取數據
b # 讀入的數據是錯誤的
Out[358]: 
array([2.12199579e-314, 6.36598737e-314, 1.06099790e-313, 1.48539705e-313,
       1.90979621e-313, 2.33419537e-313])
a.dtype
Out[359]: dtype('int32')
b = np.fromfile('a.bin', dtype=np.int32) # 按照Int32類型讀入數據
b  # b的數值是一維的
Out[363]: array([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11])
b.shape = 3, 4    # 改變b的形狀， 還原數據
b    # ok 正確
Out[366]: 
array([[ 0,  1,  2,  3],
       [ 4,  5,  6,  7],
       [ 8,  9, 10, 11]])

       從上面的例子能夠看出，在讀入數據時:須要正確設置dtype參數，並修改數組的shape屬性才能獲得和原始數據一致的結果。不管數據的排列順序是C語言格式仍是Fortran語言格式，tofile()都統一使用C語言格式輸出。此外若是指定了sep參數，則fromfile()和tofile()將以文本格式對數組進行輸入輸出。sep參數指定的是文本數據中數值的分隔符。

二.save()和load()

1. NumPy專用的二進制格式保存數據，它們會自動處理元素類型和形狀等信息
2. 若是想將多個數組保存到一個文件中，能夠使用savez()
3. savez()的第一個參數是文件名，其後的參數都是須要保存的數組，也能夠使用關鍵字參數爲數組起名
4. 非關鍵字參數傳遞的數組會自動起名爲arr_0、arr_一、...。
5. savez()輸出的是一個擴展名爲npz的壓縮文件，其中每一個文件都是一個save()保存的npy文件，文件名和數組名相同
6. load()自動識別npz文件，而且返回一個相似於字典的對象，能夠經過數組名做爲鍵獲取數組的內容

# save和load
np.save('a.npy', a)
c = np.load('a.npy')
c
Out[369]: 
array([[ 0,  1,  2,  3],
       [ 4,  5,  6,  7],
       [ 8,  9, 10, 11]])

# savez和load
a = np.array([[1,2,3],[4,5,6]])
b = np.arange(0, 1.0, 0.1)
c = np.sin(b)
np.savez('result.npz', a, b, sin_array=c)
r = np.load('result.npz')
r['arr_0']  # 數組a
Out[376]: 
array([[1, 2, 3],
       [4, 5, 6]])
r['arr_1']  # 數組b
Out[377]: array([0. , 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9])
r['sin_array']  # 數組c
Out[378]: 
array([0.        , 0.09983342, 0.19866933, 0.29552021, 0.38941834,
       0.47942554, 0.56464247, 0.64421769, 0.71735609, 0.78332691])

三.savetxt()和loadtxt()

• 讀寫1維和2維數組的文本文件
• 能夠用它們讀寫CSV格式的文本文件

a = np.arange(0, 12, 0.5).reshape(4, -1)
a
Out[380]: 
array([[ 0. ,  0.5,  1. ,  1.5,  2. ,  2.5],
       [ 3. ,  3.5,  4. ,  4.5,  5. ,  5.5],
       [ 6. ,  6.5,  7. ,  7.5,  8. ,  8.5],
       [ 9. ,  9.5, 10. , 10.5, 11. , 11.5]])
np.savetxt('a.txt', a) # 缺省按照’%.18e'格式保存數值，以空格分隔
np.loadtxt('a.txt')
Out[382]: 
array([[ 0. ,  0.5,  1. ,  1.5,  2. ,  2.5],
       [ 3. ,  3.5,  4. ,  4.5,  5. ,  5.5],
       [ 6. ,  6.5,  7. ,  7.5,  8. ,  8.5],
       [ 9. ,  9.5, 10. , 10.5, 11. , 11.5]])
np.savetxt('a.txt', a, fmt='%d', delimiter=',') # 保存爲整數， 以逗號分割
np.loadtxt('a.txt', delimiter=',')  # 讀入數據的時候需指定以逗號分割
Out[384]: 
array([[ 0.,  0.,  1.,  1.,  2.,  2.],
       [ 3.,  3.,  4.,  4.,  5.,  5.],
       [ 6.,  6.,  7.,  7.,  8.,  8.],
       [ 9.,  9., 10., 10., 11., 11.]])

tmp = np.loadtxt('test.csv', dtype=np.str, delimiter=',', encoding='utf-8')
tmp
Out[389]: 
array([['姓名', '年齡', '體重', '身高'],
       ['張三', '30', '75', '165'],
       ['李四', '45', '60', '170'],
       ['王五', '15', '30', '120']], dtype='<U3')
data = tmp[1:, 1:].astype(np.float)
data
Out[391]: 
array([[ 30.,  75., 165.],
       [ 45.,  60., 170.],
       [ 15.,  30., 120.]])

四.文件對象file

a = np.arange(8)
b = np.add.accumulate(a)
b
Out[394]: array([ 0,  1,  3,  6, 10, 15, 21, 28], dtype=int32)
c  = a + b
f = open('result.npy', 'wb')
np.save(f, a) # 順序將a,b,c保存進文件對象f
np.save(f, b)
np.save(f, c)
f.close()
f = open('result.npy', 'rb')
np.load(f)   # 順序從文件對象f中讀取內容
Out[404]: array([0, 1, 2, 3, 4, 5, 6, 7])
np.load(f)
Out[405]: array([ 0,  1,  3,  6, 10, 15, 21, 28])
np.load(f)
Out[406]: array([ 0,  2,  5,  9, 14, 20, 27, 35])