Numpy中數據的經常使用的保存與讀取方法

小書匠  深度學習 

文章目錄:

• 1.保存爲二進制文件(.npy/.npz)
  • numpy.save
  • numpy.savez
  • numpy.savez_compressed
• 2.保存到文本文件
  • numpy.savetxt
  • numpy.loadtxt

在常常性讀取大量的數值文件時(好比深度學習訓練數據),能夠考慮現將數據存儲爲Numpy格式,而後直接使用Numpy去讀取,速度相比爲轉化前快不少.

下面就經常使用的保存數據到二進制文件和保存數據到文本文件進行介紹:

1.保存爲二進制文件(.npy/.npz)

numpy.save

保存一個數組到一個二進制的文件中,保存格式是.npy

參數介紹
numpy.save(file, arr, allow_pickle=True, fix_imports=True)

file:文件名/文件路徑
arr:要存儲的數組
allow_pickle:布爾值,容許使用Python pickles保存對象數組(可選參數,默認便可)
fix_imports:爲了方便Pyhton2中讀取Python3保存的數據(可選參數,默認便可)

使用

1. >>> import numpy as np 

   ---

2. #生成數據 

   ---

3. >>> x=np.arange(10) 

   ---

4. >>> x 

   ---

5. array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 

   ---

6.  

   ---

7. #數據保存 

   ---

8. >>> np.save('save_x',x) 

   ---

9.  

   ---

10. #讀取保存的數據 

    ---

11. >>> np.load('save_x.npy') 

    ---

12. array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 

    ---

numpy.savez

這個一樣是保存數組到一個二進制的文件中,可是厲害的是,它能夠保存多個數組到同一個文件中,保存格式是.npz,它其實就是多個前面np.save的保存的npy,再經過打包(未壓縮)的方式把這些文件歸到一個文件上,不行你去解壓npz文件就知道了,裏面是就是本身保存的多個npy.

參數介紹
numpy.savez(file, *args, **kwds)

file:文件名/文件路徑
*args:要存儲的數組,能夠寫多個,若是沒有給數組指定Key,Numpy將默認從'arr_0','arr_1'的方式命名
kwds:(可選參數,默認便可)

使用

1. >>> import numpy as np 

   ---

2. #生成數據 

   ---

3. >>> x=np.arange(10) 

   ---

4. >>> x 

   ---

5. array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 

   ---

6. >>> y=np.sin(x) 

   ---

7. >>> y 

   ---

8. array([ 0. , 0.84147098, 0.90929743, 0.14112001, -0.7568025 , 

   ---

9. -0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849]) 

   ---

10.  

    ---

11. #數據保存 

    ---

12. >>> np.save('save_xy',x,y) 

    ---

13.  

    ---

14. #讀取保存的數據 

    ---

15. >>> npzfile=np.load('save_xy.npz') 

    ---

16. >>> npzfile #是一個對象,沒法讀取 

    ---

17. <numpy.lib.npyio.NpzFile object at 0x7f63ce4c8860> 

    ---

18.  

    ---

19. #按照組數默認的key進行訪問 

    ---

20. >>> npzfile['arr_0'] 

    ---

21. array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 

    ---

22. >>> npzfile['arr_1'] 

    ---

23. array([ 0. , 0.84147098, 0.90929743, 0.14112001, -0.7568025 , 

    ---

24. -0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849]) 

    ---

更加神奇的是,你能夠不適用Numpy默認給數組的Key,而是本身給數組有意義的Key,這樣就能夠不用去猜想本身加載數據是不是本身須要的.

1. #數據保存 

   ---

2. >>> np.savez('newsave_xy',x=x,y=y) 

   ---

3.  

   ---

4. #讀取保存的數據 

   ---

5. >>> npzfile=np.load('newsave_xy.npz') 

   ---

6.  

   ---

7. #按照保存時設定組數key進行訪問 

   ---

8. >>> npzfile['x'] 

   ---

9. array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 

   ---

10. >>> npzfile['y'] 

    ---

11. array([ 0. , 0.84147098, 0.90929743, 0.14112001, -0.7568025 , 

    ---

12. -0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849]) 

    ---

簡直不能太爽,深度學習中,有時候你保存了訓練集,驗證集,測試集,還包括他們的標籤,用這個方式存儲起來,要啥加載啥,文件數量大大減小,也不會處處改文件名去.

numpy.savez_compressed

這個就是在前面numpy.savez的基礎上加了壓縮,前面我介紹時尤爲註明numpy.savez是獲得的文件打包,不壓縮的.這個文件就是對文件進行打包時使用了壓縮,能夠理解爲壓縮前各npy的文件大小不變,使用該函數比前面的numpy.savez獲得的npz文件更小.

注:函數所需參數和numpy.savez一致,用法完成同樣.

2.保存到文本文件

numpy.savetxt

保存數組到文本文件上,能夠直接打開查看文件裏面的內容.

參數介紹
numpy.savetxt(fname, X, fmt='%.18e', delimiter=' ', newline='\n', header='', footer='', comments='# ', encoding=None)

fname:文件名/文件路徑,若是文件後綴是.gz,文件將被自動保存爲.gzip格式,np.loadtxt能夠識別該格式
X:要存儲的1D或2D數組
fmt:控制數據存儲的格式
delimiter:數據列之間的分隔符
newline:數據行之間的分隔符
header:文件頭步寫入的字符串
footer:文件底部寫入的字符串
comments:文件頭部或者尾部字符串的開頭字符,默認是'#'
encoding:使用默認參數

使用

1. >>> import numpy as np 

   ---

2. #生成數據 

   ---

3. >>> x = y = z = np.ones((2,3)) 

   ---

4. >>> x 

   ---

5. array([[1., 1., 1.], 

   ---

6. [1., 1., 1.]]) 

   ---

7.  

   ---

8. #保存數據 

   ---

9. np.savetxt('test.out', x) 

   ---

10. np.savetxt('test1.out', x,fmt='%1.4e') 

    ---

11. np.savetxt('test2.out', x, delimiter=',') 

    ---

12. np.savetxt('test3.out', x,newline='a') 

    ---

13. np.savetxt('test4.out', x,delimiter=',',newline='a') 

    ---

14. np.savetxt('test5.out', x,delimiter=',',header='abc') 

    ---

15. np.savetxt('test6.out', x,delimiter=',',footer='abc') 

    ---

保存下來的文件都是友好的,能夠直接打開看看有什麼變化.

numpy.loadtxt

根據前面定製的保存格式,相應的加載數據的函數也得變化.

參數介紹
numpy.loadtxt(fname, dtype=<class 'float'>, comments='#', delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False, ndmin=0, encoding='bytes')

fname:文件名/文件路徑,若是文件後綴是.gz或.bz2,文件將被解壓,而後再載入
dtype:要讀取的數據類型
comments:文件頭部或者尾部字符串的開頭字符,用於識別頭部,尾部字符串
delimiter:劃分讀取上來值的字符串
converters:數據行之間的分隔符
.......後面不經常使用的就不寫了

使用

1. np.loadtxt('test.out') 

   ---

2. np.loadtxt('test2.out', delimiter=',') 

   ---

參考資料:
官方API-Routines