python因爲它動態解釋性語言的特性,跑起代碼來相比java、c++要慢不少,尤爲在作科學計算的時候,十億百億級別的運算,讓python的這種劣勢更加凸顯。java
辦法永遠比困難多,numba就是解決python慢的一大利器,可讓python的運行速度提高上百倍!python
numba是一款能夠將python函數編譯爲機器代碼的JIT編譯器,通過numba編譯的python代碼(僅限數組運算),其運行速度能夠接近C或FORTRAN語言。c++
python之因此慢,是由於它是靠CPython編譯的,numba的做用是給python換一種編譯器。數據庫
使用numba很是簡單,只須要將numba裝飾器應用到python函數中,無需改動本來的python代碼,numba會自動完成剩餘的工做。數組
import numba from numba import jit @jit(nopython=True) # jit,numba裝飾器中的一種 def go_fast(a): # 首次調用時,函數被編譯爲機器代碼 trace = 0 # 假設輸入變量是numpy數組 for i in range(a.shape[0]): # Numba 擅長處理循環 trace += np.tanh(a[i, i]) return a + trace
以上代碼是一個python函數,用以計算numpy數組各個數值的雙曲正切值,咱們使用了numba裝飾器,它將這個python函數編譯爲等效的機器代碼,能夠大大減小運行時間。函數
numpy是爲面向numpy數組的計算任務而設計的。oop
在面向數組的計算任務中,數據並行性對於像GPU這樣的加速器是很天然的。Numba瞭解NumPy數組類型,並使用它們生成高效的編譯代碼,用於在GPU或多核CPU上執行。特殊裝飾器還能夠建立函數,像numpy函數那樣在numpy數組上廣播。性能
什麼狀況下使用numba呢?學習
使用numpy數組作大量科學計算時
使用for循環時大數據
第一步:導入numpy、numba及其編譯器
import numpy as np import numba from numba import jit
第二步:傳入numba裝飾器jit,編寫函數
# 傳入jit,numba裝飾器中的一種 @jit(nopython=True) def go_fast(a): # 首次調用時,函數被編譯爲機器代碼 trace = 0 # 假設輸入變量是numpy數組 for i in range(a.shape[0]): # Numba 擅長處理循環 trace += np.tanh(a[i, i]) # numba喜歡numpy函數 return a + trace # numba喜歡numpy廣播
nopython = True選項要求徹底編譯該函數(以便徹底刪除Python解釋器調用),不然會引起異常。這些異常一般表示函數中須要修改的位置,以實現優於Python的性能。強烈建議您始終使用nopython = True。
第三步:給函數傳遞實參
# 由於函數要求傳入的參數是nunpy數組 x = np.arange(100).reshape(10, 10) # 執行函數 go_fast(x)
第四步:經numba加速的函數執行時間
% timeit go_fast(x)
輸出:
3.63 µs ± 156 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
第五步:不經numba加速的函數執行時間
def go_fast(a): # 首次調用時,函數被編譯爲機器代碼 trace = 0 # 假設輸入變量是numpy數組 for i in range(a.shape[0]): # Numba 擅長處理循環 trace += np.tanh(a[i, i]) # numba喜歡numpy函數 return a + trace # numba喜歡numpy廣播 x = np.arange(100).reshape(10, 10) %timeit go_fast(x)
輸出:
136 µs ± 1.09 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
結論:
在numba加速下,代碼執行時間爲3.63微秒/循環。不通過numba加速,代碼執行時間爲136微秒/循環,二者相比,前者快了40倍。
前面已經對比了numba使用先後,python代碼速度提高了40倍,但這還不是最快的。
此次,咱們不使用numpy數組,僅用for循環,看看nunba對for循環到底有多鍾愛!
# 不使用numba的狀況 def t(): x = 0 for i in np.arange(5000): x += i return x %timeit(t())
輸出:
408 µs ± 9.73 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
# 使用numba的狀況 @jit(nopython=True) def t(): x = 0 for i in np.arange(5000): x += i return x %timeit(t())
輸出:
1.57 µs ± 53.8 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
結論:使用numba先後分別是408微秒/循環、1.57微秒/循環,速度整整提高了200多倍!
numba對python代碼運行速度有巨大的提高,這極大的促進了大數據時代的python數據分析能力,對數據科學工做者來講,這真是一個lucky tool !
固然numba不會對numpy和for循環之外的python代碼有很大幫助,你不要期望numba能夠幫你加快從數據庫取數,這點它真的作不到哈。