一行代碼讓python的運行速度提升100倍

python一直被病垢運行速度太慢，可是實際上python的執行效率並不慢，慢的是python用的解釋器Cpython運行效率太差。

「一行代碼讓python的運行速度提升100倍」這毫不是譁衆取寵的論調。

咱們來看一下這個最簡單的例子，從1一直累加到1億。

最原始的代碼：

import time
def foo(x,y):
        tt = time.time()
        s = 0
        for i in range(x,y):
                s += i
        print('Time used: {} sec'.format(time.time()-tt))
        return s

print(foo(1,100000000))

結果：

Time used: 6.779874801635742 sec
4999999950000000

咱們來加一行代碼，再看看結果：

from numba import jit
import time
@jit
def foo(x,y):
        tt = time.time()
        s = 0
        for i in range(x,y):
                s += i
        print('Time used: {} sec'.format(time.time()-tt))
        return s
print(foo(1,100000000))

結果：

Time used: 0.04680037498474121 sec
4999999950000000

是否是快了100多倍呢？

那麼下面就分享一下「爲啥numba庫的jit模塊那麼牛掰？」

NumPy的創始人Travis Oliphant在離開Enthought以後，建立了CONTINUUM，致力於將Python大數據處理方面的應用。最近推出的Numba項目可以將處理NumPy數組的Python函數JIT編譯爲機器碼執行，從而上百倍的提升程序的運算速度。

Numba項目的主頁上有Linux下的詳細安裝步驟。編譯LLVM須要花一些時間。
Windows用戶能夠從Unofficial Windows Binaries for Python Extension Packages下載安裝LLVMPy、meta和numba等幾個擴展庫。

下面咱們看一個例子：

import numba as nb
from numba import jit

@jit('f8(f8[:])')
def sum1d(array):
    s = 0.0
    n = array.shape[0]
    for i in range(n):
        s += array[i]
    return s

import numpy as np
array = np.random.random(10000)
%timeit sum1d(array)
%timeit np.sum(array)
%timeit sum(array)
10000 loops, best of 3: 38.9 us per loop
10000 loops, best of 3: 32.3 us per loop
100 loops, best of 3: 12.4 ms per loop

numba中提供了一些修飾器，它們能夠將其修飾的函數JIT編譯成機器碼函數，並返回一個可在Python中調用機器碼的包裝對象。爲了能將Python函數編譯成能高速執行的機器碼，咱們須要告訴JIT編譯器函數的各個參數和返回值的類型。咱們能夠經過多種方式指定類型信息，在上面的例子中，類型信息由一個字符串’f8(f8[:])’指定。其中’f8’表示8個字節雙精度浮點數，括號前面的’f8’表示返回值類型，括號裏的表示參數類型，’[:]’表示一維數組。所以整個類型字符串表示sum1d()是一個參數爲雙精度浮點數的一維數組，返回值是一個雙精度浮點數。
須要注意的是，JIT所產生的函數只能對指定的類型的參數進行運算：

print sum1d(np.ones(10, dtype=np.int32))
print sum1d(np.ones(10, dtype=np.float32))
print sum1d(np.ones(10, dtype=np.float64))
1.2095376009e-312
1.46201599944e+185
10.0

若是但願JIT能針對全部類型的參數進行運算，可使用autojit：

from numba import autojit
@autojit
def sum1d2(array):
    s = 0.0
    n = array.shape[0]
    for i in range(n):
        s += array[i]
    return s

%timeit sum1d2(array)
print sum1d2(np.ones(10, dtype=np.int32))
print sum1d2(np.ones(10, dtype=np.float32))
print sum1d2(np.ones(10, dtype=np.float64))
10000 loops, best of 3: 143 us per loop
10.0
10.0
10.0

autoit雖然能夠根據參數類型動態地產生機器碼函數，可是因爲它須要每次檢查參數類型，所以計算速度也有所下降。numba的用法很簡單，基本上就是用jit和autojit這兩個修飾器，和一些類型對象。下面的程序列出numba所支持的全部類型：

print [obj for obj in nb.__dict__.values() if isinstance(obj, nb.minivect.minitypes.Type)]
[size_t, Py_uintptr_t, uint16, complex128, float, complex256, void, int , long double,
unsigned PY_LONG_LONG, uint32, complex256, complex64, object_, npy_intp, const char *,
double, unsigned short, float, object_, float, uint64, uint32, uint8, complex128, uint16,
int, int , uint8, complex64, int8, uint64, double, long double, int32, double, long double,
char, long, unsigned char, PY_LONG_LONG, int64, int16, unsigned long, int8, int16, int32,
unsigned int, short, int64, Py_ssize_t]

工做原理
numba的經過meta模塊解析Python函數的ast語法樹，對各個變量添加相應的類型信息。而後調用llvmpy生成機器碼，最後再生成機器碼的Python調用接口。

meta模塊

經過研究numba的工做原理，咱們能夠找到許多有用的工具。例如meta模塊可在程序源碼、ast語法樹以及Python二進制碼之間進行相互轉換。下面看一個例子：

def add2(a, b):
    return a + b

decompile_func能將函數的代碼對象反編譯成ast語法樹，而str_ast能直觀地顯示ast語法樹，使用這兩個工具學習Python的ast語法樹是頗有幫助的。

from meta.decompiler import decompile_func
from meta.asttools import str_ast
print str_ast(decompile_func(add2))
FunctionDef(args=arguments(args=[Name(ctx=Param(),
                                      id='a'),
                                 Name(ctx=Param(),
                                      id='b')],
                           defaults=[],
                           kwarg=None,
                           vararg=None),
            body=[Return(value=BinOp(left=Name(ctx=Load(),
                                               id='a'),
                                     op=Add(),
                                     right=Name(ctx=Load(),
                                                id='b')))],
            decorator_list=[],
            name='add2')

而python_source能夠將ast語法樹轉換爲Python源代碼：

from meta.asttools import python_source
python_source(decompile_func(add2))
def add2(a, b):
    return (a + b)

decompile_pyc將上述兩者結合起來，它能將Python編譯以後的pyc或者pyo文件反編譯成源代碼。下面咱們先寫一個tmp.py文件，而後經過py_compile將其編譯成tmp.pyc。

with open("tmp.py", "w") as f:
    f.write("""
def square_sum(n):
    s = 0
    for i in range(n):
        s += i**2
    return s
""")
import py_compile
py_compile.compile("tmp.py")

下面調用decompile_pyc將tmp.pyc顯示爲源代碼：

with open("tmp.pyc", "rb") as f:
    decompile_pyc(f)
def square_sum(n):
    s = 0
    for i in range(n):
        s += (i ** 2)
    return s

llvmpy模塊

LLVM是一個動態編譯器，llvmpy則能夠經過Python調用LLVM動態地建立機器碼。直接經過llvmpy建立機器碼是比較繁瑣的，例以下面的程序建立一個計算兩個整數之和的函數，並調用它計算結果。

from llvm.core import Module, Type, Builder
from llvm.ee import ExecutionEngine, GenericValue

# Create a new module with a function implementing this:
#
# int add(int a, int b) {
#   return a + b;
# }
#
my_module = Module.new('my_module')
ty_int = Type.int()
ty_func = Type.function(ty_int, [ty_int, ty_int])
f_add = my_module.add_function(ty_func, "add")
f_add.args[0].name = "a"
f_add.args[1].name = "b"
bb = f_add.append_basic_block("entry")

# IRBuilder for our basic block
builder = Builder.new(bb)
tmp = builder.add(f_add.args[0], f_add.args[1], "tmp")
builder.ret(tmp)

# Create an execution engine object. This will create a JIT compiler
# on platforms that support it, or an interpreter otherwise
ee = ExecutionEngine.new(my_module)

# Each argument needs to be passed as a GenericValue object, which is a kind
# of variant
arg1 = GenericValue.int(ty_int, 100)
arg2 = GenericValue.int(ty_int, 42)

# Now let's compile and run!
retval = ee.run_function(f_add, [arg1, arg2])

# The return value is also GenericValue. Let's print it.
print "returned", retval.as_int()
returned 142

f_add就是一個動態生成的機器碼函數，咱們能夠把它想象成C語言編譯以後的函數。在上面的程序中，咱們經過ee.run_function調用此函數，而實際上咱們還能夠得到它的地址，而後經過Python的ctypes模塊調用它。
首先經過ee.get_pointer_to_function得到f_add函數的地址：

addr = ee.get_pointer_to_function(f_add)
addr
2975997968L

而後經過ctypes.PYFUNCTYPE建立一個函數類型：

import ctypes
f_type = ctypes.PYFUNCTYPE(ctypes.c_int, ctypes.c_int, ctypes.c_int)

最後經過f_type將函數的地址轉換爲可調用的Python函數，並調用它：

f = f_type(addr)
f(100, 42)
142

numba所完成的工做就是：
解析Python函數的ast語法樹並加以改造，添加類型信息；
將帶類型信息的ast語法樹經過llvmpy動態地轉換爲機器碼函數，而後再經過和ctypes相似的技術爲機器碼函數建立包裝函數供Python調用。

---

 

​

  識別圖中二維碼,領取python全套視頻資料