深度剖析憑什麼python中整型不會溢出

前言

本次分析基於 CPython 解釋器，python3.x版本

在python2時代，整型有 int 類型和 long 長整型，長整型不存在溢出問題，便可以存聽任意大小的整數。在python3後，統一使用了長整型。這也是吸引科研人員的一部分了，適合大數據運算，不會溢出，也不會有其餘語言那樣還分短整型，整型，長整型...所以python就下降其餘行業的學習門檻了。

那麼，不溢出的整型實現上是否可行呢？

不溢出的整型的可行性

儘管在 C 語言中，整型所表示的大小是有範圍的，可是 python 代碼是保存到文本文件中的，也就是說，python代碼中並非一會兒就轉化成 C 語言的整型的，咱們須要從新定義一種數據結構來表示和存儲咱們新的「整型」。

怎麼來存儲呢，既然咱們要表示任意大小，那就得用動態的可變長的結構，顯然，數組的形式可以勝任:

[longintrepr.h]
struct _longobject {
    PyObject_VAR_HEAD
    int *ob_digit;
};

長整型的保存形式

長整型在python內部是用一個 int 數組( ob_digit[n] )保存值的. 待存儲的數值的低位信息放於低位下標, 高位信息放於高下標.好比要保存 123456789 較大的數字,但咱們的int只能保存3位(假設):

ob_digit[0] = 789;
ob_digit[1] = 456;
ob_digit[2] = 123;

低索引保存的是地位，那麼每一個 int 元素保存多大的數合適？有同窗會認爲數組中每一個int存放它的上限(2^31 - 1)，這樣表示大數時，數組長度更短，更省空間。可是，空間確實是更省了，但操做會代碼麻煩，比方大數作乘積操做，因爲元素之間存在乘法溢出問題，又得多考慮一種溢出的狀況。

怎麼來改進呢？在長整型的 ob_digit 中元素理論上能夠保存的int類型有 32 位，可是咱們只保存 15 位，這樣元素之間的乘積就能夠只用 int 類型保存便可, 結果作位移操做就能獲得尾部和進位 carry 了，定義位移長度爲 15：

#define PyLong_SHIFT  15
#define PyLong_BASE ((digit)1 << PyLong_SHIFT)
#define PyLong_MASK ((digit)(PyLong_BASE - 1))

PyLong_MASK 也就是 0b111111111111111 ,經過與它作位運算 與 的操做就能獲得低位數。

有了這種存放方式，在內存空間容許的狀況下，咱們就能夠存聽任意大小的數字了。

長整型的運算

加法與乘法運算均可以使用咱們小學的豎式計算方法，例如對於加法運算:

		ob_digit[2]	ob_digit[1]	ob_digit[0]
加數a		23	934	543
加數b	+		454	632
結果z		24	389	175

爲方便理解，表格展現的是數組中每一個元素保存的是 3 位十進制數，計算結果保存在變量z中，那麼 z 的數組最多隻要 size_a + 1 的空間（兩個加數中數組較大的元素個數 + 1），所以對於加法運算，能夠這樣來處理:

[longobject.c]
static PyLongObject * x_add(PyLongObject *a, PyLongObject *b) {
    int size_a = len(a), size_b = len(b);
    PyLongObject *z;
    int i;
    int carry = 0; // 進位
    
    // 確保a是兩個加數中較大的一個
    if (size_a < size_b) {
        // 交換兩個加數
        swap(a, b);
        swap(&size_a, &size_b);
    }
    
    z = _PyLong_New(size_a + 1);  // 申請一個能容納size_a+1個元素的長整型對象
    for (i = 0; i < size_b; ++i) {
        carry += a->ob_digit[i] + b->ob_digit[i];
        z->ob_digit[i] = carry & PyLong_MASK;   // 掩碼
        carry >>= PyLong_SHIFT;                 // 移除低15位, 獲得進位
    }
    for (; i < size_a; ++i) {                   // 單獨處理a中高位數字
        carry += a->ob_digit[i];
        z->ob_digit[i] = carry & PyLong_MASK;
        carry >>= PyLong_SHIFT;
    }
    z->ob_digit[i] = carry;
    return long_normalize(z);                   // 整理元素個數
    
}

這部分的過程就是，先將兩個加數中長度較長的做爲第一個加數，再爲用於保存結果的 z 申請空間，兩個加數從數組從低位向高位計算，處理結果的進位，將結果的低 15 位賦值給 z 相應的位置。最後的 long_normalize(z) 是一個整理函數，由於咱們 z 申請了 a_size + 1 的空間，但不意味着 z 會所有用到，所以這個函數會作一些調整，去掉多餘的空間，數組長度調整至正確的數量，若不方便理解，附錄將給出更利於理解的python代碼。

豎式計算不是按個位十位來計算的嗎，爲何這邊用整個元素？

豎式計算方法適用與任何進制的數字，咱們能夠這樣來理解，這是一個 32768 (2的15次方) 進制的，那麼就能夠把數組索引爲 0 的元素當作是 「個位」，索引 1 的元素當作是 「十位」。

乘法運算

乘法運算同樣能夠用豎式的計算方式，兩個乘數相乘，存放結果的 z 的元素個數爲 size_a + size_b 便可：

	操做			ob_digit[2]	ob_digit[1]	ob_digit[0]
乘數a				23	934	543
乘數b	*				454	632
結果z			15	126	631	176
		10	866	282	522
結果z		10	881	409	153	176

這裏須要主意的是，當乘數 b 用索引 i 的元素進行計算時，結果 z 也是從 i 索引開始保存。先建立 z 並初始化爲 0，這 z 上作累加操做，加法運算則能夠利用前面的 x_add 函數：

// 爲方便理解，會與cpython中源碼部分稍有不一樣
static PyLongObject * x_mul(PyLongObject *a, PyLongObject *b)
{
    int size_a = len(a), size_b = len(b);
    PyLongObject *z = _PyLong_New(size_a + size_b);
    memset(z->ob_digit, 0, len(z) * sizeof(int)); // z 的數組清 0
    
    for (i = 0; i < size_b; ++i) {
        int carry = 0;          // 用一個int保存元素之間的乘法結果
        int f = b->ob_digit[i]; // 當前乘數b的元素
        
        // 建立一個臨時變量，保存當前元素的計算結果，用於累加
        PyLongObject *temp = _PyLong_New(size_a + size_b);
        memset(temp->ob_digit, 0, len(temp) * sizeof(int)); // temp 的數組清 0
        
        int pz = i; // 存放到臨時變量的低位
        
        for (j = 0; j < size_a; ++j) {
            carry = f * a[j] + carry;
            temp[pz] = carry & PyLong_MASK;  // 取低15位
            carry = carry >> PyLong_SHIFT;  // 保留進位
            pz ++;
        }
        if (carry){     //  處理進位
            carry += temp[pz];
            temp[pz] = carry & PyLong_MASK;
            carry = carry >> PyLong_SHIFT;
        }
        if (carry){
            temp[pz] += carry & PyLong_MASK;
        }
        temp = long_normalize(temp);
        z = x_add(z, temp);
    }
    
    return z
    
}

這大體就是乘法的處理過程，豎式乘法的複雜度是n^2，當數字很是大的時候（數組元素個數超過 70 個）時，python會選擇性能更好，更高效的 Karatsuba multiplication 乘法運算方式，這種的算法複雜度是 3nlog3≈3n1.585，固然這種計算方法已經不是今天討論的內容了。有興趣的小夥伴能夠去了解下。

總結

要想支持任意大小的整數運算，首先要找到適合存放整數的方式，本篇介紹了用 int 數組來存放，固然也能夠用字符串來存儲。找到合適的數據結構後，要從新定義整型的全部運算操做，本篇雖然只介紹了加法和乘法的處理過程，但其實還須要作不少的工做諸如減法，除法，位運算，取模，取餘等。

python代碼以文本形式存放，所以最後，還須要一個將字符串形式的數字轉換成這種整型結構:

[longobject.c]
PyObject * PyLong_FromString(const char *str, char **pend, int base)
{
}

這部分不是本篇的重點，有興趣的同窗能夠看看這個轉換的過程。

參考

• longobject.c

附錄

# 例子中的表格中，數組元素最多存放3位整數，所以這邊設置1000
# 對應的取低位與取高位也就變成對 1000 取模和取餘操做
PyLong_SHIFT = 1000
PyLong_MASK = 999

# 以15位長度的二進制
# PyLong_SHIFT = 15
# PyLong_MASK = (1 << 15) - 1

def long_normalize(num):
    """
    去掉多餘的空間，調整數組的到正確的長度
    eg: [176, 631, 0, 0]  ==>  [176, 631]
    :param num:
    :return:
    """
    end = len(num)
    while end >= 1:
        if num[end - 1] != 0:
            break
        end -= 1

    num = num[:end]
    return num

def x_add(a, b):
    size_a = len(a)
    size_b = len(b)
    carry = 0

    # 確保 a 是兩個加數較大的，較大指的是元素的個數
    if size_a < size_b:
        size_a, size_b = size_b, size_a
        a, b = b, a

    z = [0] * (size_a + 1)
    i = 0
    while i < size_b:
        carry += a[i] + b[i]
        z[i] = carry % PyLong_SHIFT
        carry //= PyLong_SHIFT
        i += 1

    while i < size_a:
        carry += a[i]
        z[i] = carry % PyLong_SHIFT
        carry //= PyLong_SHIFT
        i += 1
    z[i] = carry

    # 去掉多餘的空間，數組長度調整至正確的數量
    z = long_normalize(z)

    return z


def x_mul(a, b):
    size_a = len(a)
    size_b = len(b)
    z = [0] * (size_a + size_b)

    for i in range(size_b):
        carry = 0
        f = b[i]

        # 建立一個臨時變量
        temp = [0] * (size_a + size_b)
        pz = i
        for j in range(size_a):
            carry += f * a[j]
            temp[pz] = carry % PyLong_SHIFT
            carry //= PyLong_SHIFT
            pz += 1

        if carry:    # 處理進位
            carry += temp[pz]
            temp[pz] = carry % PyLong_SHIFT
            carry //= PyLong_SHIFT
            pz += 1

        if carry:
            temp[pz] += carry % PyLong_SHIFT
        temp = long_normalize(temp)
        z = x_add(z, temp)   # 累加

    return z


a = [543, 934, 23]
b = [632, 454]
print(x_add(a, b))
print(x_mul(a, b))