BitMap原理

常常可以看到有些大廠的面試題裏有一些這樣的題目：一個10G的文件，裏面所有是天然數，一行一個，亂序排列，對其排序。在32位機器上面完成，內存限制爲 2G。

首先來分析一下題目，10G的文件，只有2G內存，顯然，不可能一次性把數據放入內存中直接排序。那麼，還有什麼其餘辦法呢？遍尋資料，能夠發現大體有兩種解決方案：

一、把大文件分紅多個小文件，分別排序，到最後合併成一個文件（我暫時還沒搞懂這個方法，因此不會描述，有興趣的看官能夠本身去查一下）；

二、另一種方法就是著名的bitmap算法了。引用一下《編程珠璣》的內容：

所謂的Bit-map就是用一個bit位來標記某個元素對應的Value， 而Key便是該元素。因爲採用了Bit爲單位來存儲數據，所以在存儲空間方面，能夠大大節省。
若是說了這麼多還沒明白什麼是Bit-map，那麼咱們來看一個具體的例子，假設咱們要對0-7內的5個元素(4,7,2,5,3)排序（這裏假設這些元素沒有重複）。那麼咱們就能夠採用Bit-map的方法來達到排序的目的。要表示8個數，咱們就只須要8個Bit（1Bytes），首先咱們開闢1Byte的空間，將這些空間的全部Bit位都置爲0
而後遍歷這5個元素，首先第一個元素是4，那麼就把4對應的位置爲1（能夠這樣操做 p+(i/8)|(0×01<<(i%8)) 固然了這裏的操做涉及到Big-ending和Little-ending的狀況，這裏默認爲Big-ending）,由於是從零開始的，因此要把第五位置爲1。
而後再處理第二個元素7，將第八位置爲1,，接着再處理第三個元素，一直到最後處理完全部的元素，將相應的位置爲1。
而後咱們如今遍歷一遍Bit區域，將該位是一的位的編號輸出（2，3，4，5，7），這樣就達到了排序的目的。
其實就是把計數排序用的統計數組的每一個單位縮小成bit級別的布爾數組

這就是Bit-map的基本思想。Bit-map算法利用這種思想處理大量數據的排序、查詢以及去重。

片頭提出的問題，這裏天然是要用bitmap算法來解決了，下面先來解釋一下算法（本期算法用java實現）。

一、

32位機器上的天然數一共有4294967296個，若是用一個bit來存放一個整數，1表明存在，0表明不存在，那麼把所有天然數存儲在內存只要4294967296 / (8 * 1024 * 1024) = 512MB（8bit = 一個字節），而這些天然數存放在文件中，一行一個數字，須要16G的容量。可見，bitmap算法節約了很是多的空間。

不過在java中，應該沒有bit這種數據結構，最小的是byte，byte佔8bit，那麼咱們能夠用byte表明8個連續的數字，不過由於byte的範圍是127 ~ -128，最高位是符號位，因此能夠變通一下，前7位表明8n ~ 8n + 7的數字，8n + 7這個數能夠用符號來區分，即>0即含有8n + 7，<0即不含8n + 7（這裏其實不必定要用byte來作，用short，int，long來作都同樣的，由於我找到第一篇是用byte，因此就先入爲主了）。

talk is cheap，show me the code. -- Linus Torvalds

二、

package main.io; public class BitMap { public byte[] bitArr; private static final byte mask = 3; private static final int maxNum = (1 << mask) - 1; private long count = 0; BitMap() { bitArr = new byte[1 << (Integer.SIZE - mask)]; } } 

這裏的mask表明的是移位數，n >>3 等價於 Math.floor(n / 8)， (1 << 3) - 1 = 7 = bin 111（這兩個地方先記着，下面會解釋）。

三、

設置bit的方法，網上可以找到的代碼多數是這樣實現的:

bitArr[num >> mask] |= (1 << (num & maxNum)); 

可是這個方法會有一個邏輯漏洞，就是(1 << (8n + 7) & 7) = 128，128就超出了byte的範圍變成-128了，我就是被這個坑了，還好寫了一個php的版原本對比debug。。。o(╥﹏╥)o

這裏要區分原來的數值是否爲負數，還有設置的數是否爲8n + 7。
我對於位運算不太熟，因此就把負數按位取反進行 | 運算再轉回來。

設置bit的方法：

public void setBit(int num) { var val = bitArr[num >> mask]; var bit = num & maxNum; if (val >= 0 && bit == maxNum) { bitArr[num >> mask] = (byte) ~val; } else if (val < 0 && bit != maxNum) { bitArr[num >> mask] = (byte) ~(~val | (1 << bit)); } else if (val >= 0 && bit != maxNum) { bitArr[num >> mask] |= (1 << bit); } } 

四、

只要明白了上面的方法，下面的查詢和移除的方法也就十分簡單了。

public byte getBit(int num) { var val = bitArr[num >> mask]; var bit = num & maxNum; if (bit == maxNum) { return bitArr[num >> mask] < 0 ? (byte) 1 : (byte) 0; } else if (val < 0 && bit != maxNum) { return (byte) (~bitArr[num >> mask] & (1 << (bit))); } else { return (byte) (bitArr[num >> mask] & (1 << (bit))); } } public void delBit(int num) { var val = bitArr[num >> mask]; var bit = num & maxNum; if (bit == maxNum) { bitArr[num >> mask] = (byte) ~val; } else if (val < 0 && bit != maxNum) { bitArr[num >> mask] = (byte) ~(~bitArr[num >> mask] ^ (1 << (bit))); } else { bitArr[num >> mask] = (byte) (bitArr[num >> mask] ^ (1 << (bit))); } } 

最後還有一個統計bitmap存在數字數量的方法：

public long countDistinctNum() { var length = bitArr.length; for (int i = 0; i < length; ++i) { if (bitArr[i] >= 0) { count += Integer.bitCount(bitArr[i]); }else { count += Integer.bitCount(~bitArr[i]) + 1; } } return count; } 

明白了bitmap的算法原理，接下來就要實戰一下，下期來說一下利用bitmap給海量數據排序的方法。

做者：菜six歲 連接：https://www.jianshu.com/p/bf9dbbc147ed 來源：簡書 簡書著做權歸做者全部，任何形式的轉載都請聯繫做者得到受權並註明出處。