[ 用大白話講解複雜的技術 ]java
有一道流傳普遍的面試題:web
給你一臺 4G 內存的機器,一組 20 億個無序正整數,如何快速地判斷一個正整數 N 是否在這組數字中?或者如何快速地對這組數據排重後排序?面試
讓咱們先算算 20 億個整數會佔用多大的內存空間,Java 的 int 類型佔用 4 個字節,那麼 20 億 * 4 再換算成 G 大約是 7.5G,大於題目中 4G 內存的限制,沒法一次性地放到內存中;數組
這時候有些夥伴會說:「把數據放到磁盤上,而後分批將數據讀取到內存中就行查詢」,可是這種方法會致使屢次磁盤 IO,並且只能解決第一個查找的問題,排序就沒有辦法作到了。微信
BitMap 的概念
數據結構
BitMap 可以很好地解決這個問題;它是用一個 Bit 位來標記某個元素對應的 Value, 而 Key 便是該元素,好比咱們初始化一個類型爲 bit、長度爲 8 的數組,數組下標 0-7,數組中的內容 1 表示存在,0 表示不存在,那麼:app
00000001 下標爲 0 的位置,對應值是1,那麼表示 0;同理:編輯器
00000010 表示 1;測試
00000100 表示 2;ui
00001000 表示 3;
...
10000000 表示 7;
若是一組數據 {2,3,4,7} 放到同一個數組中的話,就是 10011100:
若是按照 int 數組存儲,{2,3,4,7} 須要 4 * 4 * 8 個 bit 才能存儲的數據,可是如今 BitMap 只須要 8 個 bit 就能夠存儲,很大地節省了存儲空間,而且排重後的排序也變的很是簡單了;若是用 byte 實現的話,只須要 1 個 byte 就能夠(1 byte = 8 bits)。
若是增長了一個數字 10 呢,那麼 1 個 byte 就不夠了:
數據結構及初始化
咱們能夠得知,BitMap 的容量大小取決於最大的那個數值,好比要存儲 {2,3,4,7,10}:
若是用 bit 數組實現(假若有的話),那麼須要 10 + 1 個長度;
若是是用 byte 數組實現,那麼須要 10/8 + 1 個長度;
若是是用 int 數組實現,那麼就須要 10/32 + 1 個長度(1 個 int 等於 4 個 bytes,等於 32 個 bits);
明白了這點以後,一個簡單的 BitMap 數據結構也就能夠肯定了:
public class BitMap { //數據 private byte[] bits; //最大值 private int max_value; //容量 private int capacity; /** * 初始化 * @param capacity */ public BitMap(int max_value){ this.max_value = max_value; //1bit存儲8個數據,存儲最大值爲 max_value 的數組須要 max_value/8+1 個 byte,除以8就是右移3位 this.capacity = (max_value >> 3 ) + 1; bits = new byte[capacity]; }}
添加數據
添加數據,須要快速地定位到這個元素要存到整個數組中的哪一個位置,這裏有兩個概念:
索引號 index:數據保存在整個數組的哪一個下標中;
位置號 position:數據在這個下標元素的哪一個位置;
好比 10 保存在 index = 1,position = 2(從 0 開始) 這個位置中,經推算可得:
index = N / 8position = N % 8
知道了 10 保存的位置以後,怎麼把對應位置的數據更改爲 1 呢?能夠用「位或」運算。將 10 添加到 BitMap 中的完整步驟以下:
計算 index = 10/8 = 1 ;
計算 position = 10%8 = 2 ;
將 byte[1] 的數據與 0000100 作「位或」運算,其中 0000100 是經過對 1 左移 2 獲得。
完整的代碼以下:
public void add(int num){ //數據保存在整個數組的哪一個下標中 int index = num / 8; //數據在這個下標元素的哪一個位置 int position = num % 8; bits[index] |= 1<<position;}
判斷數字是否存在
知道了如何判斷數字的索引號和位置號以後,判斷數字是否存在也就容易了,直接使用「位與」運算,代碼以下:
public boolean contains(int num){ if(num > max_value){ return false; } //數據保存在整個數組的哪一個下標中 int index = num / 8; //數據在這個下標元素的哪一個位置 int position = num % 8; return (bits[index] & 1<<position) != 0;}
測試
讓咱們作一下測試吧:
public class BitMapTest { public static void main(String[] agrs){ BitMap bm = new BitMap(100); bm.add(1); bm.add(12); bm.add(14); bm.add(51); bm.add(71); bm.add(100); System.out.println("12:" + (bm.contains(12)?"存在":"不存在")); System.out.println("13:" + (bm.contains(13)?"存在":"不存在")); System.out.println("51:" + (bm.contains(51)?"存在":"不存在")); System.out.println("66:" + (bm.contains(66)?"存在":"不存在")); System.out.println("100:" + (bm.contains(100)?"存在":"不存在")); }}
運行結果:
12:存在13:不存在51:存在66:不存在100:存在
從結果能夠看到,判斷的都很準確,固然這只是一個最簡單的BitMap實現,它還存在着不少問題,好比咱們必須知道數據中最大的那個數字是多少,這個能夠採用動態擴容的方式解決;
在 JDK 中,已經有對應實現的數據結構類 java.util.BitSet,咱們能夠不用強擼 BitMap,直接使用 BitSet 就行了,或者使用谷歌封裝的 EWAHCompressedBitmap。
優缺點
優勢:
佔用內存空間低,能夠極大地節約空間;
運算效率高,查找、去重都不須要遍歷所有數據;
缺點:
全部的數據不能重複,至關於直接就是排重過的;
若是數據只有兩個:1 和 10000000,使用 BitMap 得不償失,只有當數據比較密集時纔有優點。
本章節介紹了 BitMap 的概念和基本實現,後續會介紹 BitMap 在實際開發中的應用。
期待分享
若是您喜歡本文,請點個「在看」或分享到朋友圈,這將是對我最大的鼓勵。
本文分享自微信公衆號 - 會點代碼的大叔(CodeDaShu)。
若有侵權,請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」,歡迎正在閱讀的你也加入,一塊兒分享。