20 億個數字在 4G 內存中如何去重排序:快來試一試 BitMap

[ 用大白話講解複雜的技術 ]java

這是個人第 54 篇原創文章
做者 l 會點代碼的大叔(CodeDaShu)   


有一道流傳普遍的面試題:web


給你一臺 4G 內存的機器,一組 20 億個無序正整數,如何快速地判斷一個正整數 N 是否在這組數字中?或者如何快速地對這組數據排重後排序?面試


讓咱們先算算 20 億個整數會佔用多大的內存空間,Java 的 int 類型佔用 4 個字節,那麼 20 億 * 4 再換算成 G 大約是 7.5G,大於題目中 4G 內存的限制,沒法一次性地放到內存中;數組


這時候有些夥伴會說:「把數據放到磁盤上,而後分批將數據讀取到內存中就行查詢」,可是這種方法會致使屢次磁盤 IO,並且只能解決第一個查找的問題,排序就沒有辦法作到了。微信



01

BitMap 的概念
數據結構



BitMap 可以很好地解決這個問題;它是用一個 Bit 位來標記某個元素對應的 Value, 而 Key 便是該元素,好比咱們初始化一個類型爲 bit、長度爲 8 的數組,數組下標 0-7,數組中的內容 1 表示存在,0 表示不存在,那麼:app



00000001 下標爲 0 的位置,對應值是1,那麼表示 0;同理:編輯器

00000010 表示 1;測試

00000100 表示 2;ui

00001000 表示 3;

...

10000000 表示 7;


若是一組數據 {2,3,4,7} 放到同一個數組中的話,就是 10011100:



若是按照 int 數組存儲,{2,3,4,7} 須要 4 * 4 * 8 個 bit 才能存儲的數據,可是如今 BitMap 只須要 8 個 bit 就能夠存儲,很大地節省了存儲空間,而且排重後的排序也變的很是簡單了;若是用 byte 實現的話,只須要 1 個 byte 就能夠(1 byte = 8 bits)。


若是增長了一個數字 10 呢,那麼 1 個 byte 就不夠了:




02

數據結構及初始化



咱們能夠得知,BitMap 的容量大小取決於最大的那個數值,好比要存儲 {2,3,4,7,10}:


  • 若是用 bit 數組實現(假若有的話),那麼須要 10 + 1 個長度;

  • 若是是用 byte 數組實現,那麼須要 10/8 + 1 個長度;

  • 若是是用 int 數組實現,那麼就須要 10/32 + 1 個長度(1 個 int 等於 4 個 bytes,等於 32 個 bits);


明白了這點以後,一個簡單的 BitMap 數據結構也就能夠肯定了:


public class BitMap { //數據    private byte[] bits;  //最大值    private int max_value; //容量 private int capacity;  /** * 初始化 * @param capacity */ public BitMap(int max_value){        this.max_value = max_value; //1bit存儲8個數據,存儲最大值爲 max_value 的數組須要 max_value/8+1 個 byte,除以8就是右移3位        this.capacity = (max_value >> 3 ) + 1; bits = new byte[capacity]; }}



03

添加數據



添加數據,須要快速地定位到這個元素要存到整個數組中的哪一個位置,這裏有兩個概念:


索引號 index:數據保存在整個數組的哪一個下標中;


位置號 position:數據在這個下標元素的哪一個位置;


好比 10 保存在 index = 1,position = 2(從 0 開始) 這個位置中,經推算可得:


index = N / 8position = N % 8



知道了 10 保存的位置以後,怎麼把對應位置的數據更改爲 1 呢?能夠用「位或」運算。將 10 添加到 BitMap 中的完整步驟以下:


  • 計算 index = 10/8 = 1 ;

  • 計算 position = 10%8 = 2 ;

  • 將 byte[1] 的數據與 0000100 作「位或」運算,其中 0000100 是經過對 1 左移 2 獲得。


完整的代碼以下:


public void add(int num){ //數據保存在整個數組的哪一個下標中 int index = num / 8; //數據在這個下標元素的哪一個位置 int position = num % 8;  bits[index] |= 1<<position;}



04

判斷數字是否存在



知道了如何判斷數字的索引號和位置號以後,判斷數字是否存在也就容易了,直接使用「位與」運算,代碼以下:


public boolean contains(int num){ if(num > max_value){ return false;  } //數據保存在整個數組的哪一個下標中 int index = num / 8; //數據在這個下標元素的哪一個位置  int position = num % 8; return (bits[index] & 1<<position) != 0;}


05

測試



讓咱們作一下測試吧:


public class BitMapTest { public static void main(String[] agrs){ BitMap bm = new BitMap(100);  bm.add(1); bm.add(12); bm.add(14); bm.add(51); bm.add(71); bm.add(100);  System.out.println("12:" + (bm.contains(12)?"存在":"不存在")); System.out.println("13:" + (bm.contains(13)?"存在":"不存在")); System.out.println("51:" + (bm.contains(51)?"存在":"不存在")); System.out.println("66:" + (bm.contains(66)?"存在":"不存在")); System.out.println("100:" + (bm.contains(100)?"存在":"不存在")); }}


運行結果:


12:存在13:不存在51:存在66:不存在100:存在


從結果能夠看到,判斷的都很準確,固然這只是一個最簡單的BitMap實現,它還存在着不少問題,好比咱們必須知道數據中最大的那個數字是多少,這個能夠採用動態擴容的方式解決;


在 JDK 中,已經有對應實現的數據結構類 java.util.BitSet,咱們能夠不用強擼 BitMap,直接使用 BitSet 就行了,或者使用谷歌封裝的 EWAHCompressedBitmap


06

優缺點



優勢:

  • 佔用內存空間低,能夠極大地節約空間;

  • 運算效率高,查找、去重都不須要遍歷所有數據;


缺點:

  • 全部的數據不能重複,至關於直接就是排重過的;

  • 若是數據只有兩個:1 和 10000000,使用 BitMap 得不償失,只有當數據比較密集時纔有優點。


本章節介紹了 BitMap 的概念和基本實現,後續會介紹 BitMap 在實際開發中的應用。

期待分享

若是您喜歡本文,請點個「在看」或分享到朋友圈,這將是對我最大的鼓勵。




本文分享自微信公衆號 - 會點代碼的大叔(CodeDaShu)。
若有侵權,請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」,歡迎正在閱讀的你也加入,一塊兒分享。

相關文章
相關標籤/搜索