幾道大數據面試題

首先處理大數據的面試題，有些基本概念要清楚：

（1）1Gb = 10⁹bytes（1Gb = 10億字節）：1Gb = 1024Mb，1Mb = 1024Kb，1Kb = 1024bytes；

（2）基本流程是，分解大問題，解決小問題，從局部最優中選擇全局最優；（固然，若是直接放內存裏就能解決的話，那就直接想辦法求解，不須要分解了。）

（3）分解過程經常使用方法：hash(x)%m。其中x爲字符串/url/ip，m爲小問題的數目，好比把一個大文件分解爲1000份，m=1000；

（4）解決問題輔助數據結構：hash_map，Trie樹，bit map，二叉排序樹（AVL，SBT，紅黑樹）；

（5）top K問題：最大K個用最小堆，最小K個用最大堆。（至於爲何？本身在紙上寫個小栗子，試一下就知道了。）

（6）處理大數據經常使用排序：快速排序/堆排序/歸併排序/桶排序

 

下面是幾個例題（每一個題的解法都不惟一，下面只列出了衆多解法中的一種）：

1. 給定a、b兩個文件，各存放50億個url，每一個url各佔64字節，內存限制是4G，讓你找出a、b文件共同的url？

每一個url大小爲64bytes，那麼能夠估計每一個文件的大小爲5G×64=320G，遠遠大於內存限制的4G，因此不可能將其徹底加載到內存中處理，能夠採用分治的思想來解決。

Step1：遍歷文件a，對每一個url求取hash(url)%1000，而後根據所取得的值將url分別存儲到1000個小文件（記爲a₀,a₁,...,a₉₉₉ ，每一個小文件約300M）；

Step2: 遍歷文件b，採起和a相同的方式將url分別存儲到1000個小文件（記爲b₀,b₁,...,b₉₉₉）；

巧妙之處：這樣處理後，全部可能相同的url都被保存在對應的小文件（a₀ vs b₀, a₁ vs b₁ ,...,a₉₉₉ vs b₉₉₉）中，不對應的小文件不可能有相同的url。而後咱們只要求出這個1000對小文件中相同的url便可。

Step3：求每對小文件a_i和b_i中相同的url時，能夠把a_i的url存儲到hash_set/hash_map中。而後遍歷b_i的每一個url，看其是否在剛纔構建的hash_set中，若是是，那麼就是共同的url，存到文件裏面就能夠了。

草圖以下（左邊分解A，右邊分解B，中間求解相同url）：

 

2. 有一個1G大小的一個文件，裏面每一行是一個詞，詞的大小不超過16字節，內存限制大小是1M，要求返回頻數最高的100個詞。

Step1：順序讀文件中，對於每一個詞x，取hash(x)%5000，而後按照該值存到5000個小文件（記爲f₀ ,f₁ ,... ,f₄₉₉₉）中，這樣每一個文件大概是200k左右，若是其中的有的文件超過了1M大小，還能夠按照相似的方法繼續往下分，直到分解獲得的小文件的大小都不超過1M；

Step2：對每一個小文件，統計每一個文件中出現的詞以及相應的頻率（能夠採用trie樹/hash_map等），並取出出現頻率最大的100個詞（能夠用含100個結點的最小堆），並把100詞及相應的頻率存入文件，這樣又獲得了5000個文件；

Step3：把這5000個文件進行歸併（相似與歸併排序）；

草圖以下（分割大問題，求解小問題，歸併）：

 

3. 現有海量日誌數據保存在一個超級大的文件中，該文件沒法直接讀入內存，要求從中提取某天出訪問百度次數最多的那個IP。

Step1：從這一天的日誌數據中把訪問百度的IP取出來，逐個寫入到一個大文件中；

Step2：注意到IP是32位的，最多有2^32個IP。一樣能夠採用映射的方法，好比模1000，把整個大文件映射爲1000個小文件；

Step3：找出每一個小文中出現頻率最大的IP（能夠採用hash_map進行頻率統計，而後再找出頻率最大的幾個）及相應的頻率；

Step4：在這1000個最大的IP中，找出那個頻率最大的IP，即爲所求。

草圖以下：