數據可視化大屏展現的背後那點事

幾年前的數據報表，到現在酷炫的數據可視化大屏，數據展現的方向愈來愈高大上了，可是不多人知道在這酷炫背後的故事，今天咱們就來聊聊這背後的故事，請準備好小本本記錄吧。

 

通常來講，數據大屏展現的數據都爲彙總數據，那何爲彙總數據呢，就是咱們根據常說的明細數據進行加減乘除等計算，得出的指標數值。固然這個指標是咱們人爲定義的。好比咱們須要看帳單的時候，更多的是關心這個月花了多少，而不是每一筆，這樣更有意義，而這個月度統計，就是咱們人爲規定的指標。

這個計算的過程，咱們稱之爲數據處理，這是一個略顯龐大的過程。若是隻是處理一個月指標還好，若是是處理年度指標，明細數據還多，這個時候還要保證時間，那怎麼辦？答案：分佈式。分佈式是什麼，打個比方，如今有10萬元的1元錢讓您數，若是您本身數的話，會很是耗時，可是若是您把這10萬元分紅10份，由10我的分別數，而後加和，這樣就會極大的縮短期成本，也就是所謂的空間換時間的概念。而這十我的就是咱們的十臺電腦服務器，咱們的DataNode，而分配任務的就是NameNode，這就是一個MapReduce的過程，數錢的過程叫Map，求和的過程叫Reduce。這樣咱們就能把壓力分散，很快的進行數據處理，響應。這也是爲何，每逢大節某些網站承受不了，狂加服務器的緣由，殊途同歸之妙。

那明細數據從哪裏來呢？咱們每次消費都會產生一條消費數據，同理，數據是從每一個個體產生的，而後層層彙總，最終顯示彙總數據。那麼這個過程，咱們稱之爲數據抓取傳輸的過程。這個就跟居委會挨家挨戶收集信息差很少，收集的基本信息，再提交到街道，街道再提交到區，區彙總計算後，再提交到市，同樣的道理。

 

說了這麼多，你們應該瞭解咱們看到的大屏數據展現的由來了吧，仍是挺不容易的，多道工序加工而成，若是說有「舌尖上的中國」，那大屏就該叫作「數據金字塔的頂點」。