spark-介紹 + 高可用 + Spark-submit + 歷史服務器

爲什麼要使用spark -spark到目前爲止沒有競爭對手 爲什麼要用到大數據? -文件超級大,一塊硬盤放不下,—>hdfs上場;(存儲問題) -殭屍數據:(數據存儲到一個位置得用起來);(CPU+內存來完成計算);多機一塊運算(MapReduce) -mr的開發流程特別繁瑣;hive --> sql語句 --> 會轉換成 mr 代碼 --> hadoop中的 mr 和 hdfs 運行; -hiv

>>阅读原文<<