SparkSQL簡單教程

當面對一堆格式化的數據須要作一些統計分析的時候，awk是個很是不錯的選擇。可是當數據量上來之後，經過單機awk的方式處理就顯得有些力不從心，這個時候咱們能夠經過SparkSQL來模擬sql的方式來處理這些海量數據，如今就給你們舉個實例，看看怎麼經過簡單的幾行代碼用SparkSQL的方式來分析海量數據。java 1.原始數據 在hdfs上有個路徑爲XXX，數據規模大概爲100G左右，都是格式化的標準

>>阅读原文<<