從 MapReduce 到 Hive —— 一次遷移過程小記

一、背景介紹 早先的工做中,有不少比較複雜的分析工做,當時對hive還不熟悉,可是java比較熟悉,因此在進行處理的時候,優先選擇了MR. 可是隨着工做的數據內容愈來愈多,愈來愈複雜,對應的調整也愈來愈多,愈來愈複雜.純使用MR方式整個流程就比較複雜,若是須要修改某個部分,那首先須要修改代碼中的邏輯,而後把代碼打包上傳到某個可訪問路徑上(通常就是hdfs),而後在調度平臺內執行.若是改動較大的狀況

>>阅读原文<<