Hadoop/Spark相關面試問題總結

1、簡答說一下hadoop的map-reduce編程模型 首先map task會從本地文件系統讀取數據，轉換成key-value形式的鍵值對集合 使用的是hadoop內置的數據類型，比如longwritable、text等 將鍵值對集合輸入mapper進行業務處理過程，將其轉換成需要的key-value在輸出 之後會進行一個partition分區操作，默認使用的是hashpartitioner，可

>>阅读原文<<