MR從讀取數據開始到將最終結果寫入HDFS經過哪些步驟(數據層面和內存層面)

數據層面 第一步:inputformat數據讀取 | | 輸出給Split | | 第二步:split進行數據邏輯切分 | | 輸出給RR | | 第三步:recordReader(將數據以\n切分,進行再次切分,並輸出key(行首偏移量),value(一行的數據)) | | 輸出給Map | | 第四步:Map接受key(行首偏移量),value(一行的數據),根域業務需求編寫代碼,輸出(key
相關文章
相關標籤/搜索