WordCount(1)

1.讀取文件 需要用到抽象類InputFormat的子類TextInputFormat,把文件每行變成鍵值對如圖,此時k1是距離文本開頭的偏移量,v1爲每行的內容,該鍵值對因TextInputFormat而產生,不需要手動書寫 2.進入Map ,自定義Map邏輯,將k1 v1轉爲k2 v2 繼承Mapper,重寫map方法 3.進入shuffle階段,此時拿到的數據是上述k2 v2 分區 排序 規
相關文章
相關標籤/搜索