OD矩陣造成分析

project:ChainOD_demoio

輸入:0803-0830出行鏈im

輸出:時間戳

  1. origin:28天×48段/天=1344段(0.5小時做爲一個time bin)//兩個部分
  2. destination:一樣

過程:首先將進站時間戳處理成97-1440範圍內的數(由於是從3號開始的),即根據時間戳就能知道這條記錄在哪一個段內,並將reducer的數目設置爲1500,同一個時間段的記錄放在同一個reducer裏面,這樣就能每一個reduce輸出一個文件,而這個文件是在同一個時間段內的。demo

相關文章
相關標籤/搜索