spark任務讀取資源文件示例

我遇到下面的問題：給定一批ID，大約幾萬個，而後去日誌裏面把包含他們的記錄撈出來。咱們很天然想到的解決方法是：把這些ID寫入一個文件，spark任務先讀出這個文件的內容，而後再把內容廣播到每一個工做節點。這樣作的話，咱們又有兩個選擇，一是把ID寫入一個HDFS文件，spark任務讀出並廣播，然而這種作法須要把HDFS文件的路徑寫死在代碼裏，萬一不當心刪除或者移動了文件，spark任務就會失敗，另外

>>阅读原文<<