Spark在windows環境裏跑時報錯找不到org.apache.hadoop.fs.FSDataInputStream

由於最開始圖省事,也是爲了學習Spark的用法,所以搭了一個本地的測試Spark環境,hadoop也是本地單機版(測試沒有問題)。在idea中寫了一個基礎的求和的spark程序,跑起來後報找不到FSDataInputStrea,上網搜了好久,基本上都是說是配置文件裏沒有把hadoop路徑加進來的,我試過按照搜出來的改,沒有用。後來調整了下POM文件的spark相關jar包的引用,在啓動就沒問題了。
相關文章
相關標籤/搜索