hadoop spark環境搭建及idea scala maven集成開發spark任務

1.項目背景 公司目前已經部署了分佈式文件存儲和計算平臺（已經上線hadoop，spark，hbase等），業務數據已經以文件的形式存儲在hdfs中，業務部門常常提出各類數據需求，所以須要基於spark計算平臺開發各類計算任務。公司目前的分佈式平臺只有一套線上環境，爲了不在學習、測試spark開發的過程當中對線上環境形成污染，通過運維同事的規劃，提供一臺配置較高的pc用於搭建單機（standalo

>>阅读原文<<