spark集羣沒法分配資源

問題1：WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

此時程序會一直loading，running，loading，running…的循環，並持續出現上面的警告。
出現這個錯誤頗有多是你啓動spark的方式有問題。

不少人啓動spark直接用start-all.sh，可是若是你在env配置文件裏沒有指定master的ip，這樣啓動就會報上面這個問題。若是沒有配置能夠在啓動的時候指定：

在maser上用

./start-master.sh -h 「ip地址」

在worker上用

./start-slave.sh spark://"master的ip":7077

其它參數在啓動的時候也能夠指定，端口號也能夠改動。