Spark只啓動了Master，Worker沒啓動的

1. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
2. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
3. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
4. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
5. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
6. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
7. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
8. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
9. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
10. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
11. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
12. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
13. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
14. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
15. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
16. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
17. Exception in thread "main" java.net.BindException: 沒法指定被請求的地址: Service 'sparkWorker' failed after 16 retries! Consider explicitly setting the appropriate port for the service 'sparkWorker' (for example spark.ui.port for SparkUI) to an available port or increasing spark.port.maxRetries.  
18.         at sun.nio.ch.Net.bind0(Native Method)  
19.         at sun.nio.ch.Net.bind(Net.java:433)  
20.         at sun.nio.ch.Net.bind(Net.java:425)  
21.         at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)  

 

 

 

spark的配置文件spark-env.sh以下

 

[html] view plain copy

1. export JAVA_HOME=/usr/jdk1.8  
2. export SCALA_HOME=/usr/hadoop/scala-2.11.4  
3. export HADOOP_HOME=/usr/hadoop/hadoop2.7.3  
4. export HADOOP_CONF_DIR=/usr/hadoop/hadoop2.7.3/etc/hadoop  
5. export SPARK_MASTER_IP=192.168.9.200  
6. export SPARK_WORKER_MEMORY=1g  
7. export SPARK_WORKER_CORES=1  
8. export SPARK_HOME=/usr/hadoop/spark-2.0.2  

在後面加上SPARK_LOCAL_IP以後三個Worker正常啓動

 

[html] view plain copy

添加：

1. export SPARK_LOCAL_IP=127.0.0.1