【Spark亞太研究院系列叢書】Spark實戰高手之路-第一章 構建Spark集羣(第五步)(3)

第四步修改配置文件slaves,以下所示:web

咱們設置Hadoop集羣中的從節點爲SparkWorker1和SparkWorker2,把slaves文件的內容修改成:apache

第五步修改配置文件core-site.xml,以下所示:oop

把core-site.xml文件的內容修改成:spa

上述是core-site.xml文件的最小化配置,core-site.xml各項配置可參考:orm

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xmlxml

第六步修改配置文件hdfs-site.xml,以下所示:hadoop

把hdfs-site.xml文件的內容修改成:get

上述是hdfs-site.xml文件的最小化配置,hdfs-site.xml各項配置課參考:it

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xmlimport

第七步修改配置文件mapred-site.xml,以下所示:

拷貝一份mapred-site.xml.template命名爲mapred-site.xml,打開mapred-site.xml 

把mapred-site.xml文件的內容修改成:

上述是mapred-site.xml最小化配置,mapred-site.xml各項配置可參考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

第七步修改配置文件yarn-site.xml,以下所示:

把yarn-site.xml的內容修改成:

上述內容是yarn-site.xml的最小化配置,yarn-site.xml文件配置的各項內容能夠參考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

相關文章
相關標籤/搜索