小白學習大數據之路——在docker集羣上搭建spark集羣

時間 2019-11-12

標籤學習數據之路 docker 集羣搭建 spark 欄目 Docker 简体版

原文原文鏈接

前先後後用了很久纔將系統搭建過程完成，當中遇到很多問題，鬱悶了好長時間，感謝大黃同窗的幫助，下次他發博客打賞嘍。html

我將以借鑑的博客的博文順序補充細節，告訴做爲新手的咱們可能會遇到的問題。linux的基本操做指令必定要熟悉，好比文件解壓命令（tar -zxvf jdk-8u77-linux-x64.tar.gz到當前文件夾下），文件的移動（mv）,還有基本的vim命令。java

這個連接就是借鑑的博客地址：http://www.cnblogs.com/jasonfreak/p/5391190.htmllinux

這是大黃同窗總結的linux指令，很實用：https://my.oschina.net/htzy/blog/792495docker

這個裏面有vim的指令腦圖，作的至關好偶（被強迫推薦，手動捂臉）shell

Docker安裝及配置

使用tag命令來爲一個鏡像打標籤：docker tag <mirror id> <tag>

這個語句缺乏一個部分，須要給你的鏡像添加鏡像的來源repository，例如ubuntu：spark。apache

這裏的spark是tag.還有這裏有一個技術路線圖，是整個操做的示意圖，十分清晰明瞭，必定要看懂後在動手。ubuntu

ssh安裝及配置

個人前一篇博文清楚的介紹了什麼是ssh因此本處就不解釋了。添加幾個命令的註釋：

docker --name cloud1 -h cloud1 --add-host cloud1:172.17.0.2 --add-host cloud2:172.17.0.3 --add-host cloud3:172.17.0.4 -it ubuntu

這個命令嚴格來講應該在docker 後面加run命令參數。vim

apt-get install ssh

使用apt工具包下載前最好用：apt-get update更新一下，以避免形成下載失敗。我配置時有錯誤提示說配置的目錄未找到，多是版本不一樣裏面的文件有變化，當出現找不到文件，能夠本身用shell命令新建須要的文件便可。瀏覽器

基礎環境安裝

包括後面一堆須要的軟件下載都不是apt-get工具能夠搞定的。須要用wget.
wget是linux最經常使用的下載命令, 通常的使用方法是: wget + 空格 + 要下載文件的url路徑服務器

例如:wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

簡單說一下-c參數, 這個也很是常見, 能夠斷點續傳, 若是不當心終止了, 能夠繼續使用命令接着下載

例如: # wget -c http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

下面詳細闡述wget的用法:

wget是一個從網絡上自動下載文件的自由工具。它支持HTTP，HTTPS和FTP協議，可使用HTTP代理.

所謂的自動下載是指，wget能夠在用戶退出系統的以後在後臺執行。這意味這你能夠登陸系統，啓動一個wget下載任務，而後退出系統，wget將在後臺執行直到任務完成，相對於其它大部分瀏覽器在下載大量數據時須要用戶一直的參與，這省去了極大的麻煩。

wget能夠跟蹤HTML頁面上的連接依次下載來建立遠程服務器的本地版本，徹底重建原始站點的目錄結構。這又常被稱做」遞歸下載」。在遞歸下載的時候，wget遵循Robot Exclusion標準(/robots.txt). wget能夠在下載的同時，將連接轉換成指向本地文件，以方便離線瀏覽。

wget很是穩定,它在帶寬很窄的狀況下和不穩定網絡中有很強的適應性.若是是因爲網絡的緣由下載失敗，wget會不斷的嘗試，直到整個文件下載完畢。若是是服務器打斷下載過程，它會再次聯到服務器上從中止的地方繼續下載。這對從那些限定了連接時間的服務器上下載大文件很是有用。