零基礎學習hadoop到上手工做線路指導（初級篇）

零基礎學習hadoop,沒有想象的那麼困難，也沒有想象的那麼容易。在剛接觸雲計算，曾經想過培訓，可是培訓機構的選擇就讓我很糾結。因此索性就本身學習了。整個過程整理一下，給你們參考，歡迎討論，共同窗習。
從一開始什麼都不懂，到可以搭建集羣，開發。整個過程，只要有Linux基礎，虛擬機化和java基礎，其實hadoop,沒有太大的困難。
<ignore_js_op> 
首先總體說一下學習過程給你們借鑑：
首先查閱了資料，什麼是hadoop，至於這方面，你能夠參考這個帖子hadoop新手學習指導。對這個有了總體的認識以後開始下面內容。(新手請務必參考hadoop新手學習指導，不然後面可能看不懂)

咱們知道hadoop，有單機安裝，僞分佈安裝和分佈安裝。
同時hadoop的環境是Linux，因此咱們還須要安裝Linux系統。由於咱們的習慣是使用windows，因此對於Linux上來就安裝軟件之類的，困難度很大。而且咱們要搭建集羣，須要多臺硬件的，不可能爲了搭建集羣，去買三臺電腦。

從成本和使用咱們須要懂虛擬化方面的知識。這裏的虛擬化其實就是咱們須要懂得虛擬機的使用。由於hadoop安裝在Linux中，才能真正發揮做用。因此咱們也不會使用windows。

(這裏補充硬件的選擇:最關鍵的是內存，2G內存是有點卡的,4G有點勉強的,8G用起來順暢)

基於以上內容。因此咱們須要懂得
1.虛擬化
2.Linux
3.java基礎

下面來詳細介紹

1.虛擬化
剛開始學習，上來就安裝了虛擬機wmware station,而後建立虛擬機，安裝Linux。可是問題來了。虛擬機的網絡難住，由於缺少這方面的知識，因此不得不停下來，學習虛擬機的網絡，該怎麼搞。虛擬機網絡分爲三種：
1.briage
2.host-only
3.nat
這不是很簡單的嗎？網上資料也很多。但是事情並無想象的那麼簡單，由於nat雖然能上網，可是虛擬系統沒法和本局域網中的其餘真實主機進行通信。橋接模式全都須要手工配置，並且這裏還須要明白本身是本機撥號上網，仍是路由撥號上網。host-only建立一個與網內其餘機器相隔離的虛擬系統，這個更不行。這些都不適合咱們的hadoop集羣。hadoop要求主機與虛擬機與外部網絡（能上網），這三者都是通的，在安裝的過程當中，纔不會遇到麻煩。
因此這就是虛擬化方面的困難。
下面總結了在虛擬化方面須要作的：


虛擬化零基礎入門

此文章讓你明白爲何虛擬化，虛擬化的價值

虛擬機入門二，虛擬機的三種網絡模式


詳細介紹了虛擬化三種網絡模式

搭建集羣必備虛擬化網絡知識


上面瞭解三種網絡模式，這三種網絡模式該如何才能上網。

對於上面你可能瞭解的還不夠，下面我們論壇會員具體實踐指導，能夠與他們相互交流：

集羣搭建：主機寬帶撥號上網，虛擬機使用橋接模式，該如何ping通外網


集羣搭建必備：虛擬機之一實現Host-only方式上網

集羣搭建必備：nat模式設置靜態ip，達到上網與主機相互通訊


上面是三種不一樣網絡模式下，如何達到，虛擬機，主機，網絡三者互通。

上面的知識具有了咱們開始動手：
第一步：下載軟件

VMware Workstation 10.0.0簡體中文正式版官方下載地址
ubuntu-desktop 版：是圖形界面
ubuntu-12.04-desktop-amd64
連接: http://pan.baidu.com/s/1eQxHLFO 密碼: nnkv 

新手指導windows使用虛擬機安裝Linux（ubuntu）：包括下載及安裝指導
上面的帖子很齊全，包括wmware下載Linux桌面版下載。還有安裝指導，包括下面須要講解的Linux安裝指導

第二步：
下載咱們就須要安裝和使用

VMware workstation安裝linux（ubuntu）配置詳解

在這裏咱們安裝完畢虛擬機，安裝完畢Linux，咱們須要返回第一步，進行網絡設置。可是在網絡設置中，咱們會遇到各類各樣的困難，由於缺少Linux知識。

同時這裏補充一些虛擬化的基礎知識：
虛擬網卡概述


VMware虛擬機網絡設置方法


虛擬機（Linux操做系統）三種網絡模式切換遇到的問題

虛擬機安裝Linux視頻


2.Linux
2.一、Linux基礎知識

對於Linux的學習也是一個過程，由於可能你連最簡單的開機和關機命令都不會，更不要談配置網絡。這裏面給你們提供剛開始學習所查閱的資料和經驗總結。
首先咱們須要使用一些命令，進行網絡配置，可是在網絡配置中，這裏面又必須懂得虛擬機的一些知識，因此前面的虛擬機知識須要掌握紮實一些。
對於網絡配置：

集羣搭建：主機寬帶撥號上網，虛擬機使用橋接模式，該如何ping通外網


集羣搭建必備：虛擬機之一實現Host-only方式上網

集羣搭建必備：nat模式設置靜態ip，達到上網與主機相互通訊


其實仍是上面三個，可是咱們會遇到各類不會的命令，即便能查到命令，咱們也不能使用。爲何會這樣，由於各類有的命令，是須要使用安裝包的。咱們在配置網絡過程當中，一樣會遇到各類各樣的奇怪的配置。在咱們的Linux的系統，不能找到文件。這裏只舉ubuntu。網絡配置文件/etc/network/interfaces。咱們配置完畢以後，有各類網絡重啓方式：

1. /etc/init.d/networking  restart

複製代碼

這是一種網絡重啓方式，可是有時候並無論用。

那麼這時候咱們遇到困難了，剛接觸命令不起做用，該怎麼辦？

1. ifconfig eth0 down

複製代碼

1. ifconfig eth0 up

複製代碼

(這裏一樣須要明白，我這裏使用的是eth0上網的，若是你使用的是eth1，就須要替換成eth1)

上面的兩個命令能達到一樣的效果。

在舉一例：
咱們須要配置網絡文件，在不少網絡配置是使用下面的命令的

1. vim /etc/network/interfaces

複製代碼

可是咱們看到下面錯誤

1. The program vim can be found in the following package:
2. vim
3. vim -gnome
4. vim-tiny
5. vim-gtk
6. vim-nox
7. Try:sudo apt-get install <select package>

複製代碼

這和咱們看到的配置徹底不同。這是由於咱們安裝Linux以後，並無安裝vim包。因此咱們又遇到了困難。若是你熟悉Linux的話，這個根本不是問題。

1. vi /etc/network/interfaces

複製代碼

上面命令迎刃而解。一個vim，一個vi。在咱們剛接觸這些確定雲裏霧裏，因此你須要首先有成就感，而後在慢慢接觸。下面都是通過實踐的內容，也算是經驗，你們能夠參考。

雲技術基礎：學習hadoop使用零基礎linux(Ubuntu)筆記

搭建集羣必知：Linux經常使用命令及修改文件總結（不斷更新）    

Linux網絡接口ifconfig命令及認識網絡接口lo

linux入門詳細介紹


虛擬機安裝linux網絡配置資料大全


解決遇到Linux網絡配置，從熟悉網絡配置文件入手（大致瞭解便可）


linux入門大全：包括零基礎入門，Linux詳細介紹


Linux重啓方式init 0 init1 init 3 init 5 init 6 這幾個啓動級別都表明什麼意思？

Ubuntu經常使用命令總結及修改DNS的多種方法總結

Linux關機各類關機命令總結


Linux基礎必懂：eth0,eth1,eth2,lo是什麼意思？

此篇文章幫助認識網卡，判斷網卡是否啓動，對於網絡的也算是常識。

--------------------------------------------------------------------------------------------------------------------------------------------


linux中pwd命令詳解
這是瞭解你所處路徑的,起到輔助的做用。


linux之vi編輯器
此篇文章較爲關鍵，由於常常用到，並且須要熟悉
編輯模式
命令模式
如何保存，如何退出等各類操做





linux yum命令詳解


Linux下chkconfig命令詳解
熟悉他的做用就是可以查看軟件安裝是否成功


2.一、Linux安裝hadoop

上面切記浮躁，由於這也是上面一到兩個月的總結。咱們不可能一天兩天就能完成。因此上面須要咱們通過最起碼徹底一週的時間。咱們熟悉了Linux命令，熟悉了網絡知識。後面咱們進行的快多了。

部署集羣，首先須要安裝java，而後安裝hadoop。

首先咱們仍是從零基礎開始。

咱們須要下載和本地電腦相匹配的jdk，是32位的下載32位，是64位的下載64位。這裏咱們從最簡單的入手。在這過程當中，可能遇到問題的是環境變量的配置，形成命令不能識別。而這裏你須要學習新的Linux知識。不過若是前面你已經配置完網絡，有了這個基礎，在學習新的知識，壓力明顯變小了。

下面給你們分享一下，在Linux中如何安裝Java和hadoop。
（hadoop2搭建參考hadoop2.2徹底分佈式最新高可靠安裝文檔


）
Hadoop安裝過程：Hadoop單機環境搭建權威指南（ubuntu） 


安裝完畢，咱們該怎麼用，該怎麼測試安裝成功。

集羣安裝完畢，該如何測試和使用集羣-hadoop單機



經過上面帖子，咱們很容易安裝完成，若是是剛熟悉Linux，須要補充下面知識，才能順利完成。

linux中Java jdk環境變量的含義

linux(ubuntu)安裝Java jdk環境變量設置及小程序測試



Linux中source命令學習










今天在寫點內容，以上我們已經會安裝集羣了，那麼咱們就須要進入開發了。開發零基礎，該如何，我們提供了相關的內容分別介紹下面文章
學習hadoop----java零基礎學習線路指導視頻(1)
這一篇咱們使用什麼開發工具，甚至考慮使用什麼操做系統。而後就是Java基礎知識篇，包括變量、函數等。

學習hadoop---Java初級快讀入門指導（2）
第一篇是屬於思想篇，那麼這一篇屬於實戰篇，經過不一樣的方式，交給你怎麼編寫第一個小程序。

Java零基礎：一步步教你如何使用eclipse建立項目及編寫小程序實例
因爲上面沒有真正抽象出eclipse的使用，因此這裏專門介紹了使用eclipse如何建立項目，及如何編寫小程序實例


java基礎：eclipse編程不得不知道的技巧
eclipse基本知識會了以後，咱們在項目，這些技巧至關有用，並且常常用到


hadoop開發方式總結及操做指導
這是第三篇，咱們上面熟悉以後，就能夠開發hadoop。可是由於hadoop是屬於分佈式，因此若是對Java越是熟悉，可能產生的問題就會越多。這裏總結了hadoop的開發方式。

下一篇：
零基礎學習hadoop到上手工做線路指導（中級篇）

推薦篇：
零基礎學習hadoop到上手工做線路指導（編程篇）