2.馬士兵_hadoop初識

1.namenode啓動：hadoop-daemon.sh start namenode，datanode啓動：hadoop-daemon.sh start datanode

2.查看namenode狀態信息：hdfs dfsadmin -report|more；查看進程：netstat -ntlp；能夠打開web頁查看集羣狀況：http://192.168.56.100:50070；其中utilities能夠查看目錄樹block狀況，能夠查看啓動日誌，若是出問題了能夠看看。

3.默認hadoop會把數據放到tmp目錄下面，因此可能會被清理掉。

4.namenode關閉：hadoop-daemon.sh stop namenode，datanode關閉：hadoop-daemon.sh stop datanode

5./usr/local/hadoop/etc/hadoop/slaves 這個文件集中管理着相關的子節點信息。

6.若是考慮管理的datanode節點不少，就要集中式的管理，那麼就在/usr/local/hadoop/etc/hadoop/slaves中配置相關datanode節點後，namenode調用後直接發送命令給相應機器便可。命令是：start-dfs.sh，secondaaryNamenode啓動就啓動吧。

7.每次啓動這麼多slave機器，自動密碼如何設置呢？咱們把master生成的公鑰傳給slave，root用私鑰登陸後，slave用公鑰能夠解密成功，那就不須要在輸入密碼了。

cd ；.ssh；ssh-copy-id slave1/slave2/slave3;ssh slave1直接登陸成功。start-dfs.sh,stop-dfs.sh。若是防火牆沒開的話應該就能夠控制啓動關閉了。若是slave數量很大，用shell腳本1次性copy。

8.hdfs就當作一塊大硬盤，hadoop fs -ls /,能夠查看全部文件系統的。大部分命令和linux使用差很少。如刪除文件，hadoop fs -rm /hello.txt。以下面這些經常使用命令的使用：

9.如何修改文件保存的block數量呢？怎麼查這些配置文件呢？

在hadoop的安裝包下面有doc能夠查看：F:\BaiduNetdiskDownload\hadoop-2.7.3\share\doc\hadoop\index.html，如查詢dfs.replication後修改後重啓集羣，上傳新文件就會發現是2塊了。

10.下面咱們測試若是kill了slave3，那block可否自動複製到slave1上呢，自動冗餘？

爲了觀察方便，咱們把master的心跳檢查調小點。修改hdfs-site.xml的屬性後（dfs.namenode.heartbeat.recheck-interval），重啓。stop slave3後，block1節點確實自動從slave2複製到slave1上了。原來是在slave2和slave3上。

實驗後發現slave3啓動後也沒有刪掉剛纔的塊。

總結：

1.hadoop一臺機器能夠帶動上百上千臺機器，很容易動態擴展。hdf是主流的，只不過在上的計算框架和引擎競爭比較多。

2.僞分佈式程序能夠做爲單機的java開發測試使用，部署生產效果理論類似。動態擴展只要core-site.xml中指定master地址就能自動發現。