hadoop集羣配置的一些補充

        最近開始學習hadoop,準備先搭建一個hadoop集羣跑起來,發現了不少不錯的博文,可是在實際的操做中,總會遇到一些博文中未曾提到的問題,本章博文用於記載這些問題以及問題解決的方式。
java

  1. 在配置SSH免密碼登錄的時候,在master機上生成了key,將public key分別複製到slave1機和slave2中,都是用cat命令將public key加入到authorized_keys中,但slave1能夠密碼登錄而slave2不行,以後slave2刪除了.ssh,從文件夾建立到將key加入authorized_keys中重新來了一次,文件夾權限與slave1徹底一致(博主有仔細的對比過),但仍是不行。node

    解決方式:shell

         最終使用ssh-copy-id 命令解決了,完整命令以下:apache

ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 18330 root@192.168.1.253:~/.ssh"
  1.     
  2. 以上命令,能夠自動將公鑰添加到名爲authorized_keys的文件中。爲何以前用cat命令不行,至今都沒明白緣由,有懂的大神請指教

2.  hadoop啓動的使用,dataNode和taskTracker老是不能啓動,到日誌中查看出現下面的錯誤:ssh

org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to master/192.168.56.101:9000 failed on local exception: java.net.NoRouteToHostException: No route to host

    解決方式:
oop

            關閉master的防火牆,或者修改防火牆配置開始使用的端口
學習

相關文章
相關標籤/搜索