大數據學習路線：Hadoop集羣同步技術分享

今天給你們帶來的技術分享是——Hadoop集羣同步。

　　1、同步方式

　　選擇一個機器，做爲時間服務器(這裏選擇hadoop01)，全部的機器與這臺集羣時間進行定時的同步，好比，每隔十分鐘，同步一次時間。

　　2、所需工具

　　時間同步服務器有兩個：ntpd和ntpdatp。雖然使用兩者都能達到時間同步的目的，可是使用以前得弄清楚一個問題，ntpd與ntpdate在更新時間時有什麼區別。ntpd不單單是時間同步服務器，它還可經過客戶端與標準時間服務器進行時間同步，並且是平滑同步，並不是ntpdate當即同步，在生產環境中慎用ntpdate，也正如此二者不可同時運行。

　　3、具體操做步驟

　　時間服務器配置

　　(1)檢查ntp是否安裝。 [root@hadoop01 Desktop]# rpm -qa|grep ntp若是顯示 ntp-4.2.6p5-1.el6.centos.x86_64 . fontpackages-filesystem-1.41-1.1.el6.noarch

　　ntpdate-4.2.6p5-1.el6.centos.x86_64則證實ntp已經安裝，不然要先安裝ntp服務。[root@hadoop01 Desktop]# yum install -y ntp.

　　(2)修改ntp 配置文件[root@hadoop01 Desktop]# vi /etc/ntp.conf. 先配置客戶端的受權，也就是給指定的機器(客戶端)設置訪問NTP Server的權限，這是經過restrict配置項實現的。將#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap釋放。改成restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap.若是集羣是在一個封閉的局域網內，能夠屏蔽掉默認的server。

　　將server 0.centos.pool.ntp.org iburst.server 1.centos.pool.ntp.org iburst.

　　server 2.centos.pool.ntp.org iburst.server 3.centos.pool.ntp.org iburst屏蔽改成

　　#server 0.centos.pool.ntp.org iburst.#server 1.centos.pool.ntp.org iburst.#server 2.centos.pool.ntp.org iburst.#server 3.centos.pool.ntp.org iburst.將本機的本地時鐘做爲時間供給源，這樣，即使它失去網絡鏈接，它也能夠繼續爲網絡提供服務增長server 127.127.1.0 fudge 127.127.1.0 stratum.修改/etc/sysconfig/ntpd 文件

　　[root@hadoop01 Desktop]# vim /etc/sysconfig/ntpd增長SYNC_HWCLOCK=yes以後重啓ntpd，[root@hadoop01 Desktop]# service ntpd restart，設置ntpd開機默認啓動[root@hadoop01 Desktop]# chkconfig mtpd on。完成以上操做之後，使用date命令查看系統時間與當前時間是否對應，若是還不對應，應該是時區的問題。修改時區[root@hadoop01 Desktop]# tzselect。根據提示選擇正確的時區，而後將cp /usr/share/zoneinfo/Asia/Shanghai設置爲到/etc/localtime的連接

　　[root@hadoop01 Desktop]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

　　4、其餘機器配置

　　配置每十分鐘與時間服務器同步一次

　　須要在集羣中其餘的機器中都編寫時間同步腳本，這裏以hadoop02爲例，[root@hadoop02 Desktop]# crontab –e. */10 * * * * /usr/sbin/ntpdate hadoop01

　　重啓crond服務。 [root@hadoop02 Desktop]# service crond restart。若是須要，一樣要修改時區，操做同上。

　　到此，分享結束，歡迎你們一塊兒探討學習!