CentOS6安裝各類大數據軟件 第三章：Linux基礎軟件的安裝

相關文章連接

CentOS6安裝各類大數據軟件 第一章：各個軟件版本介紹

CentOS6安裝各類大數據軟件 第二章：Linux各個軟件啓動命令

CentOS6安裝各類大數據軟件 第三章：Linux基礎軟件的安裝

CentOS6安裝各類大數據軟件 第四章：Hadoop分佈式集羣配置

CentOS6安裝各類大數據軟件 第五章：Kafka集羣的配置

CentOS6安裝各類大數據軟件 第六章：HBase分佈式集羣的配置

CentOS6安裝各類大數據軟件 第七章：Flume安裝與配置

CentOS6安裝各類大數據軟件 第八章：Hive安裝和配置

CentOS6安裝各類大數據軟件 第九章：Hue大數據可視化工具安裝和配置

CentOS6安裝各類大數據軟件 第十章：Spark集羣安裝和部署

1. 配置Linux的網絡環境

1.1. 安裝Linux系統時指定具體IP地址

步驟一：在以下位置點擊按鈕進入網絡設置界面

步驟二：雙擊網卡打開網卡的具體信息：

步驟三：具體設置網絡信息：

步驟四：設置好時區和root用戶密碼，並將更改寫入到磁盤中，點擊next；

步驟五：選擇Basic Server基礎服務安裝，點擊next進行安裝；

1.2. 在Linux內部配置IP地址並重啓網絡服務

修改IP地址：vim /etc/sysconfig/network-scripts/ifcfg-eth0
重啓網絡服務：systemctl retart network.service 或 service network restart
中止網絡服務：systemctl stop network.service
開啓網絡服務：systemctl start network.service

2. 建立bigData的軟件存放目錄和安裝必備軟件

上傳下載軟件（lrzss）和編輯軟件（vim）的安裝：
yum install -y lrzsz vim

建立bigData的軟件存放目錄：
mkdir -p /export/servers
mkdir -p /export/softwares
mkdir -p /export/datas
mkdir -p /export/logs
mkdir -p /export/jars
mkdir -p /export/scripts

3. JDK的安裝

#一、卸載原有jdk
rpm -qa|grep java
rpm -e --nodeps tzdata-java-2015e-1.el6.noarch
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.35-1.13.7.1.el6_6.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.79-2.5.5.4.el6.x86_64

#二、使用rz上傳jdk「參考資料\dev-soft\ jdk-8u65-linux-x64.tar.gz」

#三、解壓jdk
tar -zxvf jdk-8u65-linux-x64.tar.gz
rm -rf jdk-8u65-linux-x64.tar.gz
#四、配置java_home
vim /etc/profile

#五、打開之後；使用shift+g，輸入o
export JAVA_HOME=/export/servers/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#六、從新加載環境變量的配置文件
source /etc/profile

4. 將國外的yum源切換爲國內163的yum源

步驟一：上傳國內yum源文件CentOS6-Base-163.repo到Linux上
步驟二：進入/etc/yum.repos.d/目錄，將其中的全部文件刪除
步驟三：複製CentOS6-Base-163.repo文件到/etc/yum.repos.d/目錄下
步驟四：修改/etc/yum.repos.d/目錄下的CentOS6-Base-163.repo文件，將全部gpgcheck=1修改成gpgcheck=0
步驟五：配置yum
　　　　#首先清空全部
　　　　yum clean all
　　　　#其次進行緩存
　　　　yum makecache
　　　　#最後安裝telnet
　　　　yum install telnet

5. 自定義安裝Scala

步驟一：上傳Scala的壓縮包到Linux上
步驟二：對Scala的壓縮包進行解壓
　　　　tar -zxf scala-2.11.8.tgz -C /opt/modules/
步驟三：配置環境變量
　　　　vim /etc/profile
　　　　JAVA_HOME=/opt/modules/jdk1.8.0_144
　　　　SCALA_HOME=/opt/modules/scala-2.11.8
　　　　PATH=$JAVA_HOME/bin:$SCALA_HOME/bin:$PATH
　　　　export JAVA_HOME SCALA_HOME PATH
步驟四：刷新資源，使環境變量生效
　　　　source /etc/profile
步驟五：驗證是否安裝成功
　　　　scala -version

6. 在VMware上對Linux進行克隆

步驟一：在VMware中選擇要克隆的機器，右擊選擇克隆，並選擇地址
步驟二：在新的虛擬機中進入設置，並在網絡設置中從新生成新的MAC地址
步驟三：啓動node-2；並修改其主機名和ip等信息：
　　　　#由於搭建的是basic Server；因此自帶了vim；能夠在之後的內容中使用了vi的時候均可以使用vim代替。
　　　　#修改主機名；修改原 hostname 爲 newname
　　　　vim /etc/sysconfig/network
　　　　#刪除文件讓其自動生成
　　　　rm -rf /etc/udev/rules.d/70-persistent-net.rules
　　　　#修改mac和ip
　　　　vim /etc/sysconfig/network-scripts/ifcfg-eth0
　　　　#刪除上述文件中的HWADDR；（在命令模式的使用使用,dd）
　　　　#修改上述文件中的ip；改成：192.168.12.122
　　　　#保存文件：在命令模式下:wq或者快捷鍵shift+z+z
　　　　#重啓系統
　　　　reboot

7. Linux配置免密登陸

#生成一對公鑰，私鑰
ssh-keygen -t rsa

#複製到其餘須要配置免密登陸的機器
ssh-copy-id 192.168.12.121

#測試以下命令是否可鏈接到對應的機器
ssh root@192.168.12.121

#注：需先在/etc/hosts文件下配置對應的host

8. Linux安裝MySQL（Linux爲CentOS6版本）

8.1. MySQL在線安裝

yum install mysql-server

8.2. 啓動MySQL服務

service mysqld start

8.3. 查看MySQL服務狀態

service mysqld status

8.4. 設置MySQL服務自啓動

#開啓MySQL自啓動
chkconfig mysqld on
#查看開機自啓,看到2,3,4,5是on便可
chkconfig --list mysqld

8.5. 設置MySQL密碼

/usr/bin/mysqladmin -uroot password 'root'

8.6. 鏈接MySQL

#回車輸入密碼便可
mysql -uroot -p

8.7. 開啓mysql的遠程登錄權限

#在MySQL數據庫內部輸入以下命令
grant all privileges on *.* to 'root'@'%' identified by 'root';
flush privileges;

9. Linux安裝zookeeper

9.1. 安裝zookeeper軟件

#在node-1,2,3都執行以下命令；可使用secrueCRT同時執行
mkdir -p /export/data/zkdata

#檢測集羣時間是否同步
date -s "2018-07-30 14:03:03"

#檢測防火牆是否關閉
service iptables stop
chkconfig iptables off

##下載安裝包、解壓
cd /export/server
tar -zxvf zookeeper-3.4.5.tar.gz
mv zookeeper-3.4.5 zookeeper

##修改Zookeeper配置文件
cd zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
#修改內容：
dataDir=/export/data/zkdata
#添加以下內容
server.1=node-1:2888:3888
server.2=node-2:2888:3888
server.3=node-3:2888:3888

在data文件夾下新建myid文件，myid的文件內容爲：
cd /export/data/zkdata
echo 1 > myid

##分發安裝包到其餘機器
scp -r /export/server/zookeeper root@node-2:/export/server
scp -r /export/server/zookeeper root@node-3:/export/server

##修改其餘機器（node-2,node-3）的配置文件
修改myid文件
到node-2上：
cd /export/data/zkdata
echo 2 > myid

到node-3上：
cd /export/data/zkdata
echo 3 > myid


##啓動（每臺機器）
/export/server/zookeeper/bin/zkServer.sh start

##查看集羣狀態
jps（查看進程）
#查看集羣狀態，主從信息
/export/servers/zookeeper/bin/zkServer.sh status

#將啓動，中止等命令加入環境變量
export ZK_HOME=/export/servers/zookeeper
export PATH=${ZK_HOME}/bin:$PATH

9.2. 配置Zookeeper的一鍵啓動，並配置到環境變量中

#步驟一：在/export/servers/onekey文件夾下配置slave文件
192.168.12.121
192.168.12.122
192.168.12.123

#步驟二：配置一鍵啓動
vim startzk.sh
#輸入以下內容
cat /export/servers/onekey/zk/slave | while read line
do
{
 echo "開始啓動 --> "$line
 ssh $line "source /etc/profile;nohup sh ${ZK_HOME}/bin/zkServer.sh start >/dev/null 2>&1 &"
}&
wait
done
echo "★★★啓動完成★★★"
#保存退出

#步驟三：配置一鍵中止
vim stopzk.sh
#輸入以下內容
cat /export/servers/onekey/zk/slave | while read line
do
{
 echo "開始中止 --> "$line
 ssh $line "source /etc/profile;nohup sh ${ZK_HOME}/bin/zkServer.sh stop >/dev/null 2>&1 &"
}&
wait
done
echo "★★★中止完成★★★"
#保存退出

#步驟四：將一鍵啓動和中止命令加入環境變量
export ONEKEY=/export
export PATH=${ONEKEY}/onekey:$PATH