大數據實驗室（大數據基礎培訓）——環境準備

爲某企業作的培訓，完整文檔見：http://gudaoxuri.github.io/bd-lab/

2. 環境準備

硬件要求：內存：>=4G，硬盤：>=20G，網絡暢通
系統要求：Centos6.x，開啓SSH，推薦使用Docker，也可以使用實體機或虛擬機（Vmware、Virtualbox或Hyper-V）
基本環境：安裝完成 JDK八、Scala2.10.x，MySQL、Mongo

2.1. 使用Docker建立環境（推薦/可選）

如您使用的是實體機或虛擬機請忽略此操做。

• 下載Docker

Linux直接使用包管理工具安裝（Centos6及如下版本安裝比較麻煩）， Windows或Mac使用Docker toolbox安裝（已在資源列表中） 詳細參見： https://docs.docker.com/

• 添加鏡像

從官方倉庫安裝：

# 下載scala基礎鏡像
docker pull gudaoxuri/scala_2.10
# 下載mysql鏡像
docker pull mysql
# 下載Mongo鏡像
docker pull mongo

如網絡過慢可以使用資源列表中已下載的鏡像安裝：

# 從本地添加scala基礎鏡像
docker load -i <your path>/images/scala_2.10_image.tar
# 從本地添加mysql鏡像
docker load -i <your path>/images/mysql_image.tar
# 從本地添加mongo鏡像
docker load -i <your path>/images/mongo_image.tar

• 建立容器

# 建立mysql容器，開放3306端口，用戶名root，密碼123456
docker run --name mysql -e MYSQL_ROOT_PASSWORD=123456 -p 3306:3306 -d mysql
# 建立mongo容器，開放27017端口，無需認證
docker run --name mongo -p 27017:27017 -d mongo
# 建立scala基礎容器，開放大數據服務須要的幾個重要端口
docker run --name bd-lab -h bd -d \
     -p 2181:2181 \
     -p 6066:6066 \
     -p 7077:7077 \
     -p 8088:8088 \
     -p 8041:8041 \
     -p 19888:19888 \
     -p 60010:60010 \
     -p 60030:60030 \
     -p 4040:4040 \
     -p 8080:8080 \
     -p 8081:8081 \
     -p 9000:9000 \
     -p 7203:7203 \
     -p 9092:9092 \
     -p 50010:50010 \
     -p 50070:50070 \
     -p 50075:50075 \
     -p 10000:10000 \
     -p 28081:28081 \
     -p 222:22 \
     -v /c/Users/i/docker_data/bd-lab:/opt/res \
     gudaoxuri/scala_2.10

容器說明 gudaoxuri/scala_2.10鏡像開放了SSH服務，用戶名root，密碼123456，端口號222 -v表示添加數據映射，此處用於獲取宿主機是已下載的框架包。對於Windows和Mac宿主機的路徑有必定要求，詳見 https://docs.docker.com/engine/userguide/containers/dockervolumes/#mount-a-host-directory-as-a-data-volume

後續環境使用docker容器，如無特殊說明所使用容器均基於gudaoxuri/scala_2.10鏡像。

Docker使用簡明教程 http://gudaoxuri.github.io/Docker_ABC/

2.2. 使用Virtual box建立環境（可選）

• 下載CentOS6.x

  http://mirrors.163.com/centos/6.7/isos/x86_64/CentOS-6.7-x86_64-minimal.iso

• 安裝CentOS到Virtual box

注意事項 網絡使用網橋模式 選擇中文（避免亂碼） 主機名使用bd IP及DNS安裝完成後再配置

• 安裝完成，配置網絡

vi /etc/sysconfig/network-scripts/ifcfg-eth0

ONBOOT=yes
BOOTPROTO=static
IPADDR=<ip>
NETMASK=<mask>
GATEWAY=<getway>

ifup eth0

vi /etc/resolv.conf

nameserver 180.76.76.76
nameserver 8.8.8.8

測試

ifconfig
ping www.baidu.com

• 安裝必須的工具

# 測試環境，能夠關閉防火牆
chkconfig iptables off
service iptables stop

yum install -y wget

# 安裝java
wget -P /opt/env/ --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie"  http://download.oracle.com/otn-pub/java/jdk/8u60-b27/jdk-8u60-linux-x64.tar.gz
tar -xzf /opt/env/jdk-8u60-linux-x64.tar.gz -C /opt/env/
rm -rf /opt/env/jdk-8u60-linux-x64.tar.gz
mv /opt/env/jdk1.8.0_60 /opt/env/java
echo "export JAVA_HOME=/opt/env/java" >> /etc/profile

# 安裝Scala
wget -P /opt/env/ http://downloads.typesafe.com/scala/2.10.6/scala-2.10.6.tgz
tar -xzf /opt/env/scala-2.10.6.tgz -C /opt/env/
rm -rf /opt/env/scala-2.10.6.tgz
mv /opt/env/scala-2.10.6 /opt/env/scala
echo "export SCALA_HOME=/opt/env/scala" >> /etc/profile

echo 'export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin' >> /etc/profile
source /etc/profile

# 安裝MySQL
yum install -y mysql-server mysql mysql-devel
service mysqld start
# mysqladmin -u root password 123456
mysql -u root -p
grant all on *.* to'root'@'%' identified by '123456';
flush privileges;

# 安裝Mongo
vi /etc/yum.repos.d/mongodb-org-3.2.repo
  [mongodb-org-3.2]
  name=MongoDB Repository
  baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.2/x86_64/
  gpgcheck=1
  enabled=1
  gpgkey=https://www.mongodb.org/static/pgp/server-3.2.asc

yum install -y mongodb-org

vi /etc/mongod.conf
  bind_ip = 0.0.0.0

service mongod start

• 文件夾共享

vi /etc/selinux/config
   SELLINUX=disabled

yum install -y samba
vi /etc/samba/smb.conf
    # 開啓匿名訪問
    security = share
    # 修改訪問目錄
    [public]
    comment = Public Stuff
    path = /share
    availabe = yes
    browseable = yes
    public = yes
    writable = yes
    printable = no
    write list = +staff

mkdir /share
chmod 777 /share
/etc/init.d/smb start

2.3. 基本環境建立

SSH到實驗環境

# 建立用戶user,密碼123456
adduser user
passwd user
mkdir -p /opt/workspaces/
chown user: /opt/workspaces/

# 進入user帳號
su - user

# 切換到工做空間
cd /opt/workspaces
# 建立各框架lib目錄
mkdir frameworks
# 建立各框架數據目錄
mkdir data
# 建立各框架日誌目錄
mkdir logs
# 建立應用包目錄
mkdir apps

# 建立SSH免密鑰登陸
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

如無特殊說明後續操做都使用user帳號