Ubuntu下本地模式的Storm環境搭建

1、Storm相關介紹  

    Apache Storm是一個分佈式實時大數據處理系統。Storm設計用於在容錯和水平可擴展方法中處理大量數據。它是一個流數據框架，具備最高的攝取率。雖然Storm是無狀態的，它經過Apache ZooKeeper管理分佈式環境和集羣狀態。它很簡單，您能夠並行地對實時數據執行各類操做。

    Apache Storm繼續成爲實時數據分析的領導者。Storm易於設置和操做，而且它保證每一個消息將經過拓撲至少處理一次。

    本次安裝列表：jdk+zookeeper+storm+maven+IDEA

2、安裝

1 安裝jdk

將下載的java壓縮包解壓到/usr/local目錄下：

sudo tar -zxvf jdk-8u161-linux-x64.gz -C /usr/local
sudo chown -R storm:storm /usr/local/jdk1.8.0_161   #改變文件夾全部者

設置環境變量：

vim ~/.bashrc

在末尾添加：

export JAVA_HOME=/usr/local/jdk1.8.0_161
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

保存並生效：

source ~/.bashrc

驗證：

java -version

2 安裝zookeeper

下載zookeeper

（cdh5版連接：http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.12.0.tar.gz

apache版連接：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz）

將下載的zookeeper壓縮包解壓到/usr/local目錄下：

sudo tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local
sudo mv /usr/local/zookeeper-3.4.10/ /usr/local/zookeeper  #重命名文件夾
sudo chown -R storm:storm /usr/local/zookeeper   #改變文件夾全部者

設置環境變量：

vim ~/.bashrc

在末尾添加：

export ZK_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZK_HOME/bin

保存並生效：

source ~/.bashrc

修改配置文件

cd /usr/local/zookeeper/conf/   #zookeeper的配置文件目錄
cp zoo_sample.cfg zoo.cfg       #拷貝zoo_sample.cfg文件，重命名爲zoo.cfg
vim zoo.cfg

若zookeeper爲本地模式，則只須要修改dataDir參數的值便可（默認爲/tmp/zookeeper）

驗證：

3 安裝storm

在apache下載storm（連接：https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.2.1/apache-storm-1.2.1.tar.gz）

將下載的storm壓縮包解壓到/usr/local目錄下：

sudo tar -zxvf apache-storm-1.2.1.tar.gz -C /usr/local
sudo mv /usr/local/apache-storm-1.2.1/ /usr/local/storm  #重命名文件夾
sudo chown -R storm:storm /usr/local/storm   #改變文件夾全部者

設置環境變量：

vim ~/.bashrc

在末尾添加：

export STORM_HOME=/usr/local/storm
export PATH=$PATH:$STORM_HOME/bin

保存並生效：

source ~/.bashrc

修改配置文件

cd /usr/local/storm/conf
vim storm-env.sh

指定本身的jdk的home目錄，若是已經在環境變量裏面設置好了JAVA_HOME，也能夠省略這部

4 安裝maven（也能用IDEA自帶的maven）

下載maven（連接：http://www-us.apache.org/dist/maven/maven-3/3.5.2/binaries/apache-maven-3.5.2-bin.tar.gz）

將下載的maven壓縮包解壓到/usr/local目錄下：

sudo tar -zxvf apache-maven-3.5.2-bin.tar.gz -C /usr/local
sudo mv /usr/local/apache-maven-3.5.2-bin.tar.gz/ /usr/local/maven #重命名文件夾
sudo chown -R storm:storm /usr/local/maven   #改變文件夾全部者

更改配置文件

gedit /usr/local/maven/conf/settings.xml

修改本地倉庫目錄（可選）

若從國外的源下載較慢，能夠選擇添加阿里的源

設置環境變量：

vim ~/.bashrc

在末尾添加：

export MAVEN_HOME=/usr/local/maven
export PATH=$PATH:$MAVEN_HOME/bin

保存並生效：

source ~/.bashrc

驗證

mvn -v

5 安裝IDEA

下載IDEA旗艦版（連接：https://download.jetbrains.8686c.com/idea/ideaIU-2017.3.4.tar.gz）

將下載的maven壓縮包解壓到/usr/local目錄下：

sudo tar -zxvf ideaIU-2017.3.4.tar -C /usr/local
sudo mv /usr/local/ideaIU-2017.3.4.tar/ /usr/local/idea #重命名文件夾
sudo chown -R storm:storm /usr/local/idea #改變文件夾全部者

啓動idea

cd /usr/local/idea/bin
./idea.sh

過程當中會提示咱們建立桌面快捷方式

6 建立storm項目

新建maven項目

選擇本身安裝的maven及配置文件（這時會自動選擇配置文件裏指定的倉庫目錄）

一直下一步，完成

在pom.xml裏添加storm依賴

<!-- https://mvnrepository.com/artifact/org.apache.storm/storm-core -->
<dependency>
    <groupId>org.apache.storm</groupId>
    <artifactId>storm-core</artifactId>
    <version>1.2.1</version>
</dependency>

最終以下所示

注：在 local mode（本地模式），即用LocalCluster提交的代碼能夠在使用maven添加須要的jar包後就能夠直接運行，由於它是用一個進程來模擬一個storm集羣的，因此也不須要安裝配置任何storm的環境。