大數據經常使用軟件安裝指南

1、基礎軟件安裝

  1. Linux 環境下 JDK 安裝
  2. Linux 環境下 Python 安裝
  3. 虛擬機靜態 IP 及多 IP 配置

2、Hadoop

  1. Hadoop 單機環境搭建
  2. Hadoop 集羣環境搭建
  3. 基於 Zookeeper 搭建 Hadoop 高可用集羣

3、Spark

  1. Spark 開發環境搭建
  2. 基於 Zookeeper 搭建 Spark 高可用集羣

4、Storm

  1. Storm 單機環境搭建
  2. Storm 集羣環境搭建

5、HBase

  1. HBase 單機環境搭建
  2. HBase 集羣環境搭建

6、Flume

  1. Linux 環境下 Flume 的安裝部署

7、Azkaban

  1. Azkaban3.x 編譯及部署

8、Hive

  1. Linux 環境下 Hive 的安裝部署

9、Zookeeper

  1. Zookeeper 單機環境和集羣環境搭建

10、Kafka

  1. 基於 Zookeeper 搭建 Kafka 高可用集羣

版本說明

因爲 Apache Hadoop 原有安裝包之間兼容性比較差,因此如無特殊需求,本倉庫一概選擇 CDH (Cloudera's Distribution, including Apache Hadoop) 版本的安裝包。它基於穩定版本的 Apache Hadoop 構建,並作了兼容性測試,是目前生產環境中使用最爲普遍的版本。git

最新的 CDH 5 的下載地址爲:http://archive.cloudera.com/cdh5/cdh/5/ 。這個頁面很大且加載速度比較慢,須要耐心等待頁面加載完成。上半部分是文檔連接,後半部分纔是安裝包。同一個 CDH 版本的不一樣框架間都作了集成測試,能夠保證沒有任何 JAR 包衝突。安裝包包名一般以下所示,這裏 CDH 版本都是 5.15.2 ,前面是各個軟件本身的版本 ,未避免出現沒必要要的 JAR 包衝突,請務必保持 CDH 的版本一致github

hadoop-2.6.0-cdh5.15.2.tar.gz 
hbase-1.2.0-cdh5.15.2
hive-1.1.0-cdh5.15.2.tar.gz

更多大數據系列文章能夠參見 GitHub 開源項目大數據入門指南框架

相關文章
相關標籤/搜索