大數據生態圈集羣搭建彙總--Hadoop & Hive & Spark & Kafka & HBase & Sqoop & Flume

集羣搭建

• 集羣規劃彙總
• Linux 環境準備
• Hadoop Ha 集羣搭建
• Yarn 搭建
• Hive 搭建
• Spark 搭建
• Spark Standalone 模式
• Spark Yarn 模式
• Kafka 搭建
• Hbase 搭建
• Sqoop 搭建
• Flume 搭建

本文將持續更新…

集羣規劃彙總

角色	node01	node02	node03	node04	client
Hadoop-NameNode	√(主)	√(備)
Hadoop-DataNode		√	√	√
JournalNode	√	√	√
zookeeper		√	√	√
ZookeeperFailoverController	√	√
Hadoop-Client					√
Yarn-ResourceManager	√(主)	√(備)
Yarn-NodeManager		√	√	√
Yarn-Client					√
Hive-Server					√
Hive-Metastore(mysql)					√
Hive-client	√

Linux 環境準備

  博客地址: (一)Linux環境搭建

Hadoop Ha 集羣搭建

  博客地址: (二)高可用徹底分佈式搭建

Yarn 搭建

  博客地址: (三)Yarn資源調度器搭建

Hive 搭建

  博客地址: (四)Hive搭建的三種模式

Spark 搭建

Spark Standalone 模式

  博客地址:

Spark Yarn 模式

  博客地址:

Kafka 搭建

  博客地址:

Hbase 搭建

  博客地址:

Sqoop 搭建

  博客地址:

Flume 搭建

  博客地址: