【hadoop】hadoop3.2.0應用環境搭建與使用指南

下面列出我搭建hadoop應用環境的文章整理在一塊兒，不按期更新，供你們參考，互相學習！！！

雜談篇：

【英語學習】 Re-pick up English for learning big data (not updated regularly)

【轉】大數據工程師須要學習哪些?

【轉】大數據東西辣麼多，我該如何給本身一個清晰的定位呢？

【轉】大數據求職者說

【雜談】大數據主流技術簡介

第一篇  大數據主流技術之HADOOP部分

1.1 hadoop3.2.0的安裝並測試

1.2 編譯Hadoop鏈接eclipse的插件碰見的一系列錯誤，崩潰的操做 

1.3 在eclipse上運行WordCount的操做過程

1.4 看懂WordCount例子

1.5 MapReduce分佈式計算框架原理

1.6 簡易剖析Hadoop做業工做機制

第二篇  大數據主流技術之HIVE與HBASE部分

2.1 centos7下mysql的安裝以及基本操做

2.2 centos7下apache-hive-3.1.2-bin的安裝測試

2.3 apache-zookeeper-3.5.5的安裝測試

2.4 hbase-2.2.1配置獨立的zookeeper的安裝與測試

2.5 hbase理論學習

第三篇  大數據主流技術之SQOOP與ZOOKEEPER部分

3.1 安裝配置測試sqoop1

3.2 安裝部署kafka集羣（kafka版本：kafka_2.12-2.3.0）

第四篇  內存計算主流技術之SPARK與SCALA部分

4.1 scala安裝測試

4.2 spark-2.4.4的安裝與測試

4.3 scala&sbt+idea安裝配置與測試

4.4 scala&sbt+idea+spark使用過程當中問題彙總（不按期更新）

4.5 spark應用（分佈式估算圓周率+基於Spark MLlib的貸款風險預測）

腳本：

0.1 linux中編寫腳本批量啓動zookeeper

0.2 一鍵啓動kafka腳本

命令 ：

Hadoop:
啓動：sbin/start-all.sh 或 start-dfs.sh + start-yarn.sh
中止：stop-all.sh
啓功歷史服務器：sbin/mr-jobhistory-daemon.sh start jobhistoryserver
注：因Hadoop和Spark啓動命令同樣，故在設置環境變量時只設置其中一個
MySQL：
啓動：service mysqld start
中止：service mysqld stop
狀態：service mysqld status
Spark：
啓動：sbin/start-all.sh
中止：stop-all.sh
idea：
啓動：bin/idea.s

 文件分享：

連接：https://pan.baidu.com/s/1e6zz4p-rCbzzE5DxMA4eFw
提取碼：amdl