大數據學習指導手冊

1、課程地址

1. 廈門大學數據庫實驗室
   http://dblab.xmu.edu.cn/

2. 《大數據技術原理與應用》教材官網
   http://dblab.xmu.edu.cn/post/bigdata/

3. 《大數據基礎編程、實驗和案例教程》教材官網
   http://dblab.xmu.edu.cn/post/bigdatapractice/
   注：推薦教材

4. 大數據Linux實驗環境虛擬機鏡像文件
   http://dblab.xmu.edu.cn/blog/1645-2/
   鏡像地址：https://pan.baidu.com/s/1kUWaNWz#list/path=%2F
   Visual box 5.2+ubuntu 14.06.04

5. 林子雨編著《大數據技術原理與應用》教材配套大數據軟件安裝和編程實踐指南
   http://dblab.xmu.edu.cn/post/5663/
   重要網頁，包含軟件下載地址與編程實踐指南兩部份內容。

6. 配套大數據軟件下載地址
   https://pan.baidu.com/s/1ZuY142dtMERuh4vfliAgJg#list/path=%2F
   提取碼：gx0b

7. 林子雨主講入門級大數據在線課程(包含課程視頻)
   http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson0

8. 大數據技術原理與應用 第二章 大數據處理架構Hadoop 學習指南
   http://dblab.xmu.edu.cn/blog/285/

9. hadoop單機版與僞分佈式安裝步驟
   http://dblab.xmu.edu.cn/blog/install-hadoop/

10. eclipse mars下載地址
    https://www.eclipse.org/downloads/packages/release/mars/2

11. hadoop集羣安裝步驟
    http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/

12. ssh加密原理學習貼：
    https://www.cnblogs.com/linzetong/p/10382432.html
    https://www.cnblogs.com/pcheng/p/9629621.html
    https://blog.csdn.net/udeankyd/article/details/81059704
    https://blog.csdn.net/a1510841693/article/details/83743989

13. 大數據技術原理與應用 第三章 分佈式文件系統HDFS 學習指南
    http://dblab.xmu.edu.cn/blog/290-2/

14. 大數據原理與應用 第四章 分佈式數據庫HBase 學習指南
    http://dblab.xmu.edu.cn/blog/install-hbase/

15. Hbase原理、基本概念、基本架構
    https://blog.csdn.net/woshiwanxin102213/article/details/17584043

16. 使用Eclipse編譯運行MapReduce程序_Hadoop2.6.0_Ubuntu/CentOS(實驗報告7)
    http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/

17. 林子雨編著《大數據技術原理與應用》教材配套上機練習題目
    http://dblab.xmu.edu.cn/post/5645/
    注：與書本課後實驗對應，可是格式不同，從學生角度出發。

18. 廈門大學林子雨編著《大數據技術原理與應用》教材配套機房上機實驗指南
    http://dblab.xmu.edu.cn/post/6131/
    注：與書本課後實驗一致

19. PPT下載
    http://dblab.xmu.edu.cn/post/5633/

20. 中國大學mooc（hadoop）（未開課，不能看）
    http://www.icourse163.org/course/XMU-1002335004

21. 網易雲課堂（hadoop）
    https://study.163.com/course/courseMain.htm?courseId=1002887002&trace_c_p_k2=036309fb1fd04d16bad3fad81fe6e28a#/courseDetail?tab=1

22. 林子雨Spark教材官網
    http://dblab.xmu.edu.cn/post/spark/
    包含實驗指南網址

23. 子雨大數據之Spark入門教程（Scala版）（教材文字版-簡化版本）
    http://dblab.xmu.edu.cn/blog/spark/
    主要的學習材料

24. Scala安裝（實驗報告1）
    http://dblab.xmu.edu.cn/blog/929-2/

25. scala下載地址
    https://www.scala-lang.org/download/2.11.8.html
    https://www.scala-sbt.org/download.html

26. Spark安裝(實驗報告2)
    http://dblab.xmu.edu.cn/blog/1307-2/

27. 使用Eclipse編寫Spark應用程序（Scala+SBT）
    http://dblab.xmu.edu.cn/blog/1490/

28. 網易雲課堂（spark）
    https://study.163.com/course/introduction/1005031005.htm

29. 中國大學mooc(spark)
    http://www.icourse163.org/course/XMU-1205811805

30. 教材百度網盤
    https://pan.baidu.com/s/1l80bqAUpvnFTMNRHEyODeQ#list/path=%2F
    提取碼：vdgm

31. ppt下載
    http://dblab.xmu.edu.cn/post/7659/#kejianxiazai

32. 在集羣上運行Spark應用程序
    http://dblab.xmu.edu.cn/blog/1217-2/

33. Spark 2.0分佈式集羣環境搭建
    http://dblab.xmu.edu.cn/blog/1187-2/

34. Spark快速入門指南 – Spark安裝與基礎使用
    http://dblab.xmu.edu.cn/blog/spark-quick-start-guide/

35. 網易雲課堂視頻（spark）
    https://study.163.com/course/introduction.htm?courseId=1005031005#/courseDetail?tab=1

2、hadoop實驗報告

一、實驗報告1：

2019/10/3 ubuntukylin16.04(Original) 原始安裝盤
2019/10/3 ubuntukylin16.04(1) = ubuntukylin16.04(Original)+安裝vmware-tools

二、實驗報告2：

2019/10/3 ubuntukylin16.04(2) = ubuntukylin16.04(1)+ssh
2019/10/5 ubuntukylin16.04(3)=ubuntukylin(2)+jdk
2019/10/5 ubuntukylin16.04(4)=ubuntukylin(3)+hadoop(單機版)
2019/10/14 ubuntukylin16.04(5)= ubuntukylin16.04(4)+僞分佈配置

三、實驗報告3：

2019/10/25 master= ubuntukylin16.04(4)+集羣配置
2019/10/25 slave1= ubuntukylin16.04(4)+集羣配置

四、實驗報告4：

2019/11/5 ubuntukylin16.04(5.5)= ubuntukylin16.04(5)+eclipse（在線安裝）
內容：1）基於ubuntu(5)版本，安裝eclipse,造成5.5版本。
2）基於ubuntu(5.5)版本，完成shell HDFS練習。
3）基於ubuntu(5.5)版本，基於eclipse完成HDFS程序開發。
備註：離線安裝eclipse-java-mars-2-linux-gtk-x86_64.tar.gz，很是卡，幾乎不能使用，故改成在線安裝方式，版本號爲3.8.1

五、實驗報告5：

2019/11/03 ubuntukylin16.04(6)=ubuntu16.04(5)+hbase+hbase單機版配置
2019/11/03 ubuntukylin16.04(7)=ubuntu16.04(6)+hbase僞分佈式版配置
內容：1）基於ubuntu(5)版本，完成HBASE單機版配置,造成ubuntu(6)版本。
2）基於ubuntu(6)版本，完成HBASE僞分佈式配置，造成ubuntu(7)版本。
3）基於ubuntu(7)版本，完成HBASE SHELL命令練習。

六、實驗報告6：

2019/11/03 ubuntukylin16.04(8)= ubuntukylin16.04(7)+eclipse（在線安裝）+HBASE實例程序
內容：
1）基於ubuntu(7)版本，在線安裝eclipse，造成ubuntu(8)。
2）基於ubuntu(8)版本，完成eclipse HBASE編程實踐。

七、實驗報告7

2019/12/15 ubuntukylin16.04(9)= ubuntukylin16.04¬(8)+ hadoop-eclipse-kepler-plugin-2.6.0.jar
內容：1）基於ubuntu(8)版本，安裝eclipse插件,造成ubuntukylin16.04(9)版本。
2）基於ubuntu(9)版本，完成eclipse MapReduce程序開發。

3、Spark實驗報告

一、實驗報告1：安裝scala

2020/2/7 ubuntukylin16.04(10)= ubuntukylin16.04(4)+scala-2.11.8

內容：1）基於ubuntukylin16.04(4)版本，安裝scala-2.11.8,造成ubuntukylin16.04(10)
參照http://dblab.xmu.edu.cn/blog/spark/的快學scala部分，完成實例練習。

二、實驗報告2：安裝spark

2020/2/10 ubuntukylin16.04(11)=ubuntukylin16.04(10)+spark2.1.0+sbt0.13.15

內容：參考http://dblab.xmu.edu.cn/blog/1307-2/ ,基於ubuntukylin16.04(10),安裝spark2.1.0和sbt0.13.15

4、Enjoy！