大數據基礎學習數據庫
大數據基礎入門編程
爲何要學習大數據編程語言
一、目的:要份很好工做(錢)編輯器
二、對比:Java開發和大數據開發分佈式
什麼是大數據?工具
舉例:oop
一、商品推薦:問題:學習
(1)大量的訂單如何存儲?大數據
(2)大量的訂單如何計算?spa
二、天氣預報:問題:
(1)大量的天氣數據如何存儲?
(2)大量的天氣數據如何計算?
若是你想要學好大數據最好加入一個好的學習環境,能夠來這個Q羣251956502 這樣你們學習的話就比較方便,還可以共同交流和分享資料
什麼是大數據,本質?
(1)數據的存儲:分佈式文件系統(分佈式存儲)
(2)數據的計算:分佈式計算
Java和大數據是什麼關係?
一、Hadoop:基於Java語言開發
二、Spark:基於Scala語言,Scala基於Java語言
學習大數據須要的基礎和路線
一、學習大數據須要的基礎:
Java基礎(JavaSE)---> 類、繼承、I/O、反射、泛型*
Linux基礎(Linux的操做) ---> 建立文件、目錄、vi編輯器*
二、學習路線:
(1)Java基礎和Linux基礎
(2)Hadoop的學習:體系結構、原理、編程
(*)第一階段:HDFS、MapReduce、HBase(NoSQL數據庫)
(*)第二階段:數據分析引擎 ---> Hive、Pig
數據採集引擎 ---> Sqoop、Flume
(*)第三階段:HUE:Web管理工具
ZooKeeper:實現Hadoop的HA
Oozie: 工做流引擎
(3)Spark的學習
(*)第一個階段:Scala編程語言
(*)第二個階段:Spark Core-----> 基於內存,數據的計算
(*)第三個階段:Spark SQL -----> 相似Oracle中的SQL語句
(*)第四個階段:Spark Streaming--->
進行實時計算(流式計算)好比:自來水廠
(4)Apache Storm:相似Spark Streaming ---> 進行實時計算 (流式計算):好比:自來水廠
(*)NoSQL:Redis基於內存的數據庫