大數據概論

大數據自學筆記

1.大數據興起

第三次信息化浪潮。核心技術雲計算、大數據、物聯網

（第一次信心化浪潮伴隨着我的計算機的出現，第二次信息化浪潮伴隨着互聯網的普及）

2.大數據前提條件

（1）硬件支持：CPU、存儲空間、網絡帶寬的增長

（2）數據生成方式改變：運營系統生成（超市銷售記錄） -- 用戶原創內容（微博、博客） -- 感知式系統階段（物聯網）（探頭、攝像頭等每時每刻生成數據）

3.大數據定義和特徵

（1）volume：數據量大

（2）variety：數據的來源及格式多種多樣

（3）velocity：數據增加速度快

（4）value：數據價值低

4.大數據的影響

經過大量數據的分析，判斷出現了什麼問題，而不是具體問題具體分析；再也不須要抽樣分析，只作全樣數據分析；更加關注數據之間的相關性

5.大數據的應用

決策與預測

6.大數據關鍵技術

（1）分佈式存儲

（2）分佈式處理

7.典型的計算模式

（1）批處理計算：mapreduce、spark

（2）流計算：數據是實時更新的，不能批處理，須要秒級響應

（3）圖計算

（4）查詢分析計算

8.物聯網基礎概念

（1）物和物相連，物和人相連。經過網絡把現實世界中的物和人鏈接起來。

（2）物聯網基礎架構：感知層（攝像頭、探頭）-- 傳輸層（互聯網）-- 處理層（數據處理）-- 應用層

（3）示例：掌上智能公交，經過GPS傳輸每一個公交車的實時位置。

（4）關鍵技術。識別技術（識別現實中各個事物並惟一標識的能力）感知技術（公交卡芯片等依據電磁感應進行數據交互）
9.雲計算基礎概念
請參考雲計算概論(￣▽￣)