Spark編程基礎-課堂筆記(一)

本文主要對廈門大學《spark》編程基礎課程知識點進行記錄 大數據4V特性 大量化 Volume 多樣化 Variety:數據不只限於結構化數據,目前非結構化數據居多 處理速度快 Velocity:有實時響應的需求 價值密度低 Value 大數據關鍵技術 數據採集:爬蟲工具/ETL工具(抽取 轉換 加載) 數據存儲與管理:分佈式文件系統/分佈式數據庫/NoSQL數據庫 數據處理與分析:分佈式架構(
相關文章
相關標籤/搜索