Sparksql實戰 - 用戶行爲日誌

文章目錄 用戶行爲日誌概述 數據處理流程 項目需求 imooc網主站日誌內容構成 數據清洗 數據清洗之第一步原始日誌解析 數據清洗之二次清洗概述 數據清洗之日誌解析 數據清洗之ip地址解析 數據清洗結果以及存儲到目標地址 需求統計功能實現 Spark on YARN基礎 數據清洗做業運行到YARN上 統計做業運行在YARN上 性能優化 性能優化之存儲格式的選擇 性能調優之壓縮格式的選擇 性能優化之

>>阅读原文<<