Day12

1.今天的學習過程和小結：

開發項目，經過分析日誌用戶畫像描繪

數據清洗，第一階段：把須要的信息從原始日誌中提取出來，第二階段：根據提取出來的信息作精細化操做

數據處理，按照咱們的須要進行相應業務的統計和分析 spark、Hive、MapReduce或其餘的一些分佈式計算框架

處理結果入庫，結果能夠存放到mysql

數據的可視化，經過圖形化展現的方式展示出來：餅圖、柱狀圖、地圖、折線圖 Echarts、HUE、zeppelin

 

2.遇到的問題：

數據清洗的時候，屢次出現下標越界的問題，主要緣由是對數據的格式把握不許確，有許多未預料到的數據出現

mapreduce編寫不熟練

 

3.思惟導圖