大數據開發有哪些難點？

今天咱們聊聊大數據開發，大數據開發共有四個階段：數據採集，數據匯聚，數據轉換和映射，數據應用 。那麼每個階段，他們的難點有都是什麼呢?node 數據採集python 數據採集有線上和線下兩種方式，線上通常經過爬蟲、經過抓取，或者經過已有應用系統的採集，在這個階段，咱們能夠作一個大數據採集平臺，依託自動爬蟲（使用python或者nodejs製做爬蟲軟件），ETL工具、或者自定義的抽取轉換引擎，從文件

>>阅读原文<<