大數據開發有哪些難點？

今天我們聊聊大數據開發，大數據開發共有四個階段：數據採集，數據匯聚，數據轉換和映射，數據應用 。那麼每一個階段，他們的難點有都是什麼呢? 數據採集 數據採集有線上和線下兩種方式，線上一般通過爬蟲、通過抓取，或者通過已有應用系統的採集，在這個階段，我們可以做一個大數據採集平臺，依託自動爬蟲（使用python或者nodejs製作爬蟲軟件），ETL工具、或者自定義的抽取轉換引擎，從文件中、數據庫中、網頁

>>阅读原文<<