漫話大數據

關於大數據，一般和雲計算成對出現。 大數據的產生，一部分依賴於用戶操做後的歷史數據，另外一部分則依賴於數據挖掘。若是僅就數據挖掘而言，目前最熱門的職位就是爬蟲開發工程師（根據編程語言劃分，又分Python，java，Scala，ruby），單機版的框架有webmagic，crawl4j；分佈式的則有nutch，scrapy等。挖掘到數據後，根據不一樣的業務場景，就要對數據結構，數據形式進行處理，這

>>阅读原文<<