【文智背後的奧祕】系列篇——海量數據抓取

大數據已經是個非常熱門的話題，文智平臺正是基於大數據的背景，利用並行計算系統和分佈式爬蟲系統，結合獨特的語義分析技術, 一站式滿足用戶NLP、轉碼、抽取、全網數據抓取等中文語義分析需求的開放平臺。現有的研究、工程應用方向基本上都是圍繞着大數據的存儲、計算等方面展開，但是對於一個基礎環節——數據獲取卻很少有相關的介紹。本文重點圍繞如何獲取垂直海量數據展開討論。 一.引言 數據的作用不言而喻，在各行各

>>阅读原文<<