實戰低成本服務器搭建千萬級數據採集系統

上一篇文章《社會化海量數據採集框架搭建》提到如何搭建一個社會化採集系統架構,講架構通常都比較虛,這一篇講一下如何實戰用低成本服務器作到日流水千萬級數據的分佈式採集系統。html 有這樣一個採集系統的需求,達成指標: 須要採集30萬關鍵詞的數據 、微博必須在一個小時採集到、覆蓋四大微博(新浪微博、騰訊微博、網易微博、搜狐微博)。爲了節約客戶成本,硬件爲普通服務器:E5200 雙核 2.5G cpu,
相關文章
相關標籤/搜索