完整的微博千萬級數據量思路過程

單日千萬級微博爬蟲介紹： 我也不喜歡說廢話，來救直接上，項目要求爬微博，**存成四張表**，分別是用戶信息表，用戶和用戶關係表，微博信息表，微博和微博關係表，改成分佈式爬蟲可實現單日1000+的數據量，直接開始幹把 準備： 首先你的準備好幾百個微博帳號，並獲取cookie,樓主借鑑網上不少大神的方法，也是經過訪問手機端拿到cookie，http://weibo.cn,比較簡單，而且驗證碼是四宮格，

>>阅读原文<<