攜程問答，馬蜂窩，百度知道基於10月份數據量分析

由於業務需求，10月份上線了新的爬蟲業務需求，爬取鏈接如下： https://zhidao.baidu.com/ http://www.mafengwo.cn/wenda/ https://you.ctrip.com/asks/ 輸入相關業務相關熱詞，抓取對應的問題和答案，問題和答案的內容分析，因涉及公司業務不便分享，現就數據量的分析。 百度知道數據需求：若該熱詞搜素的結果大於5頁，則爬取前5頁數

>>阅读原文<<