大規模爬蟲流程總結

爬蟲是一個比較容易上手的技術，也許花5分鐘看一篇文檔就能爬取單個網頁上的數據。但對於大規模爬蟲，完全就是另一回事，並不是1*n這麼簡單，還會衍生出許多別的問題。 系統的大規模爬蟲流程如圖所示。 先檢查是否有API API是網站官方提供的數據接口，如果通過調用API採集數據，則相當於在網站允許的範圍內採集，這樣既不會有道德法律風險，也沒有網站故意設置的障礙；不過調用API接口的訪問則處於網站的控制中

>>阅读原文<<