大規模爬蟲流程總結

爬蟲是一個比較容易上手的技術，也許花5分鐘看一篇文檔就能爬取單個網頁上的數據。但對於大規模爬蟲，徹底就是另外一回事，並非1*n這麼簡單，還會衍生出許多別的問題。html 系統的大規模爬蟲流程如圖所示。git 先檢查是否有API API是網站官方提供的數據接口，若是經過調用API採集數據，則至關於在網站容許的範圍內採集，這樣既不會有道德法律風險，也沒有網站故意設置的障礙；不過調用API接口的訪問則處

>>阅读原文<<