Java 月薪25K的爬蟲工程師對爬蟲的流程做了一個非常全面的總結！

爬蟲是一個比較容易上手的技術，也許花5分鐘看一篇文檔就能爬取單個網頁上的數據。但對於深度爬蟲，完全就是另一回事，並不是1*n這麼簡單，還會衍生出許多別的問題。 這裏雙手奉上業內爬蟲流程圖一份 很拉風的樣子 先檢查是否有API API是網站官方提供的數據接口，如果通過調用API採集數據，則相當於在網站允許的範圍內採集，這樣既不會有道德法律風險，也沒有網站故意設置的障礙；不過調用API接口的訪問則處於

>>阅读原文<<