知乎爬蟲之2:爬蟲流程設計

本文由博主原創,轉載請註明出處 說到爬蟲，其實寫起來很簡單，爬蟲無非就是將本身想要的內容在頁面上抽離出來，而且存儲。這個過程在今天已經變得很是輕鬆，在Java下有Jsoup，Python下有BS4，還有通吃的正則等等，然而真正難的倒是在於僞造請求，截獲分析請求參數，獲取正確的頁面. 首先來講，一個能混得過去的爬蟲，應該有一個優秀的流程，在明確本身的目標後，應該立馬去設計爬蟲工做流程，而不是去無腦的

>>阅读原文<<