Python分佈式爬蟲原理

轉載請註明出處：http://blog.csdn.net/yiliumu/article/details/21335245html 首先，咱們先來看看，若是是人正常的行爲，是如何獲取網頁內容的。python (1)打開瀏覽器，輸入URL，打開源網頁 (2)選取咱們想要的內容，包括標題，做者，摘要，正文等信息 (3)存儲到硬盤中 上面的三個過程，映射到技術層面上，其實就是：網絡請求，抓取結構化數據，

>>阅读原文<<