深刻理解Python分佈式爬蟲原理

首先，咱們來看看，若是以一我的的正常行爲，是如何獲取網頁內容的：html (1)打開瀏覽器，輸入URL，打開源網頁； (2)選取咱們想要的內容，包括標題，做者，摘要，正文等信息； (3)存儲到硬盤中。python 以上三個過程，映射到技術層面上，其實就是：網絡請求，抓取結構化數據，數據存儲。 仙子阿咱們使用Python寫一個簡單的程序，來實現上面的簡單抓取功能：web #!/usr/bin/pyt

>>阅读原文<<