爬蟲主要流程

爬蟲主要流程 調度器 主調度程序主要是管理上圖中其他幾個模塊的，而後循環的執行這幾個模塊進行爬取信息，直到條件達到（爬取夠必定數量）跳出循環。 URL管理器 每爬取一個網頁的有用信息後，並把有用的URL爬取下來放入URL管理器中，等下次循環的爬取能夠直接從這個管理器中獲取URL 網頁下載器 這裏用到下載網頁的庫是urllib2，經過庫把url指定的網頁的html源代碼下載下來，存入urllib2對

>>阅读原文<<