Python爬蟲入門筆記：一個簡單的爬蟲架構

      上次咱們從對爬蟲進行簡單的介紹，今天咱們引入一個簡單爬蟲的技術架構，解釋爬蟲技術架構中的幾個模塊，對爬蟲先有一個總體的認知，方便對爬蟲的理解和後面的編程。html      簡單的爬蟲架構：URL管理、網頁下載、網頁解析、輸出部分，以下圖：python       一、URL管理器：防止重複抓取、防止循環抓取；URL是爬蟲爬取的入口和橋樑，除了入口URL外，剩下的URL咱們須要在網頁上

>>阅读原文<<