簡單爬蟲--結合慕課網和菜鳥教程

Python 爬蟲架構主要由五個部分組成，分別是調度器、URL管理器、網頁下載器、網頁解析器、應用程序（爬取的有價值數據）。 調度器：相當於一臺電腦的CPU，主要負責調度URL管理器、下載器、解析器之間的協調工作。 URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重複抓取URL和循環抓取URL，實現URL管理器主要用三種方式，通過內存、數據庫、緩存數據庫來實現。 網頁下載器：通過傳入

>>阅读原文<<