python爬蟲入門教程-Python 爬蟲介紹

一、什麼是爬蟲 爬蟲：一段自動抓取互聯網信息的程序，從互聯網上抓取對於我們有價值的信息。 二、Python爬蟲架構 Python 爬蟲架構主要由五個部分組成，分別是調度器、URL管理器、網頁下載器、網頁解析器、應用程序（爬取的有價值數據）。 調度器：相當於一臺電腦的CPU，主要負責調度URL管理器、下載器、解析器之間的協調工作。 URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重複抓

>>阅读原文<<