這應該是2018年最詳細的python爬蟲入門教程了！

爬蟲（又被稱爲網頁蜘蛛，網絡機器人）就是模擬客戶端發送網絡請求，接收請求響應，一種按照一定的規則，自動地抓取互聯網信息的程序。 原則上,只要是瀏覽器(客戶端)能做的事情，爬蟲都能夠做。 根據被爬網站的數量的不同，我們把爬蟲分爲： 通用爬蟲 ：通常指搜索引擎的爬蟲 聚焦爬蟲 ：針對特定網站的爬蟲 Robots協議：網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取，但它僅僅是道德

>>阅读原文<<