[Python]網絡爬蟲(12):爬蟲框架Scrapy的第一個爬蟲示例入門教程

(建議大家多看看官網教程:教程地址) 我們使用dmoz.org這個網站來作爲小抓抓一展身手的對象。 首先先要回答一個問題。 問:把網站裝進爬蟲裏,總共分幾步? 答案很簡單,四步: 新建項目 (Project):新建一個新的爬蟲項目 明確目標(Items):明確你想要抓取的目標 製作爬蟲(Spider):製作爬蟲開始爬取網頁 存儲內容(Pipeline):設計管道存儲爬取內容 好的,基本流程既然確定
相關文章
相關標籤/搜索