scrapy--爬蟲代碼編寫步驟

最近又要新寫一個網站的爬蟲,雖然寫了好幾個了,但每次寫都要再來現看一遍資料,覺得還是有必要寫一篇,記錄一下。 一、編寫步驟 1、新建工程目錄 進入打算存儲代碼的目錄中,命令行運行下列命令: scrapy startproject 目錄或爬蟲名稱 2、用pycharm打開此目錄,可看到如下目錄結構 3、items.py文件中定義item,主要是網頁中要提取的一個單位數據元中包含的字段。 4、新建一個
相關文章
相關標籤/搜索