python的pyspider框架下爬蟲

一、將框架下載好以後，控制檯運行pyspider

二、瀏覽器打開http://localhost:5000

三、建立項目

頁面區域介紹：

整個頁面分爲兩欄，左邊是爬取頁面預覽區域，右邊是代碼編寫區域。下面對區塊進行說明：

左側綠色區域：這個請求對應的 JSON 變量，在 PySpider 中，其實每一個請求都有與之對應的 JSON 變量，包括回調函數，方法名，請求連接，請求數據等等。

綠色區域右上角Run：點擊右上角的 run 按鈕，就會執行這個請求，能夠在左邊的白色區域出現請求的結果。

左側 enable css selector helper: 抓取頁面以後，點擊此按鈕，能夠方便地獲取頁面中某個元素的 CSS 選擇器。

左側 web: 即抓取的頁面的實時預覽圖。

左側 html: 抓取頁面的 HTML 代碼。

左側 follows: 若是當前抓取方法中又新建了爬取請求，那麼接下來的請求就會出如今 follows 裏。

左側 messages: 爬取過程當中輸出的一些信息。

右側代碼區域: 你能夠在右側區域書寫代碼，並點擊右上角的 Save 按鈕保存。

右側 WebDAV Mode: 打開調試模式，左側最大化，便於觀察調試。

四、接下來即是使用。