JavaShuo
欄目
標籤
Pyspider的基本使用 -- 入門
時間 2020-01-02
標籤
pyspider
基本
使用
入門
简体版
原文
原文鏈接
簡介
一個國人編寫的強大的網絡爬蟲系統並帶有強大的WebUI
採用Python語言編寫,分佈式架構,支持多種數據庫後端,強大的WebUI支持腳本編輯器,任務監視器,項目管理器以及結果查看器
官方文檔:
http://docs.pyspider.org/en/latest/
安裝
pip install pyspider
安裝失敗的解決方法
啓動服務
命令窗口輸入pyspider
打開Web界面
瀏覽器輸入localhost:5000
建立項目
刪除項目
刪除某個:設置 group 爲 delete ,status 爲 stop ,24小時以後自動刪除
刪除所有:在啓動服務的路徑下,找到它本身生成的data目錄,直接刪除目錄裏的全部文件
禁止證書驗證
加上參數 validate_cert = False
使用方法
on_start(self)
入口方法,run的時候,默認會調用
crawl()
生成一個新的爬取請求,相似於scrapy.Request,接受的參數是ur1和callback
@every(minutes=2, seconds=30)
告訴scheduler兩分30秒執行一次
@config(age=10 * 24 * 60 * 60)
告訴調度器(單位:秒)、這個請求過時時間是10天、10天以內不會再次請求
@config(priority=2)
優先級、數字越大越先執行
age寫在函數裏面跟寫在裝飾器上的區別
寫在函數裏面的後執行,下圖實際過時時間爲5秒,若函數裏沒有age,則爲裝飾器裏定義的20秒
執行任務
完成腳本編寫,調試無誤後,先save腳本,而後返回到控制檯首頁
直接點擊項目狀態status那欄,把狀態由TODO改爲DEBUG或RUNNING
最後點擊項目最右邊的Run按鈕啓動項目
對接phantomjs
將
phantomjs.exe
放在Python環境根目錄下,或者將所在目錄添加到系統的環境變量
添加成功,啓動服務時,會顯示以下信息
沒使用js渲染
使用js渲染
添加參數 fetch_type = 'js'
其它
rate/burst
rate:一秒鐘執行的請求個數
burst:併發的數量
例如:2/五、每秒兩個請求,併發數量爲5,即每秒10個請求
設置渲染的web頁面的高度
在源代碼裏修改css樣式便可(#tab-web iframe)
css文件路徑:python安裝目錄下 Lib\site-packages\pyspider\webui\static 裏的 debug.min.css
相關文章
1.
Pyspider的基本使用 -- 入門
2.
pyspider入門
3.
pyspider基本使用和項目刪除
4.
scureCRT使用基本入門
5.
pyspider 的使用(1)
6.
pyspider的基本操做
7.
pyspider的基本用法及原理
8.
Spring入門-基本註解的使用
9.
Xshell、Xftp的基本使用(入門)
10.
LINUX的基本使用入門
更多相關文章...
•
Redis基本安裝和使用
-
Redis教程
•
Memcached入門教程
-
NoSQL教程
•
Java Agent入門實戰(一)-Instrumentation介紹與使用
•
Java Agent入門實戰(三)-JVM Attach原理與使用
相關標籤/搜索
基本使用
pyspider
入門+基礎
基礎入門
xcode5的使用
使用過的
Docker的使用
入門實用
基本使用方法
mybatis 基本使用方法
MySQL教程
Spring教程
PHP教程
應用
0
分享到微博
分享到微信
分享到QQ
每日一句
每一个你不满意的现在,都有一个你没有努力的曾经。
最新文章
1.
Excel教程:排序-篩選-切片-插入表格
2.
ZigBee ProfileID,DeviceID,ClusterID
3.
二維碼背後不能不說的祕密Part1~
4.
基於迅爲i.MX6平臺 | 智能家居遠程監控系統
5.
【入門篇】ESP8266直連智能音箱(天貓精靈)控制智能燈
6.
MongoDB安裝問題
7.
【建議收藏】22個適合程序員多逛逛的網站
8.
【建議收藏】10個適合程序員逛的在線社區
9.
Attention-Based SeriesNet論文讀後感
10.
Flutter中ListView複用原理探索
本站公眾號
歡迎關注本站公眾號,獲取更多信息
相關文章
1.
Pyspider的基本使用 -- 入門
2.
pyspider入門
3.
pyspider基本使用和項目刪除
4.
scureCRT使用基本入門
5.
pyspider 的使用(1)
6.
pyspider的基本操做
7.
pyspider的基本用法及原理
8.
Spring入門-基本註解的使用
9.
Xshell、Xftp的基本使用(入門)
10.
LINUX的基本使用入門
>>更多相關文章<<