JavaShuo
欄目
標籤
Pyspider的基本使用 -- 入門
時間 2020-01-02
標籤
pyspider
基本
使用
入門
简体版
原文
原文鏈接
簡介
一個國人編寫的強大的網絡爬蟲系統並帶有強大的WebUI
採用Python語言編寫,分佈式架構,支持多種數據庫後端,強大的WebUI支持腳本編輯器,任務監視器,項目管理器以及結果查看器
官方文檔:
http://docs.pyspider.org/en/latest/
安裝
pip install pyspider
安裝失敗的解決方法
啓動服務
命令窗口輸入pyspider
打開Web界面
瀏覽器輸入localhost:5000
建立項目
刪除項目
刪除某個:設置 group 爲 delete ,status 爲 stop ,24小時以後自動刪除
刪除所有:在啓動服務的路徑下,找到它本身生成的data目錄,直接刪除目錄裏的全部文件
禁止證書驗證
加上參數 validate_cert = False
使用方法
on_start(self)
入口方法,run的時候,默認會調用
crawl()
生成一個新的爬取請求,相似於scrapy.Request,接受的參數是ur1和callback
@every(minutes=2, seconds=30)
告訴scheduler兩分30秒執行一次
@config(age=10 * 24 * 60 * 60)
告訴調度器(單位:秒)、這個請求過時時間是10天、10天以內不會再次請求
@config(priority=2)
優先級、數字越大越先執行
age寫在函數裏面跟寫在裝飾器上的區別
寫在函數裏面的後執行,下圖實際過時時間爲5秒,若函數裏沒有age,則爲裝飾器裏定義的20秒
執行任務
完成腳本編寫,調試無誤後,先save腳本,而後返回到控制檯首頁
直接點擊項目狀態status那欄,把狀態由TODO改爲DEBUG或RUNNING
最後點擊項目最右邊的Run按鈕啓動項目
對接phantomjs
將
phantomjs.exe
放在Python環境根目錄下,或者將所在目錄添加到系統的環境變量
添加成功,啓動服務時,會顯示以下信息
沒使用js渲染
使用js渲染
添加參數 fetch_type = 'js'
其它
rate/burst
rate:一秒鐘執行的請求個數
burst:併發的數量
例如:2/五、每秒兩個請求,併發數量爲5,即每秒10個請求
設置渲染的web頁面的高度
在源代碼裏修改css樣式便可(#tab-web iframe)
css文件路徑:python安裝目錄下 Lib\site-packages\pyspider\webui\static 裏的 debug.min.css
相關文章
1.
Pyspider的基本使用 -- 入門
2.
pyspider入門
3.
pyspider基本使用和項目刪除
4.
scureCRT使用基本入門
5.
pyspider 的使用(1)
6.
pyspider的基本操做
7.
pyspider的基本用法及原理
8.
Spring入門-基本註解的使用
9.
Xshell、Xftp的基本使用(入門)
10.
LINUX的基本使用入門
更多相關文章...
•
Redis基本安裝和使用
-
Redis教程
•
Memcached入門教程
-
NoSQL教程
•
Java Agent入門實戰(一)-Instrumentation介紹與使用
•
Java Agent入門實戰(三)-JVM Attach原理與使用
相關標籤/搜索
基本使用
pyspider
入門+基礎
基礎入門
xcode5的使用
使用過的
Docker的使用
入門實用
基本使用方法
mybatis 基本使用方法
MySQL教程
Spring教程
PHP教程
應用
0
分享到微博
分享到微信
分享到QQ
每日一句
每一个你不满意的现在,都有一个你没有努力的曾经。
最新文章
1.
說說Python中的垃圾回收機制?
2.
螞蟻金服面試分享,阿里的offer真的不難,3位朋友全部offer
3.
Spring Boot (三十一)——自定義歡迎頁及favicon
4.
Spring Boot核心架構
5.
IDEA創建maven web工程
6.
在IDEA中利用maven創建java項目和web項目
7.
myeclipse新導入項目基本配置
8.
zkdash的安裝和配置
9.
什麼情況下會導致Python內存溢出?要如何處理?
10.
CentoOS7下vim輸入中文
本站公眾號
歡迎關注本站公眾號,獲取更多信息
相關文章
1.
Pyspider的基本使用 -- 入門
2.
pyspider入門
3.
pyspider基本使用和項目刪除
4.
scureCRT使用基本入門
5.
pyspider 的使用(1)
6.
pyspider的基本操做
7.
pyspider的基本用法及原理
8.
Spring入門-基本註解的使用
9.
Xshell、Xftp的基本使用(入門)
10.
LINUX的基本使用入門
>>更多相關文章<<