JavaShuo
欄目
標籤
Pyspider的基本使用 -- 入門
時間 2020-01-02
標籤
pyspider
基本
使用
入門
简体版
原文
原文鏈接
簡介
一個國人編寫的強大的網絡爬蟲系統並帶有強大的WebUI
採用Python語言編寫,分佈式架構,支持多種數據庫後端,強大的WebUI支持腳本編輯器,任務監視器,項目管理器以及結果查看器
官方文檔:
http://docs.pyspider.org/en/latest/
安裝
pip install pyspider
安裝失敗的解決方法
啓動服務
命令窗口輸入pyspider
打開Web界面
瀏覽器輸入localhost:5000
建立項目
刪除項目
刪除某個:設置 group 爲 delete ,status 爲 stop ,24小時以後自動刪除
刪除所有:在啓動服務的路徑下,找到它本身生成的data目錄,直接刪除目錄裏的全部文件
禁止證書驗證
加上參數 validate_cert = False
使用方法
on_start(self)
入口方法,run的時候,默認會調用
crawl()
生成一個新的爬取請求,相似於scrapy.Request,接受的參數是ur1和callback
@every(minutes=2, seconds=30)
告訴scheduler兩分30秒執行一次
@config(age=10 * 24 * 60 * 60)
告訴調度器(單位:秒)、這個請求過時時間是10天、10天以內不會再次請求
@config(priority=2)
優先級、數字越大越先執行
age寫在函數裏面跟寫在裝飾器上的區別
寫在函數裏面的後執行,下圖實際過時時間爲5秒,若函數裏沒有age,則爲裝飾器裏定義的20秒
執行任務
完成腳本編寫,調試無誤後,先save腳本,而後返回到控制檯首頁
直接點擊項目狀態status那欄,把狀態由TODO改爲DEBUG或RUNNING
最後點擊項目最右邊的Run按鈕啓動項目
對接phantomjs
將
phantomjs.exe
放在Python環境根目錄下,或者將所在目錄添加到系統的環境變量
添加成功,啓動服務時,會顯示以下信息
沒使用js渲染
使用js渲染
添加參數 fetch_type = 'js'
其它
rate/burst
rate:一秒鐘執行的請求個數
burst:併發的數量
例如:2/五、每秒兩個請求,併發數量爲5,即每秒10個請求
設置渲染的web頁面的高度
在源代碼裏修改css樣式便可(#tab-web iframe)
css文件路徑:python安裝目錄下 Lib\site-packages\pyspider\webui\static 裏的 debug.min.css
相關文章
1.
Pyspider的基本使用 -- 入門
2.
pyspider入門
3.
pyspider基本使用和項目刪除
4.
scureCRT使用基本入門
5.
pyspider 的使用(1)
6.
pyspider的基本操做
7.
pyspider的基本用法及原理
8.
Spring入門-基本註解的使用
9.
Xshell、Xftp的基本使用(入門)
10.
LINUX的基本使用入門
更多相關文章...
•
Redis基本安裝和使用
-
Redis教程
•
Memcached入門教程
-
NoSQL教程
•
Java Agent入門實戰(一)-Instrumentation介紹與使用
•
Java Agent入門實戰(三)-JVM Attach原理與使用
相關標籤/搜索
基本使用
pyspider
入門+基礎
基礎入門
xcode5的使用
使用過的
Docker的使用
入門實用
基本使用方法
mybatis 基本使用方法
MySQL教程
Spring教程
PHP教程
應用
0
分享到微博
分享到微信
分享到QQ
每日一句
每一个你不满意的现在,都有一个你没有努力的曾经。
最新文章
1.
1.2 Illustrator多文檔的幾種排列方式
2.
5.16--java數據類型轉換及雜記
3.
性能指標
4.
(1.2)工廠模式之工廠方法模式
5.
Java記錄 -42- Java Collection
6.
Java記錄 -42- Java Collection
7.
github使用
8.
Android學習筆記(五十):聲明、請求和檢查許可
9.
20180626
10.
服務擴容可能引入的負面問題及解決方法
本站公眾號
歡迎關注本站公眾號,獲取更多信息
相關文章
1.
Pyspider的基本使用 -- 入門
2.
pyspider入門
3.
pyspider基本使用和項目刪除
4.
scureCRT使用基本入門
5.
pyspider 的使用(1)
6.
pyspider的基本操做
7.
pyspider的基本用法及原理
8.
Spring入門-基本註解的使用
9.
Xshell、Xftp的基本使用(入門)
10.
LINUX的基本使用入門
>>更多相關文章<<