python模擬各大網站登錄方式,以及一些爬蟲程序
-
僅供練習使用,代碼註釋很詳細python
-
走過路過的大佬們,記得給個star支持一下,嘻嘻嘻😝git
-
收集了一些各大網站登錄方式, 和一些網站的爬蟲程序,有的是經過selenium登陸,有的是經過抓包直接模擬登陸,有的是利用scrapy,但願對小白有所幫助,本項目用於研究和分享各大網站的模擬登錄方式,和爬蟲程序,會持續更新。。。github
-
昨天加了個班,對一些老代碼進行了重構和測試,大部分均可以用。web
-
歡迎star微信
模擬登陸一些常見的網站
- 若是你有什麼比較難登錄的網站,好比發現用了selenium+webdriver都還登錄不了的網站,歡迎給我提issue
- requests
- selenium
- rsa
- phantomjs
項目地址
Githubcookie
關於
模擬登錄基本採用的是直接登陸或者使用selenium+webdriver的方式,有的網站直接登陸難度很大,好比qq空間,B站,若是採用selenium就相對輕鬆一些。scrapy
雖然在登陸的時候採用的是selenium,爲了效率,咱們能夠在登陸事後獲得的cookie維護起來,而後調用requests或者scrapy等進行數據採集,這樣數據採集的速度能夠獲得保證。測試
已完成
tips of pull request
問題
- 有的驗證碼須要手動,以後我會盡可能改正
- 代碼失效:因爲網站策略或者樣式改變,致使代碼失效,請給我提issue,若是你已經解決,能夠提PR,謝謝!
另外
- 若是你有什麼比較難登錄的網站,好比發現用了selenium+webdriver都還登錄不了的網站,歡迎給我提issue
- 若是該repo對你們有幫助,給個star鼓勵鼓勵吧
歡迎大家
- 項目寫了一段時間後,發現代碼的風格和程序的易用性,可擴展性,代碼的可讀性,都存在必定的問題,因此接下來最重要的是重構代碼,讓你們能夠更容易的作出一些本身的小功能。
- 若是你以爲某個網站的登陸頗有表明性,歡迎在 issue 中提出
測試
Bilibili自動登陸測試正常,成功率98%
web微信
圖蟲爬蟲
項目地址
Github網站
具體
最後