python模擬各大網站登錄方式,以及一些爬蟲程序, 麻麻不再用擔憂我學爬蟲啦!

python模擬各大網站登錄方式,以及一些爬蟲程序

  • 僅供練習使用,代碼註釋很詳細python

  • 收集了一些各大網站登錄方式, 和一些網站的爬蟲程序,有的是經過selenium登陸,有的是經過抓包直接模擬登陸,有的是利用scrapy,但願對小白有所幫助,本項目用於研究和分享各大網站的模擬登錄方式,和爬蟲程序,會持續更新。。。git

  • 昨天加了個班,對一些老代碼進行了重構和測試,大部分均可以用。github

  • 歡迎starweb

模擬登陸一些常見的網站

  • 若是你有什麼比較難登錄的網站,好比發現用了selenium+webdriver都還登錄不了的網站,歡迎給我提issue
  1. requests
  2. selenium
  3. rsa
  4. phantomjs

項目地址

Github微信

關於

模擬登錄基本採用的是直接登陸或者使用selenium+webdriver的方式,有的網站直接登陸難度很大,好比qq空間,B站,若是採用selenium就相對輕鬆一些。cookie

雖然在登陸的時候採用的是selenium,爲了效率,咱們能夠在登陸事後獲得的cookie維護起來,而後調用requests或者scrapy等進行數據採集,這樣數據採集的速度能夠獲得保證。scrapy

已完成

tips of pull request

  • 歡迎你們一塊兒來 pull request

問題

  • 有的驗證碼須要手動,以後我會盡可能改正
  • 代碼失效:因爲網站策略或者樣式改變,致使代碼失效,請給我提issue,若是你已經解決,能夠提PR,謝謝!

另外

  • 若是你有什麼比較難登錄的網站,好比發現用了selenium+webdriver都還登錄不了的網站,歡迎給我提issue
  • 若是該repo對你們有幫助,給個star鼓勵鼓勵吧

歡迎大家

  1. 項目寫了一段時間後,發現代碼的風格和程序的易用性,可擴展性,代碼的可讀性,都存在必定的問題,因此接下來最重要的是重構代碼,讓你們能夠更容易的作出一些本身的小功能。
  2. 若是你以爲某個網站的登陸頗有表明性,歡迎在 issue 中提出

測試

Bilibili自動登陸測試正常,成功率98%

Alt text

web微信

Alt text

圖蟲爬蟲

項目地址

Github測試

具體

  • 請跳轉到項目地址查看,歡迎star!

最後

  • 大佬們慢點噴,小弟有點承受不住,---_---
相關文章
相關標籤/搜索