requests經常使用模塊以及爬取github我的項目

1.requests的經常使用參數

method:請求方式
url：地址
params:URL中傳入參數
headers:請求頭
cookies:Cookie
data:數據
json:數據
proxies：代理

 

2.爬取github我的項目

import  requests
from bs4 import BeautifulSoup


#1.首先獲取token與cookies
r1=requests.get(
    url='https://github.com/login'
)

s1=BeautifulSoup(r1.text,features='lxml')
#獲取token
token=s1.find(name='input',attrs={'name':'authenticity_token'}).get('value')
# print(token)
cookie_dict1=r1.cookies.get_dict()

#2.登陸github將token以及cookies傳進
r2=requests.post(
    url='https://github.com/session',
    data={
        'commit':'Sign in',
        'utf8':'✓',
        'authenticity_token':token,
        'login':'xxxx',
        'password':'xxx',
    },
    # cookies={
    #     '_octo':'GH1.1.1824995587.1516589976',
    #     '_ga':'GA1.2.1953490372.1516589976'
    # }
    cookies=cookie_dict1
)
#3.將登陸後的cookies一塊兒添加到第一次訪問的cookies中
cookie_dict2=r2.cookies.get_dict()
cookie_dict1.update(cookie_dict2)

#4.獲取我的github的項目
r3=requests.get(
    url='https://github.com/settings/repositories',
    cookies=cookie_dict1
)

soup3=BeautifulSoup(r3.text,features='lxml')
#5.查找整個項目的屬性
list_group=soup3.find(name='div',attrs={'class':'listgroup'})
# print(list_group)

list_a=list_group.find_all(name='a',attrs={'class':'mr-1'})
print(list_a)
#6.獲取github全部項目
for item in list_a:
    print(item.get('href'))