基於線程池異步抓取

from multiprocessing.dummy import Pool #線程池模塊

#必須只能夠有一個參數
def my_requests(url):
    return requests.get(url=url,headers=headers).text


start = time.time()
urls = [
    'http://127.0.0.1:5000/bobo',
    'http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/tom',
]

pool = Pool(3)
#map：兩個參數
#參數1：自定義的函數，必須只能夠有一個參數
#參數2：列表or字典
#map的做用就是讓參數1表示的自定義的函數異步處理參數2對應的列表或者字典中的元素
page_texes = pool.map(my_requests,urls)
print(page_texes)


print(time.time()-start)