爬蟲 高性能

同步

多線程異步提交任務Thread

線程池與進程池 ThreadPool

#IO密集型程序應該用多線程，因此此時咱們使用線程池
import requests
from threading import current_thread
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor

def parse_page(res):
    res=res.result()
    print('%s 解析 %s' %(current_thread().getName(),len(res)))

def get_page(url):
    print('%s 下載 %s' %(current_thread().getName(),url))
    response=requests.get(url)
    if response.status_code == 200:
        return response.text

if __name__ == '__main__':
    urls=['https://www.baidu.com/','http://www.sina.com.cn/','https://www.python.org']

    pool=ThreadPoolExecutor(50)
    # pool=ProcessPoolExecutor(50)
    for url in urls:
        pool.submit(get_page,url).add_done_callback(parse_page)

    pool.shutdown(wait=True)

　　

高性能:

上面的所面臨的可能同時出現的上千甚至上萬次的客戶端請求，「線程池」或「鏈接池」或許能夠緩解部分壓力，可是不能解決全部問題。總之，多線程模型能夠方便高效的解決小規模的服務請求，但面對大規模的服務請求，多線程模型也會遇到瓶頸，能夠用非阻塞接口來嘗試解決這個問題。

上述不管哪一種解決方案其實沒有解決一個性能相關的問題：IO阻塞，不管是多進程仍是多線程，在遇到IO阻塞時都會被操做系統強行剝奪走CPU的執行權限，程序的執行效率所以就下降了下來。

    解決這一問題的關鍵在於，咱們本身從應用程序級別檢測IO阻塞而後切換到咱們本身程序的其餘任務執行，這樣把咱們程序的IO降到最低，咱們的程序處於就緒態就會增多，以此來迷惑操做系統，操做系統便覺得咱們的程序是IO比較少的程序，從而會盡量多的分配CPU給咱們，這樣也就達到了提高程序執行效率的目的

開啓協程gevent

asyncio異步模塊:

能夠幫咱們檢測IO（只能是網絡IO），實現應用程序級別的切換

twisted框架:

是一個網絡框架，其中一個功能是發送異步請求，檢測IO並自動切換

 tornado

https://www.cnblogs.com/kermitjam/articles/10147258.html#_label2

https://www.cnblogs.com/kermitjam/articles/10516669.html#_label2