Python3 基於asyncio的新聞爬蟲思路

Python寫爬蟲是非常方便的，爬取的目標不同，實現的方式也有很大不同。新聞爬蟲的方便之處是，新聞網站幾乎沒有反爬蟲策略，不好的地方是你想要爬取的新聞網站非常非常多。這個時候，效率就是你首要考慮的問題。 同步循環的效率在這裏相形見絀，你需要的是異步IO實現一個高效率的爬蟲。 Python3.5開始，加入了新的語法，async和await這兩個關鍵字，asyncio也成了標準庫，這對於我們寫異步IO

>>阅读原文<<