一份可以找工作的爬蟲學習大綱（進階篇）

如何快速吃牢飯——加速 隱約中有點印象，之前好像有一個公司員工，調高的線程數，加速爬數據，導致對方流量監控報警，然後就涼了。這一塊其實已經和爬蟲沒啥太大關係了，是一些通用的技術。 利用多進程，多線程和協程的手段，實現加速。 這一塊知識的理解，需要基於操作系統，可以提前複習一下，再學習此部分內容。 關於加速需要學習的知識點： 理解阻塞、非阻塞、同步、異步、併發、並行概念 熟悉python隊列的使用以

>>阅读原文<<