Python爬蟲面試常見問題

先收藏一下，有空再整理答案html 爬蟲面試常見問題python 1、項目問題：linux 1.你寫爬蟲的時候都遇到過什麼反爬蟲措施，你是怎樣解決的git 2.用的什麼框架。爲何選擇這個框架web 2、框架問題：面試 1.scrapy的基本結構（五個部分都是什麼，請求發出去的整個流程）redis 2.scrapy的去重原理（指紋去重究竟是什麼原理）算法 3.scrapy中間件有幾種類，你用過哪些中

>>阅读原文<<