Pyspider中給爬蟲僞造隨機請求頭

Pyspider 中採用了 tornado 庫來作 http 請求，在請求過程當中能夠添加各類參數，例如請求連接超時時間，請求傳輸數據超時時間，請求頭等等，可是根據pyspider的原始框架，給爬蟲添加參數只能經過 crawl_config這個Python字典來完成(以下所示)，框架代碼將這個字典中的參數轉換成 task 數據，進行http請求。這個參數的缺點是不方便給每一次請求作隨機請求頭。ph

>>阅读原文<<