反爬以及解決思路

常見的反爬手段和解決思路 明確反反爬的主要思路 反反爬的主要思路就是：儘可能的去模擬瀏覽器，瀏覽器在如何操作，代碼中就如何去實現。瀏覽器先請求了地址url1，保留了cookie在本地，之後請求地址url2，帶上了之前的cookie，代碼中也可以這樣去實現。 很多時候，爬蟲中攜帶的headers字段，cookie字段，url參數，post的參數很多，不清楚哪些有用，哪些沒用的情況下，只能夠去嘗試，因

>>阅读原文<<