爬蟲-IP屏蔽題目: 倆種解題方法

題目: 技術難點: 這個題目的難點在於,你登錄跟沒有登錄,獲取到的數據是不一樣的,之前爬取其他題目的時候,發現結果怎麼也不對,後來通過下載的html分析,才發現,原來自己爬取到的數據,是未登錄的數據。 解題方法: 登錄信息,直接headers添加cookies, 或者自己重新通過他們的登錄平臺先登錄,獲取信息後再添加proxy,然後再爬取。 方法一:selenium的運用(速度慢) 創建 webd
相關文章
相關標籤/搜索