爬蟲技術——爬取國外某部門監測數據

主要技術： 1. 使用requests.session模擬登錄，帶着session並以post形式請求要爬取的url(幸好還沒有驗證碼) 2. 站點id及經緯度以json存在文件中，並讀取 3. 爬取的數據寫入Excel文件，csv格式 4. 將站點加入queue，進行隊列分配 5. 開啓多個線程來處理隊列，一個線程完成任務後從隊列取新的站點進行處理 6. 使用calendar庫來取當月最後一天是

>>阅读原文<<