使用scrapy爬取域名的whois信息

最近收到個需求:查詢幾百個域名的whois信息,如域名註冊時間,到期時間,註冊商,域名狀態等.若是手動去一個個查詢,效率低,而最近恰好在看scrapy,故用它來爬取相關信息. 首先是想嘗試去爬阿里雲的whois信息,但嘗試失敗,須要驗證碼.(先放一邊,有空再看).而站長之家也能夠查詢,並且沒驗證碼,便選擇用站長之家來爬取. 要點 1.理解xpath.在爬去相關內容的時候,要用到 2.理解items

>>阅读原文<<