百度圖片爬蟲

爬蟲工具：webmagic 爬取百度圖片，不能通過獲取html然後通過匹配標籤的形式，而是要找到對應的提供json數據的請求，最初自信滿滿的按官方文檔註解形式寫了model，pipeline，然後就運行時就發現問題很大。 開始是獲取不到html，然後通過調試發現可以獲得rayText，但是隻有簡單的外層標籤和數據，並沒有圖片相關數據。 我將代碼放到下面，processor中定義了一個靜態變量Set

>>阅读原文<<