【爬蟲】網頁圖片爬蟲工具——從谷歌必應上爬取圖片

 

最近須要從谷歌和必應上爬一批圖片，可是基於不一樣網站有不一樣的規則，因此對於我這個爬蟲小白來講，URL以及正則化表達式的理解和查改就很困難。

後來在github上發現了很好用的工具，簡便快捷，正好分享給你們。

1.從谷歌上爬取圖片數據——google-images-download

   https://github.com/hardikvasa/google-images-download

下載圖片的算法邏輯結構：

  

安裝使用很是簡單，可使用如下幾個方法之一進行安裝：

---

•   使用pip安裝：

  pip install google_images_download

   

• 使用CLI安裝：

  git clone https://github.com/hardikvasa/google-images-download.git
  cd google-images-download && sudo python setup.py install

   

• 手動下載安裝：

  轉到Github上的repo=>
  單擊「Clone or Download」==>
  單擊「Download ZIP」並將其保存到本地磁盤上

---

 

 

安裝或下載好以後，進行圖片的爬取：

---

• 若是是使用pip或者CLI安裝，使用以下命令進行操做：

  googleimagesdownload [Arguments...]

• 若是是經過用戶本身下載的方式，首先解壓下載的文件，進入'google_images_download'目錄下，使用以下命令進行操做：

  python3 google_images_download.py [Arguments...]
  

  或者

  python google_images_download.py [Arguments...]

---

 

 

 

常見的參數及命令以下所示：

• 若是要從配置文件中傳遞參數，只需使用JSON文件名進行配置文件的參數傳遞便可：

  googleimagesdownload -cf example.json

   

• 只使用關鍵字和限制參數的簡單示例：

  googleimagesdownload --keywords "Polar bears, baloons, Beaches" --limit 20

   

• 使用後綴關鍵字能夠在主關鍵字以後指定單詞。例如，若是關鍵字=car，後綴關鍵字=red，blue，則首先搜索car red，而後搜索car blue：

  googleimagesdownload --k "car" -sk 'red,blue,white' -l 10

   

• 使用速記命令：

  googleimagesdownload -k "Polar bears, baloons, Beaches" -l 20

   

• 下載具備特定圖像擴展名或格式的圖片：

  googleimagesdownload --keywords "logo" --format svg

   

• 爲圖片使用顏色過濾器：

  googleimagesdownload -k "playground" -l 20 -co red

   

• 使用非英文的關鍵字對圖片進行搜索：

  googleimagesdownload -k "北極熊" -l 5

   

• 從谷歌圖片連接下載圖片：

  googleimagesdownload -k "sample" -u <google images page URL>

   

• 在特定主目錄中保存圖片（不是在「下載」中）：

  googleimagesdownload -k "boat" -o "boat_new"

   

• 使用圖像URL下載單個圖像：

  googleimagesdownload --keywords "baloons" --single_image <URL of the images>

   

• 下載帶有大小和類型約束的圖像：

  googleimagesdownload --keywords "baloons" --size medium --type animated

   

• 下載具備特定使用權限的圖像：

  googleimagesdownload --keywords "universe" --usage_rights labeled-for-reuse

   

• 下載具備特定顏色類型的圖像：

  googleimagesdownload --keywords "flowers" --color_type black-and-white

   

• 下載具備特定縱橫比的圖像：

  googleimagesdownload --keywords "universe" --aspect_ratio panoramic

   

• 下載與您提供的圖像URL中的圖像相似的圖像：

  googleimagesdownload -si <image url> -l 10

   

• 從特定網站或域名下載給定關鍵字的圖像：

  googleimagesdownload --keywords "universe" --specific_site example.com

   

 

2.從bing上爬取圖片數據——Bulk-Bing-Image-downloader

   https://github.com/ostrolucky/Bulk-Bing-Image-downloader

 使用很是簡單：

---

• 能夠git clone或者直接下載到本地
• 進入文件目錄，直接運行：

  bbid.py [-h] [-s SEARCH_STRING] [-f SEARCH_FILE] [-o OUTPUT]
                 [--adult-filter-on] [--adult-filter-off] [--filters FILTERS]
                 [--limit LIMIT]

• 舉個例子：

  ./bbid.py -s "hello world"

   

-----------------------持續補充-------------------------