SHELL網絡爬蟲實例剖析--轉載

時間 2019-11-09

標籤 shell 網絡爬蟲實例剖析轉載欄目 Unix 简体版

原文原文鏈接

原創做品，容許轉載，轉載時請務必以超連接形式標明文章原始出處、做者信息和本聲明。不然將追究法律責任。 http://nolinux.blog.51cto.com/4824967/1552472

前天簡單分享了用 shell 寫網絡爬蟲的一些看法，今天特意把代碼發出來與51博友分享，仍是那句話，愛技術、愛開源、愛linux。javascript

針對腳本的註解和總體構思，我會放到腳本以後爲你們詳解。html

#!/bin/bash
#
# This script is used to grab the data on the specified industry websites
# Written by sunsky
# Mail : 274546888@qq.com
# Date : 2014-09-14 3:06:00
#
 
if [ `echo $UID` != 0 ];then
  echo 'Please use the root to execute the script!'
fi
if [ ! -f /dataimg/years ];then
  echo 'Please give date file, the file path for/dataimg/years .'
fi
if [ ! -d $TMP_DIR ];then
  mkdir -p $TMP_DIR
fi
if [ ! -d $URL_MD5_DIR ];then
  mkdir -p $URL_MD5_DIR
fi
if [ ! -d $HTML_DIR ];then
  mkdir -p $HTML_DIR
fi
 
ROOT_DIR="/dataimg"                  # 指定腳本運行根目錄
TMP_DIR="$ROOT_DIR/tmp"              # 生成商品詳細頁url以前的臨時數據存放目錄
URL_MD5_DIR="$ROOT_DIR/url_md5"      # 記錄商品詳細頁url的MD5值的目錄
HTML_DIR="$ROOT_DIR/html"            # 存放下載下來的商品詳細頁目錄
URL_MD5="$URL_MD5_DIR/md5.$year"     # 負責記錄商品詳細頁url的md5值
WEB_URL="https://www.redhat.sx/"     # 所爬網站的主頁url
REPORT="$ROOT_DIR/report"            # 負責記錄採集的url綜合信息
CURL="curl -A 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.102 Safari/537.36' --referer http://www.redhat.sx"
OPT0="/dataimg/years"                                                   # 年份信息 
OPT1="$TMP_DIR/${X1_MD5}"                                               # 品牌信息     
OPT2="$TMP_DIR/${X1_MD5}_${X2_MD5}"                                     # 車型信息
OPT3="$TMP_DIR/${X1_MD5}_${X2_MD5}_${X3_MD5}"                           # 裝飾信息
OPT4="$TMP_DIR/${X1_MD5}_${X2_MD5}_${X3_MD5}_${X4_MD5}"                 # 部位分類信息
OPT5="$TMP_DIR/${X1_MD5}_${X2_MD5}_${X3_MD5}_${X4_MD5}_${URL_LIST_MD5}" # 商品詳情頁url信息
 
FIFO_FILE="/tmp/$$.fifo"
mkfifo $FIFO_FILE
exec 9<>$FIFO_FILE
rm -f $FIFO_FILE
 
num=10
for ((i=0;i<$num;i++));do
echo
done >&9
 
while read X1;do
{
  URL1="${WEB_URL}/model/YMMTSelects.cfc?method=getMakes&PassYear=$X1"
  X1_MD5=`echo $URL1|cksum|cut -d' ' -f1`
  if ! ls $OPT1 >&/dev/null;then
    $CURL -s $URL1|awk 'BEGIN{RS="<"}{print $0}'|awk -F'>' '{print $2}'|sed '1,9d'|sed '$d'|grep -v '^$' > $OPT1
  fi
  while read X2;do
    X2=`echo $X2|sed 's# #%20#g'`
    URL2="${URL1}&PassMakeName=$X2"
    #X2_MD5=`echo $URL|cksum|cut -d' ' -f1`
    if ! ls $OPT2 >&/dev/null;then
      $CURL -s $URL2|awk 'BEGIN{RS="<"}{print $0}'|awk -F'>' '{print $2}'|sed '1,6d'|sed '$d'|grep -v '^$' > $OPT2
    fi
    while read X3;do
      X3=`echo $X3|sed 's#[[:space:]]#%20#g'`
      URL3="${URL2}&PassModel=$X3"
      X3_MD5=`echo $URL3|cksum|cut -d' ' -f1`
      if ! ls $OPT3 >&/dev/null;then
        $CURL -s $URL3|sed 's#[[:space:]]##g'|awk 'BEGIN{RS="<|=|>"}{print $0}'|egrep '^[0-9]+$' > $OPT3
      fi
      while read X4;do
        X4=`echo $X4|sed 's# #%20#g'`
        URL4="${URL3}&PassVehicleID=$X4"
        X4_MD5=`echo $URL4|cksum|cut -d' ' -f1`
        if ! ls "${OPT4}" >&/dev/null;then
          $CURL -s $URL4|awk 'BEGIN{RS="<"}{print $0}'|awk -F'[>;]' '{print $2}'|sed -e '1,3d' -e '$d' -e '/^$/d' > $OPT4
        fi
        while read X5;do
          X5=`echo $X5|sed 's# #%20#g'`
          URL_LIST="${WEB_URL}index.cfm?fuseaction=store.sectionSearch&YMMTyears=$X1&YMMTmakenames=$X2&YMMTmodelnames=$X3&YMMTtrimnames=$X4&YMMTsectionnames=$X5"
          URL_LIST_MD5=`echo "$URL_LIST"|md5sum|awk '{print $1}'`
          if ! grep -q $URL_LIST_MD5 "$URL_MD5" ;then
            $CURL -s "$URL_LIST" > "$URL_MD5_DIR/$URL_LIST_MD5"
            NUM=`grep 'View page' "$URL_MD5_DIR/$URL_LIST_MD5"|wc -l`
            NUM2=$(($NUM/2))
            echo > $OPT5
            grep 'a href="index.cfm?fuseaction=store.PartInfo&PartNumbe' "$URL_MD5_DIR/$URL_LIST_MD5"|cut -d'"' -f2 > $OPT5
            while [ $NUM2 -ge 2 ];do
              URL_LIST=`grep "View page $NUM2" "$URL_MD5_DIR/$URL_LIST_MD5"|awk -F'[" ]'  '{a[$9]=$9}END{for(i in a)print a[i]}'`
              $CURL -s "$URL_LIST"|grep 'a href="index.cfm?fuseaction=store.PartInfo&PartNumbe'|cut -d'"' -f2 >> $OPT5
              NUM2=$(($NUM2-1))
            done
            echo $URL_LIST_MD5 >> "$URL_MD5"
          fi
          while read X6;do
            URL_DETAIL="${WEB_URL}${X6}"
            URL_DETAIL_MD=`echo $URL_DETAIL|md5sum|awk '{print $1}'`
            if ! grep -q $URL_DETAIL_MD "$URL_MD5" >&/dev/null;then # 該判斷以商品列表詳細頁URL的md5值爲基準，負責URL的重複項斷定
              $CURL -s "$URL_DETAIL" > "$HTML_DIR/$URL_DETAIL_MD"
              LABEL=`grep 'diagram-label' "$HTML_DIR/$URL_DETAIL_MD"|awk -F'[<>]' '{print $5}'`  # 商品標籤
              GIF_URL=`grep -B 10 partInfo "$HTML_DIR/$URL_DETAIL_MD"|grep -o "https.*gif"|awk '{a=$0}END{print a}'` # 產品對應的圖片URL
              PRODUCT_ID=`grep 'productID' "$HTML_DIR/$URL_DETAIL_MD"|awk -F'[<>]' '{print $3}'` # 產品零件號碼
              GIFILE=${GIF_URL#*/}   # 去除了https:/後的圖片URL信息，as:/a/b.gif
              GIF_IMG="${ROOT_DIR}${GIFILE}" # 圖片存到本地後的絕對路徑，as:/dataimg/a/b.gif
              U4=`grep -B 10 '<!-- start opentop -->' "$HTML_DIR/$URL_DETAIL_MD"|grep javascript|awk -F'[<>]' '{print $3}'`
              ! ls $GIF_IMG >& /dev/null && wget -q -m -k -P "$ROOT_DIR" "$GIF_URL"
              echo $URL_DETAIL_MD >> "$URL_MD5"
              echo "$(date +%m%d%T)+++$X1+++$X2+++$X3+++$U4+++$X5+++$URL_DETAIL+++$URL_DETAIL_MD+++$LABEL+++$PRODUCT_ID+++$GIF_IMG+++$URL_LIST" >> "$REPORT"
            fi
          done < $OPT5  # 傳入商品詳細列表url信息，進行循環
        done < $OPT4    # 傳入產品部位分類信息，進行循環
      done < $OPT3      # 傳入裝飾信息，進行循環
    done < $OPT2        # 傳入車型信息，進行循環
  done < $OPT1          # 傳入品牌信息，進行循環
  echo >&9
}&
done < $OPT0            # 傳入年份信息，進行循環
 
wait
 
exec 9<&-

OK!java

以上就是腳本的所有內容，總體腳本主要包含了組合目標URL和抓取目標URL兩個大方向，圍繞這兩個大方向，主要是使用 curl 來作數據抓取，是用sed、awk、grep、cut來作興趣數據的抽取。linux

因爲所要抓取的目標URL必須通過幾個選項匹配，最終才能獲得想要結果，所以咱們在抓取目標URL以前添加了組合目標URL這一操做。總體這2個方向，我經過多層的while循環嵌套，來實現對參數的複用和一層一層的輸入挖掘。web

爲了優化速度以及控制速度，採用了 shell 的多進程和數據智能判重的方式。shell

採用 shell 的多進程目的是爲了增大操做數來縮短總體完成時間，提升抓取效率。bash

shell 多進程主要依託循環 + { } + & 來實現。若是多進程的進程數量有指定數值，那麼咱們可使用for和while都而已，若是多進程的進程數量沒有指定數值，那麼咱們最好使用while循環語句。經過將 { }& 嵌套在循環中實現將 {}內的命令羣組放到後臺去自動執行，而後完成本次 { }& 操做，使得循環能夠進入下一次。網絡

以上並未實現該shell 在後臺開啓進程數的控制，假設你的須要執行一萬次，若是你未控制速度，就可能會致使直接觸發着一萬次操做，同時放到後臺執行，這樣對系統是致命的傷害。另外一方面，做爲爬蟲，你對目標網站的併發量也不能太大。出於這兩方面的考慮，咱們須要控制 shell 多進程每次放入後臺執行的數量。針對這一行爲，咱們主要經過文件描述符來實現。經過新建一臨時管道文件，而後爲該文件打開一個文件描述符，併爲其傳遞指定數量的空行（本文傳遞了10個空行），這樣作的目的是爲了實現對進程併發量的控制。接着，在下面循環中， { }&操做的前面使用read -u9（這裏9爲本文使用的文件描述符）來從9這個文件描述符中獲取一行，若是獲取到就能繼續往下執行，若是獲取不到就在這裏等待。併發

經過以上的2者結合，就能實現對 shell 多進程的智能管控。curl

採用數據智能判重的目的在於，在腳本調試中發現速度的執行瓶頸在於curl的速度，即網絡速度，所以一旦腳本異常中斷後，恢復以後，又要重複進行curl操做，這樣就極大增長了腳本執行時間。所以經過智能判重，完美實現了curl時間消耗太久的以及數據重複採集的問題。如下是數據只能判重的邏輯圖：