個人第一個爬蟲【python selenium】 chromedriver版本問題

去年寫的一個小功能，一年過得好快，好快！

目的：爬取京東商品詳情頁面的內容（商品名稱、價格、評價數量）後存儲到xls文檔中，方便商家分析本身商品的動態。

軟件：chrome（windows）、chromedriver.exe、phantomjs.exe 、anaconda、pycharm

實現：用selenium自動化工具實現內容抓取，模擬谷歌瀏覽器打開url，內容展現在瀏覽器後（js動態內容展現） 定位到各個文本和按鈕的位置，而後抓取內容和模擬人工點擊按鈕繼續操做瀏覽器來展現動態的內容（滾動頁面，點擊「下一頁」等按鈕），最後寫入excel中。

打包發佈：整個程序須要python環境，這樣不方便客戶使用，最終打包成雙擊可運行的win程序，不用安裝任何編譯工具，方便妹子使用。

目前的問題:多線程沒有實現，不曉得哪裏的問題，求指導！！！

 

 

代碼鏈接

chromedriver版本問題

 Selenium 是什麼？

ping監控網絡情況

py2exe--打包成雙擊可用的程序

 

 

運行日誌

D:\python\app\anaconda2\python.exe D:/python/workspace/京東爬蟲.py
17-01-07
發現URL文件，準備開始爬蟲
2018-04-23 17:01:16
4
#############   一共 4 條數據要爬蟲   #############
http://item.jd.com/712579.html

#############   努力加載連接中，請耐心等待   #############
 debugprint@@@   打印url
False RETURN_CODE
#############   網頁已經被打開，耗時：5秒   #############
 debugprint@@@   scrolldown1
 debugprint@@@   準備開始滾動500
 debugprint@@@   已向下滾動500
 debugprint@@@   scrolldown2
 debugprint@@@   start find name btn
#############   1名稱：   #############
浪琴(Longines)瑞士手錶 瑰麗系列機械男表L4.821.4.11.6
 debugprint@@@   start getprice
#############   1價格：   #############
7599.00
商品評價(9400+)
好評度： 95%
#############   多線程開始   #############
#############   MyThread_totalcom線程開始   #############
所有評價(9400+):9400
#############   多線程結束   #############
曬圖(500):500
好評(8900+):8900
中評(200+):200
差評(200+):200
test111111111
#############   準備插入第 1 條數據,一共：8列   #############
#############   寫入以下數據   #############
連接 http://item.jd.com/712579.html
名稱 浪琴(Longines)瑞士手錶 瑰麗系列機械男表L4.821.4.11.6
價格 7599.00
曬圖 500
好評 8900
中評 200
差評 200
所有評價 9400
#############   該條數據寫入完成耗時：7秒，還剩3條數據待分析，即將開始下一個連接的抓取！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！   #############
https://item.jd.com/7275691.html

#############   努力加載連接中，請耐心等待   #############
 debugprint@@@   打印url
False RETURN_CODE
#############   網頁已經被打開，耗時：4秒   #############
 debugprint@@@   scrolldown1
 debugprint@@@   準備開始滾動500
 debugprint@@@   已向下滾動500
 debugprint@@@   scrolldown2
 debugprint@@@   start find name btn
#############   1名稱：   #############
榮耀 MagicBook 14英寸超輕薄窄邊框筆記本電腦(i7-8550U 8G 256G MX150 2G獨顯 指紋識別 正版Office)冰河銀
 debugprint@@@   start getprice
#############   3價格：   #############
5698.00
#############   沒法獲取xpath以下   #############
//*[@id="detail"]/div[1]/ul/li[5]
商品評價(10+)
好評度： 100%
#############   多線程開始   #############
#############   MyThread_totalcom線程開始   #############
所有評價(10+):10
#############   多線程結束   #############
曬圖(0):0
好評(10+):10
中評(0):0
差評(0):0
test111111111
#############   準備插入第 2 條數據,一共：8列   #############
#############   寫入以下數據   #############
連接 https://item.jd.com/7275691.html
名稱 榮耀 MagicBook 14英寸超輕薄窄邊框筆記本電腦(i7-8550U 8G 256G MX150 2G獨顯 指紋識別 正版Office)冰河銀
價格 5698.00
曬圖 0
好評 10
中評 0
差評 0
所有評價 10
#############   該條數據寫入完成耗時：26秒，還剩2條數據待分析，即將開始下一個連接的抓取！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！   #############
http://www.qq.com

#############   努力加載連接中，請耐心等待   #############
 debugprint@@@   打印url
2 RETURN_CODE
#############   頁面被跳轉   #############
test111111111
#############   準備插入第 3 條數據,一共：8列   #############
#############   寫入以下數據   #############
連接 http://www.qq.com
名稱 !!頁面被跳轉
價格 2
曬圖 
好評 
中評 
差評 
所有評價 
#############   該條數據寫入完成耗時：0秒，還剩1條數據待分析，即將開始下一個連接的抓取！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！   #############
https://item.jd.com/3347170.html
#############   努力加載連接中，請耐心等待   #############
 debugprint@@@   打印url
False RETURN_CODE
#############   網頁已經被打開，耗時：2秒   #############
 debugprint@@@   scrolldown1
 debugprint@@@   準備開始滾動500
 debugprint@@@   已向下滾動500
 debugprint@@@   scrolldown2
 debugprint@@@   start find name btn
#############   1名稱：   #############
南極人（NanJiren）套件 全棉純棉雙人四件套 1.8/2.0米牀 被套220*240cm 抹茶花
 debugprint@@@   start getprice
#############   1價格：   #############
268.00
商品評價(7500+)
好評度： 100%
#############   多線程開始   #############
#############   MyThread_totalcom線程開始   #############
所有評價(7500+):7500
#############   多線程結束   #############
曬圖(445):445
好評(7400+):7400
中評(20+):20
差評(10+):10
test111111111
#############   準備插入第 4 條數據,一共：8列   #############
#############   寫入以下數據   #############
連接 https://item.jd.com/3347170.html
名稱 南極人（NanJiren）套件 全棉純棉雙人四件套 1.8/2.0米牀 被套220*240cm 抹茶花
價格 268.00
曬圖 445
好評 7400
中評 20
差評 10
所有評價 7500
#############   該條數據寫入完成耗時：3秒，還剩0條數據待分析，即將開始下一個連接的抓取！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！   #############
#############   @@@@@$$$$$$$$@@@@@            全部代碼正常運行 無報錯          @@@@@@@@@@@$$$$$$$$$$$$$$$@@@@@@@@@@@@@@@@   #############
#############   整個爬蟲一共耗時：38秒,單條連接平均爬蟲耗時:9.5秒   #############
#############   sleep 10s後關閉瀏覽器   #############