python爬取京東商品信息

本文使用python爬蟲，採集京東的商品信息。因爲京東的搜索頁面採用二次加載技術，即載入時只加載30條商品信息，餘下30條須要下拉頁面到底部再載入。因此爲了完整的獲取到商品信息，本文采用了進程池、selenium + phantomjs 想結合的方式來拿到京東的搜索頁面，而後使用lxml模塊獲取所需的商品詳細信息，並將獲取到的數據存入mysql數據庫中。html 一  工具及使用到的模塊pytho

>>阅读原文<<