比價網站的基礎-爬取淘寶的商品信息

淘寶網站，頁面上有不少動態加載的AJAX請求，而且不少參數作過加密處理，若是直接分析網頁，會很是繁瑣，難度極大。本文利用selenium驅動chrome瀏覽器完成關鍵字輸入、搜索、點擊等功能，完成頁面的信息的獲取，並利用pyquery庫進行解析，獲取商品信息並將信息存入mongodb。 selenium庫的安裝已經具體使用方法詳見博客http://blog.csdn.net/qq_29186489

>>阅读原文<<