使用Beautiful Soup編寫一個爬蟲 系列隨筆彙總

這幾篇博文只是爲了記錄學習Beautiful Soup的過程，不只方便本身之後查看，也許能幫到一樣在學習這個技術的朋友。經過學習Beautiful Soup基礎知識 完成了一個簡單的爬蟲服務：從allitebooks.com抓取書籍的書名和每本書對應的ISBN碼，而後經過ISBN碼去amazon.com抓取對應的價格。

 

第一部分 Beautiful Soup的基礎知識

Beautiful Soup的安裝和查找、瀏覽的方法。

• 網絡爬蟲: 從allitebooks.com抓取書籍信息並從amazon.com抓取價格(1): 基礎知識Beautiful Soup

 

第二部分 爬蟲服務的實現過程

講解了如何建立Beautiful Soup的項目，如何分析一個網站的HTML結構並編寫查找代碼。

• 網絡爬蟲: 從allitebooks.com抓取書籍信息並從amazon.com抓取價格(2): 抓取allitebooks.com書籍信息及ISBN碼
• 網絡爬蟲: 從allitebooks.com抓取書籍信息並從amazon.com抓取價格(3): 抓取amazon.com價格

 

完整代碼請移步github： https://github.com/backslash112/book_scraper_python

咱們處於大數據時代，對數據處理感興趣的朋友歡迎查看另外一個系列隨筆： 利用Python進行數據分析 基礎系列隨筆彙總

 

接下來打算學習Scrapy庫，Scrapy是一個採集工具，它能夠幫你大幅下降網頁查找和識別工做，輕鬆採集一個或多個域名的信息。有興趣的朋友歡迎關注本博客，也歡迎你們留言進行討論。