Python爬蟲項目，獲取全部網站上的新聞，並保存到數據庫中，解析html網頁等(未完待續)

一、需求說明 需求： 爬取虎嗅網站的全部新聞，並保存到數據庫中。 http://www.huxiu.comhtml 技術： 一、爬蟲 獲取服務器的資源（urllib） 解析html網頁（BeautifulSoup） 二、數據庫技術 數據庫 MySQLdb 業務邏輯的分析： （1）、虎嗅網站的新聞，包括首頁和分頁信息（下一頁） （2）、須要從首頁的資源和分頁的資源中獲取每一個新聞的url鏈接 如何獲

>>阅读原文<<