Python開發輕量級爬蟲

這兩天自學了python寫爬蟲,總結一下: 開發目的:抓取百度百科python詞條頁面的1000個網頁 設計思路: 1,瞭解簡單的爬蟲架構: 2,動態的執行流程:   3,各部分的實現: URL管理器:python內存 網頁下載器:python3自帶的urllib模塊 網頁解析器:使用第三方插BeautifulSoup 4,開發思路: 入口頁:http://baike.baidu.com/view
相關文章
相關標籤/搜索