python 實現爬取網站下所有URL

python3 實現爬取網站下所有URL 獲取首頁元素信息： 首頁的URL鏈接獲取： 遍歷第一次返回的結果： 遞歸循環遍歷： 全部代碼如下： 小結： python3.6 requests && bs4 採用遞歸方法，最終爬取網站所有鏈接 獲取首頁元素信息： 目標 test_URL：http://www.xxx.com.cn/ 首先檢查元素，a 標籤下是我們需要爬取得鏈接，通過獲取鏈接路徑，定位出我

>>阅读原文<<