輸入關鍵字的爬蟲方法(運行環境python3)

       前段時間，寫了爬蟲，在新浪搜索主頁面中，實現了輸入關鍵詞，爬取關鍵詞相關的新聞的標題、發佈時間、url、關鍵字及內容。並根據內容，提取了摘要和計算了相似度。下面闡述自己的思路並將代碼的githup鏈接給出： 1、獲取關鍵詞新聞頁面的url       在新浪搜索主頁，輸入關鍵詞，點擊搜索後會自動鏈接到關鍵詞的新聞界面，想要獲取這個頁面的url，有兩種思路，本文提供三種方法。    1

>>阅读原文<<