java爬蟲 爬取網站信息 保存數據庫

需求分析 1:爬取虎嗅首頁獲取首頁文章地址:https://www.huxiu.com/ 2:爬取虎嗅分頁地址,獲取分頁上的文章地址。 3:爬取文章詳情頁,獲取文章信息(標題、正文、做者、發佈時間、評論數、點贊數、收藏數)。 4:將爬到的文章信息入庫。 實現思路 1:爬首頁 請求地址:https://www.huxiu.com/ 請求方式:get   請求參數:無 請求頭:  User-Agent
相關文章
相關標籤/搜索