java實現互聯網爬蟲

  一、 網絡爬蟲(又被稱爲網頁蜘蛛,網絡機器人,在FOAF社區中間,更經常的稱爲網頁追逐者),是一種按照一定的規則,自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲 二、 採集步驟: 1:分析採集內容       2:發送Http請求 解析請求返回元素 存儲採集內容 分析採集內容 Demo:採集肖申克的救贖的影評 (標題、評論) https://mo
相關文章
相關標籤/搜索