設計一個網頁爬蟲

一、需求溝通 1、用例 需求說明： 1. 百度這個網站，通過一系列的url鏈接，然後去爬取一系列的網站上的數據，生成標題和摘要信息存下來。 2. 用戶通過在百度搜索框內輸入搜索詞之後，可以看到相關的搜索結果列表。這些列表顯示的就是之前爬取到的頁面標題和摘要。 2、算數   二、答案 1、概要設計 2、擴展設計 3、關鍵點總結 1. 爬蟲的部分是不對用戶的，所以說，不能連到web server下面，

>>阅读原文<<