垂直搜索-爬蟲部分

垂直搜索與通用搜索不同之處在於，通用搜索不需要理會網站哪些資源是需要的，哪些是不需要的，一併抓取並將其文本部分做索引。而垂直搜索裏，我們的目標網站往往在某一領域具有其專業性，其整體網站的結構相當規範，並且垂直搜索往往只需要其中一部分具有垂直性的資源，所以垂直爬蟲相比通用爬蟲更加精確。 垂直爬蟲抓取數據分成三個步驟：list-crawling(列表url抓取)，detail-crawling(詳情u

>>阅读原文<<