網頁爬蟲、中文分詞、全文搜索及自動定時調度

    如題，實現網頁爬蟲，將制定URL下的網頁內容進行爬查，去掉HTML代碼後保存到本地，並對這些內容進行中文分詞，創建索引，然後提供全文搜索服務。爬蟲、分詞並創建索引，能夠單獨執行，也能夠整合在一塊兒進行定時調度而無需人工干預。不須要安裝任何數據庫，部署簡單。部署好以後就能夠立刻對本身的網站進行爬蟲、創建索引後就能夠提供全文搜索服務，還能夠經過JS方式，跨域提供全文搜索。數據庫     全文搜

>>阅读原文<<