ISASearch:基於分佈式爬蟲的信安技術文章搜索引擎

摘 要 隨着大數據時代的到來，信息的獲取與檢索尤其重要，如何在海量的數據中快速準確獲取到咱們須要的內容顯得十分重要。所以本項目爲了更好的整合利用安全領域特有的社區資源優點，首先使用Scrapy爬蟲框架結合NoSQL數據庫Redis編寫分佈式爬蟲，並對先知、安全客、嘶吼三個知名安全社區進行技術文章的爬取；而後選取ElasticSearch搭建搜索服務，同時提供了RESTful web接口；最後經過D

>>阅读原文<<