基於Scrapy、Redis、elasticsearch和django打造的搜索引擎

1.需求分析 1.1  爬取兩個目標網站 伯樂在線:http://www.jobbole.com/ 刺蝟實習:https://www.ciweishixi.com/ 1.2  將數據存儲到合適的數據庫 由於我們要做的是搜索引擎,傳統的關係型數據庫不是太適合,而且需要對部分字段進行解析,elasticSearch爲我們的首選 1.3  快速搭建網站 使用django後端框架,進行快速網站開發。Dja
相關文章
相關標籤/搜索