創新實訓總結報告

1.分工 我在我們的創新實訓隊伍當中負責了知乎和頭條數據的爬取和整理，實現了給定一個關鍵詞從而查詢提供相關問題的內容，更新時間，評論內容，評論數目以及贊同數量等其它數據屬性的爬蟲，通過爬取的數據存放到mysql中，通過構建本地Elasticsearch，kibana和logstash以及搭建雲ELK服務實現了大批量數據的搜索功能，展示功能和分佈式功能，能夠提供問題排查，監控和預警，關聯時間和數據分

>>阅读原文<<