創新實訓總結報告

1.分工 我在我們的創新實訓隊伍當中負責了知乎和頭條數據的爬取和整理,實現了給定一個關鍵詞從而查詢提供相關問題的內容,更新時間,評論內容,評論數目以及贊同數量等其它數據屬性的爬蟲,通過爬取的數據存放到mysql中,通過構建本地Elasticsearch,kibana和logstash以及搭建雲ELK服務實現了大批量數據的搜索功能,展示功能和分佈式功能,能夠提供問題排查,監控和預警,關聯時間和數據分
相關文章
相關標籤/搜索