python scrapy多進程新聞爬蟲

3月份的時候，由於工作需要使用python+scrapy框架做了一個新聞輿情的爬蟲系統，當時任務比較緊自己也沒有搞過爬蟲，但最終還是較好的完成了任務，現在把做的大致思路記錄分享一下。 首先，展示一下部分截圖吧： 本文主要內容如下： 開發背景 開發的大致思路 代碼框架的介紹 開發背景 近兩年國家對網絡的內容監管十分的嚴格，前一兩年被稱爲「網絡直播年」因此出現了有很多直播公司。我們需要第一時間知道有關

>>阅读原文<<