爲什麼每一個爬蟲工程師都應該學習 Kafka

這篇文章不會涉及到Kafka 的具體操作，而是告訴你 Kafka 是什麼，以及它能在爬蟲開發中扮演什麼重要角色。 一個簡單的需求 假設我們需要寫一個微博爬蟲，老闆給的需求如下： 開發爬蟲對你來說非常簡單，於是三下五除二你就把爬蟲開發好了： 接下來開始做報警功能，邏輯也非常簡單： 再來看看統計關鍵詞的功能，這個功能背後有一個網頁，會實時顯示抓取數據量的變化情況，可以顯示每分鐘、每小時的某個關鍵詞的抓

>>阅读原文<<