爬蟲實戰8—分佈式系統的高可用與高併發處理

文章說明：本文是在學習一個網絡爬蟲課程時所做筆記，文章如有不對的地方，歡迎指出，積極討論。 墨菲定律： 1）任何事情沒有看起來那麼簡單 2）所有的事情都會比你預計的時間長 3）可能出錯的事情會出錯 4）如果你擔心某種情況會發生，那麼他一般會發生 應對高併發的基本思路（利用機器換內存）： 1、加快單機的速度，例如使用redis，提高數據訪問頻率；增加CPU的內核數，增大內存； 2、增加服務器的數量，

>>阅读原文<<