一個簡單的分佈式爬蟲

目標 獲取所有A股最近300個交易日的日K數據。 思路 通過一臺 redis 數據庫創建一個任務隊列，存放所有的 A股股票代碼，所有的爬蟲共享這個隊列。 爬蟲程序循環不斷地從隊列中拿到股票代碼，然後模擬請求，從東方財富網獲取最近300個交易的數據,解析後，存入mysql數據庫。 實現 整個程序分爲兩部分，RedisServer 負責從上交所、深交所獲取所有的 A股股票代碼，然後放入redis中的

>>阅读原文<<