利用DHT網絡原理製做bt採集蜘蛛,開源版

dhtcrawler最先的版本有不少問題,修復過的最大的一個問題是關於erlang定時器的,在DHT實現中,須要對每一個節點每一個peer作超時處理,在erlang中的作法直接是針對每一個節點註冊了一個定時器。這不是問題,問題在於定時器資源就像沒有GC的內存資源同樣,是會因爲程序員的代碼問題而出現資源泄漏。因此,dhtcrawler第一個版本在節點數配置在100以上的狀況下,用不了多久就會內存耗盡
相關文章
相關標籤/搜索