深入學習Heritrix---解析Frontier(鏈接工廠)

Frontier是Heritrix最核心的組成部分之一,也是最複雜的組成部分.它主要功能是爲處理鏈接的線程提供URL,並負責鏈接處理完成後的一些後續調度操作.並且爲了提高效率,它在內部使用了Berkeley DB.本節將對它的內部機理進行詳細解剖. 在Heritrix的官方文檔上有一個Frontier的例子,雖然很簡單,但是它卻解釋Frontier實現的基本原理.在這裏就不討論,有興趣的讀者可以參

>>阅读原文<<