Heritrix源碼分析之URI調度詳解

一. 簡述 URI調度，簡單的來說就是提供一個分配URI和加入URI的方法，抓取線程通過分配URI獲取待抓取URI，抓取分析完成後需要把希望繼續抓取的URI加入到調度器內，等待調度。Heritrix的CrawlController是通過定義一個 private transient Frontier frontier  來實現調度器的管理的，Heritrix提供了若干個調度器的實現，當然也可以根據自

>>阅读原文<<