分佈式輕量級批量任務框架設計思想

批量任務在不同的公司都在使用,如每天定時生成訂單、處理特定的任務等等,當數據量一大的時候,批量任務就會變得執行非常慢,有的要跑幾個小時,甚至更久,如何來提高批量任務執行的速度呢?方法有多線程+分片,這兩種結合起來執行速度是非常快的,單純使用多線程也會提高處理速度(一般的批量任務偏IO密集型,用多線程會提高處理速度)。 有多個批量處理框架,如Quartz、Spring-batch、Tbschedul
相關文章
相關標籤/搜索