數據刷新中的並行改進(二) (r5筆記第76天)

在之前的博文中分享了數據刷新中的並行改進建議，但是對於方案的落地還是有很多的細節需要實現。首先是關於很多的表怎麼把它們合理的進行並行切分。根據實際的情況，因爲這些數據字典表都相對數據量都不大，所以存在的分區表很少，所以可以考慮按照segment的大小來作爲並行切分的基準。所以在分佈式環境中，在進行了並行切分之後，數據的刷新速度也是會有差異的。爲了儘量減少同一個數據源的刷新瓶頸，所以還是考慮在每個節

>>阅读原文<<