數據刷新中的並行改進(二) (r5筆記第76天)

在之前的博文中分享了數據刷新中的並行改進建議,但是對於方案的落地還是有很多的細節需要實現。首先是關於很多的表怎麼把它們合理的進行並行切分。根據實際的情況,因爲這些數據字典表都相對數據量都不大,所以存在的分區表很少,所以可以考慮按照segment的大小來作爲並行切分的基準。所以在分佈式環境中,在進行了並行切分之後,數據的刷新速度也是會有差異的。爲了儘量減少同一個數據源的刷新瓶頸,所以還是考慮在每個節
相關文章
相關標籤/搜索