大數據和雲計算技術週報（第175期)

導語
「大數據」 三個字實際上是個marketing語言，從技術角度看，包含範圍很廣，計算、存儲、網絡都涉及，知識點廣、學習難度高。

本期會給你們奉獻上精彩的：科技、Kafka、Iceber、數據湖、數據治理、MangoDB。全是乾貨，但願你們喜歡！！！

1科技

2020年是不平凡的一年，經歷疫情的洗禮，許多行業重啓向上而生的螺旋，但疫情並未阻擋科技前進的腳步，量子計算、基礎材料、生物醫療等領域的一系列重大科技突破紛至沓來。

https://mp.weixin.qq.com/s/I6hex1v08rfxDKT6UP-jOQ

2Kafka

使用 Kafka 做爲存儲系統來構建一個 API，在事件回放中優化客戶體驗和數據訪問。利用實時系統的設計使系統易於維護。
https://mp.weixin.qq.com/s/lIQ_Vtqn90b1z7-pjGWYIA

3Iceberg

爲了更好的使用 Apache Iceberg，理解其時間旅行是頗有必要的，這個其實也會對 Iceberg 表的讀取過程有個大體瞭解。不過在介紹 Apache Iceberg 的時間旅行（Time travel）以前，咱們須要瞭解 Apache Iceberg 的底層數據組織結構。

https://www.iteblog.com/archives/9901.html

4ClickHouse

本文詳細介紹了ClickHouse 中經常使用的一些監控指標。

https://mp.weixin.qq.com/s/OPYs4dqFpB7Js_JSr5_xRQ

5Kafka

本文主要對Kafka丟失數據問題進行了優化總結。

https://mp.weixin.qq.com/s/KmR4qACOwPYNfYIXchzYTA

6MongoDB

本文講述了MongoDB分片集羣的組件組成，生產環境配置和開發環境配置分片集羣須要考慮分片數量、mongos數量和分佈等事項；

https://mp.weixin.qq.com/s/mFiTGnFr5Fgk6MQ5_PZDSw

7數據湖

本文將從歷史的角度對數據湖和數據倉庫的前因後果進行深刻剖析，來闡述二者融合演進的新方向——湖倉一體，並就基於阿里雲MaxCompute/EMR DataLake的湖倉一體方案作一介紹。

https://mp.weixin.qq.com/s/aTjTjL60Byx6DQrBeaIHFA

8數據治理

大數據時代，數據不單單是企業的財富來源，更是企業一項重要的無形資產，其重要性與日俱增，而對數據資產質量評估也成爲了企業價值評估的一個核心問題。從數據資產的視角來講，高質量數據對於組織整個業務過程的支持和管理決策的制定都是相當重要的，須要充分發揮數據質量評價對數據質量價值提高的做用。
https://mp.weixin.qq.com/s/QdQJC6F2jBG9jAowUJYu4A

11開心一刻

熱火朝天的辦公室，一精壯青年一邊啃着饅頭，一邊看着眼前產品，愁眉緊鎖的他陷入了沉思：產品下一步應該怎麼走？如何保證代碼質量？如何縮短項目時間？如何控制項目成本？一個個難題須要他思索，抉擇。此時，傳來項目經理的吆喝：「程旭元，先別敲代碼了！給我修下電腦……」