資料下載 | 58同城HBase平臺及生態建設實踐

前言：2020年3月7日晚7點，大佬張祥在微信羣向你們詳細介紹了58同城HBase平臺及其生態的建設實踐與相關經驗，確實講得很好。今天花了點時間幫你們整理了一下，但願更多的沒有參與直播的朋友可以看到它，也歡迎你們積極轉發一下，視頻與PPT相關資料附於文末。

亮點在哪

該分享的亮點在哪兒裏呢？這裏我就本身的理解闡述一下本身的想法，不喜勿噴哈~

1. 數據接入層

第一個亮點是：58同城在HBase之上作了進一步封裝（SCF），融入了微服務，充分利用了微服務的優點和特色，好比熔斷、監控、權限、動態擴縮容等等均可以在這一層作，雖然也多了一層運維成本，但微服務技術應該也算有比較成熟的體系了。

以前也聽過諸多言論，好比HBase之上封裝一層HTTP或是RPC服務會致使性能下降之類的說法，其實我卻是以爲影響仍是比較小的，固然確定會有些影響。對性能影響比較大的只多是過分封裝或是對HTTP/RPC框架不熟。

固然，性能與服務器成本是掛鉤的，性能的提高會帶來服務器成本的下降，諸多好處和不足還應權衡一下。58同城，也算是在這一方面開了一個不錯的先例（恕我孤陋寡聞~）。

2. 多租戶打通與數據隔離

聽完整個視頻，我以爲第二個亮點算是多租戶的全線打通了，這裏主要是一個解決方式：Hadoop ugi 的提出。多是我孤陋寡聞吧，這個對個人啓發確實挺大的，由於正好能夠解決本身在工做中遇到的一個比較頭疼的問題：基於Kerberos過重，如何打通HBase的受權與鑑權，並充分利用HBase ACL？若是你也有這個困惑，能夠了解一下。

3. 集羣遷移方案

第三個亮點，是一套新的集羣遷移方案的提出。以往的貼大都是Snapshot+Replication的方式作這個遷移工做，58首先提出了一個集羣雙寫的方案（恕我孤陋寡聞~），感受挺好。你們能夠詳細看看視頻，張祥講解的也很清楚。

答疑解惑

答疑環節呢比較少，這裏把微信羣裏屈指可數的幾個問題貼一下：

1. 集羣遷移爲何不直接snapshot+export_snapshot?

張祥: 「
你這個方式慢，snapshot-export這個工具慢 你試試
並且，若是以前的老表 分區不合理，好比過大或者太小，你這樣就很差從新建立新分區了」

2. clone-snapshot之後，major_compact主要是什麼考慮？合併小文件嗎？仍是？

張祥: 「
把一個表複製一下，作個深度拷貝，而不是副本引用。」

3. 數據接入層，多租戶RPC長連接建立後是如何實現用戶動態切換的？我目前的理解HBase是在創建鏈接前指定用戶。

張祥: 「ugi」

資料分享

在線視頻播放地址：
微信視頻：https://mp.weixin.qq.com/s/pUhsvUaznySryItwjWTjQg
鬥魚直播：https://www.douyu.com/5022062
騰訊視頻：https://v.qq.com/x/page/g3078klzfwj.html

PPT下載地址：

百度雲：
連接：https://pan.baidu.com/s/1fAnxS4bSj9HShMOkiFMWfA
提取碼：um8a

轉載請註明出處！歡迎關注本人微信公衆號【HBase工做筆記】