【SDCC講師專訪】百度運維部高級工程師胡東旭:BDRP的底層設計以及核心模塊的研發...

由CSDN舉辦的SDCC 2016 將於3月18-19日在上海隆重召開。屆時,百度運維部高級工程師胡東旭將在數據庫核心技術與實戰應用峯會中帶來《Redis在百度的運用實戰》的主題分享,歡迎大家前來現場聆聽【點擊這裏搶票】。


圖片描述

百度運維部高級工程師 胡東旭

百度運維部高級工程師,主要負責地圖/糯米的基礎組件研發(Redis,Nginx等)。有豐富的Cache運維經驗,曾主導百度BDRP(Baidu Distributed Redis Platform)的底層設計以及核心模塊的研發–目前BDRP已在整個百度公司內得到廣泛使用。

以下爲CSDN對胡東旭先生的個人專訪內容,下面就讓他分享BDRP的底層設計以及核心模塊的研發,和如何才能成爲一名優秀技術人。以下爲專訪內容:

CSDN:首先請您簡單介紹下自己、公司以及目前所負責的領域。

胡東旭:我是百度運維部高級工程師胡東旭,13年畢業於武漢理工大學,加入百度運維部後主要負責地圖以及糯米的Cache存儲(Redis、Mognodb等)運維以及研發、目前專注在產品線的前端接入方向(速度優化、防劫持等)。

CSDN:您擔任百度運維部高級工程師期間,給您留下最深刻的人或事有哪些呢?

胡東旭:糯米是14年Q1割接到百度機房,穩定性由最開始接手時候的兩個9都不到做到了現在4個9,當中離不開大家的努力。組織上成立了糯米運維保障執行團隊,每次大型活動,相關運營/RD/QA/OP都會齊心協力爲活動保駕護航。

CSDN:據我瞭解,您曾主導百度BDRP( Baidu Distributed Redis Platform)的底層設計以及核心模塊的研發,在研發期間遇到了哪些技術難點和挑戰?

胡東旭: 1. 技術難點其實也是由糯米活動所引發的,背景是:糯米活動組織越來越頻繁,並且流水也逐漸升高,那麼在活動期間的峯值流水很可能是平日期間的5-10倍,那麼要在如此強度下仍然保障可靠的穩定性,就需要服務有高效的止損手段/預案。而BDRP之前是沒有考慮到止損效率,而運維部要求這一層的止損能力要在1分鐘內完成,這一環如果不能完成,那麼糯米的止損能力就相當於缺了一條腿。

2.因而對於BDRP而言,如何做到1分鐘止損,這本身就是一個不小的挑戰。

CSDN:那麼,您能具體和我們談談BDRP具體應用在哪些場景下?他們實現的原理又是什麼?

胡東旭: 1. BDRP應用的場景十分之多,一般分爲兩種類型,一種是Cache類,例如地圖的索引信息則存放在Redis內,另一類是當作存儲類型使用,例如糯米的團單詳情信息是存在Redis內的。

2.當作Cache使用的,一般多爲QPS高,數據頻繁更新的服務,而且多半都會利用Redis的key淘汰策略。

3.而當作存儲類型使用的,一般是看中Redis較爲輕量級,易上手,比別的NoSQL支持的數據結構類型更多,並且開發模式比使用MySQL更加簡易。

CSDN:據我瞭解,您對Cache運維有着豐富的經驗,那麼您能和我們具體談談嗎?

胡東旭: 1.Cache運維我主要還是說Redis。

2.Redis的運維其實主要需要關注這麼幾個方向:

(1)在RD調研Cache/存儲選型的時候,就介入進來,或者說你給RD有好的准入標準,可供評估。(好的准入,是爲了讓RD弄明白他的項目中需要哪種合適的Cache/存儲);
(2)其次,對Redis而言,所有的常用配置,基本原理,得做到心中有數;
(3)Cache運維並不是無腦式操作,你要做到心中有數,平日抽空多讀源碼;
(4)除了原理以外,運維上也有許多事情需要完成的,例如監控以及預案。一定要確保監控項覆蓋全面,但是從另外一個角度來說,想100%覆蓋所有監控,這個的確不容易,所以就需要有應對故障的策略/預案,並且定期頻繁演練,確保你的預案足夠健壯。

CSDN:您近期還會關注哪些技術熱點?
胡東旭:從底層而言,主要還會關注Docker等容器化技術;從前端技術而言,還會關注用戶訪問速度優化等topic,例如google的AWP技術等等。當然,這些需求其實都源於產品線。我更加推崇的是離業務更近一點,帶着產品線的需求而做技術/架構的變革,而不僅僅只是爲了追求某項技術而研發。

CSDN:您認爲作爲一名優秀的技術人應該具備哪些素質?

胡東旭: 1.嗅覺敏銳:你必須得時刻關注產品線需求,開源社區的熱門技術/國外優秀的技術前沿論文。

2.自驅力:時刻給自己充電,要不就落後於他人。

3.團隊協助:很多項目是需要一個團隊,甚至多個團隊一些協助完成的,一個單兵能力再強也有很大的侷限性。

4.共享信息與樂於助人:有好的idea/技術,不要私藏,要學會分享,發揚出來。

5.敢於挑戰他人以及接受別人的挑戰:在挑戰中不斷成長,纔不會當井底之蛙。

6.不盲從:以數據說話。

CSDN:在本次SDCC數據庫峯會上分享的話題是?

胡東旭:我本次在峯會上分享的題目是關於BDRP的架構原理以及實際運用場景。

CSDN:您最期待在本次SDCC數據庫峯會上聽到哪些內容?

胡東旭:我希望聽到更多業內對數據庫應用方面的實踐,比如像阿里的RDS等等。


SDCC的精彩正在繼續,2016年3月18日-19日,數據庫核心技術與實戰應用峯會、互聯網應用架構實戰峯會將在上海召開,我們靜候您的到來。大會官網(含購票)