分佈式技術一週技術動態 2015.12.06

分佈式系統實踐

1. 小米搶購限流峯值系統「大秒」架構解密

https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=402182304&idx=1&sn=1bd68d72e6676ff782e92b0df8b07d35&scene=1&srcid=12045k1zDgO7DLlMLwimBKjC&key=ac89cba618d2d9760e3683067d4bff29f8bb89fc3bf97b2e474e526125c134f4ac64f36ebde25dd6eea41fb060cc002f&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=zWmI5jvmzrBpeGth%2Flwe%2FJzKodOSqz2DWlR3Hu72WXSqXyHYg%2BjlXbiI8Xlb3LKM

要點: 本文介紹了小米搶購系統"大秒"的系統架構以及模塊劃分, 講述了各個模塊的難點和解決方案, 是一篇比較不錯的案例分享文章.

2. 記錄一下互聯網日誌實時收集和實時計算的簡單方案

http://lxw1234.com/archives/2015/11/569.htm?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要點: 使用kafka進行數據遠程傳輸的一個案例, 供你們參考.

3. LinkedIn是如何優化Kafka的

http://mp.weixin.qq.com/s?__biz=MzAwNjMxNjQzNA==&mid=401589968&idx=1&sn=984d8d7dac44c03aac74732f2154ec10&scene=0&key=ff7411024a07f3eb2f3dfe8acb650ab40de105a759104e4e2b764773e71a5602bd68dea9c52c390d25b69fd108cc0c8a&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=vnN3nJ7Pf%2Bjda9TY%2BATrOHy7xBbwFHegumfG7WodK805wd3xhpa3ilBwV7%2FPhio2

要點: 本文介紹了linkedin在優化kafka上的一些思路, 可是沒有詳細的說明如何優化, 僅供參考吧.

4. TiDB alpha is released! 

http://www.pingcap.com/posts/alpha-release.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要點: 還記得我以前給你們分享過的, 號稱惟一支持標準SQL的分佈式數據庫TiDB嗎? 如今他發佈了alpha版本, 使用hbase做爲底層的存儲引擎, 開發了分佈式事務層支持多行事務, 感興趣的同窗能夠試用, 僅限於測試環境.

5. 面向魯棒性的系統設計

http://mp.weixin.qq.com/s?__biz=MzIzMzEyMjU3MQ==&mid=400757941&idx=1&sn=8cb52a9710842a21a42765879e8fa882&scene=0#wechat_redirect

要點: 常常發現線上的代碼對各類異常考慮不夠, 也就是系統魯棒性很差. 這篇文章給出了不少缺少魯棒性的例子, 而且給出了對應的解決方案, 看看有哪些錯誤是你犯過的?

 

服務化和資源管理技術

1. 當Unikernel趕上Docker，會發生什麼？

http://dockone.io/article/857?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要點: 【編者的話】本文主要是對在巴塞羅那舉辦的DockerCon大會上介紹的Unikernel的總結。Unikernel是一種新的容器化發展方向，使用Rump Kernels構建Rump Kernels微服務，能夠像傳統的容器同樣管理使用，能充分利用到現有容器生態系統的優勢。

2. 用瀏覽器管理 Docker

https://mp.weixin.qq.com/s?__biz=MjM5NjQ4MjYwMQ==&mid=400504357&idx=1&sn=97076ad27a74972289a15ac744171c80&scene=0&key=ff7411024a07f3ebace2e036b38c710f712a5262b7ace3cf782eca7836362a3c26284ff197a6bc8f0134c0f41aca2b5d&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=vnN3nJ7Pf%2Bjda9TY%2BATrOHy7xBbwFHegumfG7WodK805wd3xhpa3ilBwV7%2FPhio2

要點: 記不住docker那麼多複雜的命令? 不要緊, 提供一個webUI如何, 本文介紹了一個基於docker的WebUI工具, 方便的經過WebUI操做docker.

3. 咱們與Docker編排的故事

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400621313&idx=1&sn=104f425b3bafc825f8b95365484204de&scene=0&key=ff7411024a07f3eb44520bc4163fe1abc2a9679874cc65cde061b955f8f30a6bf161d68541295f2ad28fa5aa0ff83156&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=IHqpcWeHcCSGGqaMp3fLPqQa5cyoIjO3TIgYCZtgLsBS8QwrI0GDXR7SggOMcyzX

要點: 常常閱讀技術動態的同窗對容器編排的概念應該比較熟悉了, 本文歸納了肯定一個容器編排系統的技術選型須要考慮的問題.

4. Docker 監控- Prometheus VS Cloud Insight

http://news.oneapm.com/docker-prometheus-cloud-insight/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要點: 又是docker監控的一篇文章. 這篇文章對docker上比較成熟的兩套監控系統普羅米修斯和cloud insight進行了功能對比, 整體上看兩者功能上差異不大.

服務調度和 Trace 技術

1.  緩存經常使用更新策略對比

http://carlosfu.iteye.com/blog/2245723?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要點: 對緩存的常見更新策略進行了簡單的對比, 內容比較淺顯, 適合初學者.

2. 高性能IO模型淺析

http://www.cnblogs.com/fanzhidongyzby/p/4098546.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要點: 這篇文章對網絡編程中經常使用的術語, 好比reactor, proactor, IO多路複用, 異步IO, 進行了比較直觀的解釋, 讓你們再遇到這些概念時再也不陌生. 

DevOps 技術

1. 設計全球級的分佈式、任務關鍵型應用——從實際項目中得來的教訓

http://www.infoq.com/cn/articles/design-global-level-distributed-mission-critical-apps-part01?utm_campaign=rightbar_v2&utm_source=infoq&utm_medium=articles_link&utm_content=link_text

要點: 這篇文章結合做者資深的經驗, 分享了在大規模分佈式服務設計, 部署和運維中的一些教訓, 包括數據分片, 監控和測量, 自動化服務和配置的部署, 消防演習, 最小化表面積等建議.

2. 運維自動化與標準規範化：解析、設計及實現

http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=400710527&idx=1&sn=e99bf2534c911ed915bf931c31935241&scene=0&key=ac89cba618d2d976d5effb59cd4dcc08248e98e774a0bc255161a0c2d7c8c416aaf969fd3841bc87a92b107c404343c7&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=JA6TS4FkeNsCq7ISGasxmgPTnSZdjLZk5Ndn2G82XBAbNzhuF%2F4UBfuP7jmsBPI%2F

要點: 全部的運維都但願自動化, 那麼就必須先對運維流程進行標準化, 好比noah中的N多流程, 其實都是爲了標準化而生的. 本文介紹了實現一個自動化運維平臺的過程, 包括數據庫, 工單和WebUI.

 

工具集合

1. 《ZooKeeper官方指南》ZooKeeper 使用 ACL 進行訪問控制

http://ifeve.com/zookeeper-access-control-using-acls/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要點: 給zookeeper都加上權限吧, 重要性很少說了.

2. 淺談操做系統對內存的管理

http://blog.jobbole.com/95499/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要點: 本文簡單介紹了操做系統對內存的管理。這些基礎概念對於不少開發人員是頗有幫助的。文章圖文並茂, 講解的很生動.

3. 專訪豌豆莢搜索技術負責人：應用內搜索——移動時代的搜索技術

http://www.infoq.com/cn/articles/wandoujia-search-in-app

要點: 一篇對豌豆莢站內搜索的訪談, 技術內容很少, 技術套路和我廠也比較相似, deep link+調起技術.

4. 和開發組長聊聊溝通

http://zhuanlan.zhihu.com/fangtalk/20372309?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要點: 無論你是否是團隊的技術負責人, 不少同窗都或多或少的承擔着開發組長的職責, 看一下合格的開發組長應該怎麼思考問題.

4. zookeeper 分佈式鎖的實現

http://www.open-open.com/lib/view/open1426730315851.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要點: 這篇文章介紹瞭如何使用zookeeper實現分佈式鎖的功能, 邏輯不復雜, 基本上就是按照官方文檔描述的標準流程設計的. 若是你們使用java語言, 那麼這些其實都不用本身實現, 開源的aurora項目把基於zookeeper的經常使用功能都封裝好了, 包括分佈式隊列, 選主, 分佈式鎖等等. 若是使用其餘編程語言, 那隻能本身實現一遍了, 這裏不得再也不一次吐槽zookeeper的c api, 提供的接口太過於底層了, 用起來要作不少封裝, 但願也有c++版本的aurora項目出現啊.