分佈式技術一週技術動態 2015.11.29

時間 2019-11-11

標籤分佈式技術一週 1周動態 2015.11.29 欄目系統架構简体版

原文原文鏈接

分佈式系統實踐

1. (學術論文)Fail at Scale Reliability in the face of rapid changec++

http://queue.acm.org/detail.cfm?id=2839461算法

要點: 本文介紹了facebook的在線系統穩定性解決方案. 文章涵蓋了配置管理系統, 分級發佈, 快速回滾, 控制延遲算法, 併發度控制, 防止雪崩, 核心服務健壯性, 故障演練等涉及服務穩定性的方方面面, 對咱們的系統穩定性有很大的參考價值(特別是延遲控制算法, 對於解決長尾問題很是有效). 感興趣的同窗能夠進一步閱讀 controlling queue delay(http://queue.acm.org/detail.cfm?id=2209336)這篇論文.docker

2. 分佈式數據庫及反範式設計數據庫

http://mp.weixin.qq.com/s?__biz=MzI0MjA1Mjg2Ng==&mid=400528497&idx=1&sn=6b068d924ba06d030bbb5b147265abfa&scene=0&key=d72a47206eca0ea96172c220b41bf4d2fd453cc51cc34453c93860c47545d81354e638afbef697c33fa0563999baa9bd&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=fm72IkhE73ohiJFH1JkrnoFjHMnntunQ8yRmtLCEAsS4pLhWdPunO9NCXGWVZJjc編程

要點: 這是做者的一些列技術文章中的一篇, 介紹如何使用數據庫反範式設計來解決中小企業的分佈式數據庫問題.api

3. Lambda架構與推薦在電商網站實踐網絡

https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=401800864&idx=1&sn=e86e31a4aa6279f5b515f9116da47d59&scene=0&key=d72a47206eca0ea97d58f0d568d7c4baa44b12f09dfe5665b65a347d4ab82b1c013c7fe9eac1339662772de4f51bcc34&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=Cdp7CRTPTmbyombyxm9%2B2OmffnjUJ%2B%2Fb%2F%2F7dSgVKOuC3utHRQZrLI9B6tE3ShfC6架構

要點: 本文結合電商的例子, 介紹了lambda架構的具體概念, 簡單的說, lambda架構就是批處理層, 實時處理層和服務層三層架構.併發

4. Kafka文件存儲機制那些事運維

http://mp.weixin.qq.com/s?__biz=MzAwNjQwNzU2NQ==&mid=400594407&idx=3&sn=463f60dfc80b1849c69ac535c30d6eaf&scene=1&srcid=1125P4PCcL6tgbJ6TbMI6u5w&key=ff7411024a07f3ebb56f8edc2777a261d1d46ec1a7056566c26be50f991ed026eafdacc08d0607dc308a0336ed017825&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=3zOnUafulZfDDs9hITOiVJTOU6dXT7g%2B%2B%2FBGOTJouBJnp%2FNVKkJm%2FSgmhn15MIqu

要點: 一個商業化消息隊列的性能好壞，其文件存儲機制設計是衡量一個消息隊列服務技術水平和最關鍵指標之一。本文將從Kafka文件存儲機制和物理結構角度，分析Kafka是如何實現高效文件存儲，及實際應用效果。

服務化和資源管理技術

1. 微博基於Docker容器的混合雲遷移實戰

https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=401778644&idx=1&sn=41fc85e861a4ba7aaa4fcea7339f9a08&scene=0&key=d72a47206eca0ea964235f691058d7ff1e6a83cd6091851074d10ff18ee61c48e37ce569010b4e6b0d2d402e9f7e195a&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=fm72IkhE73ohiJFH1JkrnoFjHMnntunQ8yRmtLCEAsS4pLhWdPunO9NCXGWVZJjc

要點: 本文分析了微博使用混合雲的案例, 闡述了使用混合雲的優勢以及微博採用的軟件棧. 微博在docker上的實踐起步比較早, 案例頗有參考意義.

2. 如何在Docker中使用Open vSwitch

http://dockone.io/article/837?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要點: 咱們使用的機房和機器網絡環境都是事先配置好的, 因此你們可能對網絡的配置有點陌生. 不一樣於直接使用物理機, 不論是使用docker仍是虛擬機, 容器或者虛擬機的網絡配置就須要你們操心了. 可是不一樣於物理機, 虛擬機(或者docker容器)是頻繁變化的, 那麼網絡配置也要求跟隨着一塊兒變化, 這就有了虛擬網絡的需求, 如何讓兩臺宿主機不一樣的虛擬機經過網絡通訊呢(還要考慮overhead儘可能小)? 爲此SDN應運而生, 而open vSwitch就成爲了SDN的最廣泛的工業實現方式了(對於SDN我本人懂得也很少, 有說錯的地方請你們指正, 也歡迎感興趣的同窗主動站出來分享). 本文就介紹瞭如何在docker容器中使用open vSwitch從而解決不一樣docker容器之間的相互通訊問題.

3. 到底什麼是Unikernel？

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400591600&idx=1&sn=ad2a950c6a0d23e7e8ff7542fe990c4c&scene=0&key=ff7411024a07f3eb4614053949f393ad08b523b68bf7df1aedfe47bd1b3cca5816a3b908aaca018f3aa9f98b71c8791a&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=9MB1xKc0HqedPjFc7tyecllaeQUc%2BJR0mIaDlBoZrmW41%2Fd9P16MWnWl3kh29AZe

要點: 若是你持續關注DevOps週刊，DevOps主題的會議或是對技術真正感興趣，你也許已經據說Unikernel不少次了。在過去的幾個月，它彷佛愈來愈受關注。然而，究竟什麼是Unikernel? 它是我想要的東西嗎？本文對此作了簡要的介紹.

服務調度和 Trace 技術

1. 微博在大規模、高負載系統問題排查方法

http://mp.weixin.qq.com/s?__biz=MzAwNjQwNzU2NQ==&mid=400579906&idx=3&sn=ec43a81e46e1d59d704dc3654568c9ae&scene=1&srcid=1123jvTJBK7Gd2y4JrAxsU14&key=d72a47206eca0ea914348206054b50b9c6b48f296779b29b6b4d0a2ccd78de999e420e9784d1d056fd75b65acf41655e&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=Cdp7CRTPTmbyombyxm9%2B2OmffnjUJ%2B%2Fb%2F%2F7dSgVKOuC3utHRQZrLI9B6tE3ShfC6

要點: 乾貨滿滿的一篇文章, 歷來自一線問題追查的經驗積累而成的一篇文章. 這方面穩定性團隊的同窗比較有發言權, 常常須要追查線上莫名其妙的問題, 若是你們在平時問題追查過程當中遇到沒有頭緒的問題, 不妨找穩定性團隊的同窗聊聊.

DevOps 技術

1. atime、mtime、ctime的區別及如何下降atime更新

https://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=400742435&idx=1&sn=d5fa0776ebce30be1de897cd7d1eb295&scene=0&key=d72a47206eca0ea9ec5b7c574d593f1cec476c38b6d36e28bf256e4822e7188e92f5b6b9c7bb0398b7e86bad90f786a0&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=fm72IkhE73ohiJFH1JkrnoFjHMnntunQ8yRmtLCEAsS4pLhWdPunO9NCXGWVZJjc

要點: 爲何咱們掛載磁盤的時候須要用noatime選項? 這幾個time表明什麼含義? 這篇文章告訴你答案.

2. 咱們如何把持續部署化繁爲簡的

https://mp.weixin.qq.com/s?__biz=MzA4NjAzMjEyOA==&mid=402441122&idx=1&sn=8195b678bfeaf2b4c153afecbf43c5a9&scene=0&key=d72a47206eca0ea962fd5dff5f17c807cf7ef4c67efe90bb83ef42de5ffefdd5c2bc22225fe8cfe134253cda75bb31fe&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=fm72IkhE73ohiJFH1JkrnoFjHMnntunQ8yRmtLCEAsS4pLhWdPunO9NCXGWVZJjc

要點: 說到持續部署你們每每想到這是一個極其複雜的系統, 這篇文章從RPM包開始提及, 把握關鍵環節化繁爲簡, 設計並實現了一套可視化的持續部署系統.

3. 三張圖看遍Linux 性能監控、測試、優化工具

https://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=400775633&idx=1&sn=4f8fe1e484d1f2bb9843fca333a4340a&scene=0&key=d72a47206eca0ea954e2eb2b0436b5df588936fb64d5ae5a02d42b3f5af2f5d5589f866dbab120b4319030a3971bd445&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=Cdp7CRTPTmbyombyxm9%2B2OmffnjUJ%2B%2Fb%2F%2F7dSgVKOuC3utHRQZrLI9B6tE3ShfC6

要點: 直接看圖, 很少說.

4. Docker 監控實戰

http://news.oneapm.com/docker-monitoring/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要點: 監控一直是服務運維必不可少的組件. docker以及container技術的普及, 對應的監控也須要與時俱進, 本文介紹了基於docker的一些監控解決方案, 特別是介紹了普羅米修斯這個開源的監控系統. 順便說一句, 普羅米修斯號稱是最接近borgmon的監控系統.(我都沒用過, 僅供參考)