分佈式技術一週技術動態 2016.05.22

分佈式系統實踐

1. 京東:10萬規模容器的實踐及運營之道linux

https://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=2651659686&idx=1&sn=6e068869eba4a8ef7a6388c55494a85d&scene=0&key=f5c31ae61525f82ec4056be88de346f430e551f2ee71c8a43fe5c84805ade86d7212fe23f21e5e776b4cbf8462fdf2d5&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=YsDlvJRXzH8g77Pvi9Gm%2BBFz9FM4D2P822gajb%2B68YDcRwfzg%2Bqvz2wZ8RYm%2FHjuios

要點: 本文介紹了京東的基於docker的彈性雲平臺, 支持了10w+個docker容器, 以及圍繞彈性雲平臺構建的整個生態系統.算法

2. 前Oracle架構師:如何實現分佈式平臺的內核設計docker

https://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=2650992496&idx=1&sn=6c876df4b8892a07e6786b46f9242ded&scene=0&key=f5c31ae61525f82e36731abef45eba6c4440e1bc0bb7d23ca370de7f63dda420cd33d96ee3e9c9d5e5c22d82b0a31eb9&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=YsDlvJRXzH8g77Pvi9Gm%2BBFz9FM4D2P822gajb%2B68YDcRwfzg%2Bqvz2wZ8RYm%2FHju編程

要點: 這是一篇關於方法論的文章, 很是系統的總結了設計分佈式平臺內核的方方面面, 包括編程模型, 任務調度, 一致性等.安全

3. 冪等(idempotence)網絡

https://mp.weixin.qq.com/s?__biz=MzIyOTM3NjU3Ng==&mid=2247483664&idx=1&sn=cc970b0b7835afeec425e26d5adb10cf&scene=1&srcid=0520aDPydlR3m4Rvq7lDNAeN&key=8d8120cb97983fada3a0cc8c52ee3056445c5e2900ec7fcd2504bc0848831fb1c8d37aa30ed9c5e3292286cdb4887de6&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=ZZJYB2J5cP8Xtr3T79Fp%2B47dkxAuUleGI3x7Lz2XBzJZ3jf3x2Npupnmq2OXp4OS架構

要點: 冪等對於網絡接口來講是很是重要的一個特性, 這篇文章介紹瞭如何將不冪等的接口, 改形成冪等的接口. beehive做爲底層運維的基礎, 在重構中一個重要的原則就是把全部接口修改爲冪等接口, 這樣外圍系統能夠作任意的重試而不會帶來反作用.app

服務化和資源管理技術

1. intel: CAT技術助力數據中心資源隔離負載均衡

https://mp.weixin.qq.com/s?__biz=MzI4OTE3MTI1NA==&mid=2649863042&idx=1&sn=f89b2390527e4adeb02c86cfc169b931&scene=0&key=b28b03434249256b9e9bc38df826d99e8a8750a77f9db198059d2ae6ccbb20bd312f2ea92513ad86637ba826994b6b33&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=l6LmOyfc5ZdIzkasbzdpcElxJTgzxdsoosnec%2BGSXhSK5%2B8aJ8YeoqIbeiRw6tkG

要點: 雖然cgroup解決了或者正在逐步完善cpu, 內存, disk iops的隔離技術, 可是比較底層的資源, 好比L3 cache, memory bandwidth, 仍是沒法作到隔離. 本文介紹了intel的CAT技術, 但願在硬件層面上對應用使用L3 cache的容量進行限制, 從而實現L3 cache隔離的目的.

2. 我就是認真:如何提升Linux下塊設備IO的總體性能

https://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=2651659684&idx=1&sn=0768ce70e51ddb2e1314ca3c2b02dd8d&scene=1&srcid=0516BrRSbFnaoylPr5XHVmz5&key=b28b03434249256b5df1f980673aeb9460fb14f4a8fa46e4845bad02144dd065c5f4ad96744440a238a3a903fe6e97ce&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=l6LmOyfc5ZdIzkasbzdpcElxJTgzxdsoosnec%2BGSXhSK5%2B8aJ8YeoqIbeiRw6tkG

要點: 相信不少同窗都對cgroup如何實現IO資源隔離很是感興趣, 這篇文章詳細介紹了linux內核對IO的幾種調度算法, 而且說明了各個調度算法適用的場景, 理解了這些調度算法, 就不能理解cgroup實現IO隔離的基本原理了.

3. 再談容器與虛擬機的那點事

https://mp.weixin.qq.com/s?__biz=MjM5MjAwODM4MA==&mid=2650686494&idx=1&sn=ee996ea3f73d6b6b0df84a0b9483eac8&scene=0&key=8d8120cb97983fad55bf5b1410345febd92dd0f0e7bb7aad22fc8b8eda894dc8df03f96d3432b572a92a0a4a5b412c07&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=ZZJYB2J5cP8Xtr3T79Fp%2B47dkxAuUleGI3x7Lz2XBzJZ3jf3x2Npupnmq2OXp4OS

要點: 容器技術源於虛擬化技術的發展, 容器和虛擬機這一對歡喜冤家常常被你們拿在一塊兒討論和比較, 在docker普及的今天, 事實上, 容器和虛擬機的碰撞產生了不少創新, 產生了容器和虛擬機結合的技術, 本文介紹了RancherOS, Hyper和LXD這3種技術, 給咱們提供了更大的想象空間, 若是有一個在體積, 啓動速度, 隔離性, 安全性, 性能損失上和容器同樣的虛擬機, 那麼你們會用容器仍是虛擬機呢?

 4. 從Google的PaaS平臺提及,解析中美Docker生態圈

http://toutiao.com/a6286364523653759490/?tt_from=weixin&utm_campaign=client_share&app=news_article&utm_source=weixin&iid=4341776733&utm_medium=toutiao_ios&wxshare_count=1

要點: 本文選自清華大數據產業聯合會會員、數人云CEO王璞博士在5月18日第八屆中國雲計算大會上主題爲「中美容器之融合與變革」的分享.

 

 

服務高可用技術

1. S三、Cassandra、HDFS設計中隱藏的高可用法則

https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653547203&idx=1&sn=e3e0c95611b9b09c6b285e84b4c6edbe&scene=0&key=8d8120cb97983fadf63637fe85ba23f2978cf90ec4d9e8acad4025616b1d3c3f3271ad334ccda99d577350f798b459a4&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=tBYarQ9VqljGZmM4yPhDBcPU6%2BMHdeeAETVZmAKI%2FjsDMjlcFu037quZaRbkJOTX

要點: 本文首先介紹瞭如何度量一個分佈式存儲系統的可用性, 而後結合具體例子, 說明了提高可用性的方法. 其實度量是很是關鍵的, 若是沒法準確度量, 那就沒法有針對性的提高, 本文總結的度量方法尤爲值得學習和總結.

2. 阿里管控系統靠什麼扛住全球最大規模的流量洪峯?

https://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=2650992525&idx=1&sn=649e3c92d6ae752b8350ea54577c2497&scene=0&key=8d8120cb97983fad489da36e82d2d9351c02b2f5cc09770087542df7ec4f2ec448a2771bfcb0413a0d613a841e53230d&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=tBYarQ9VqljGZmM4yPhDBcPU6%2BMHdeeAETVZmAKI%2FjsDMjlcFu037quZaRbkJOTX

要點: 面對海量流量, 限流系統對於保護系統過載是很是重要的, 那麼阿里是如何扛住雙十一的流量洪峯的? 本文介紹了阿里管控系統對外流量限流的令牌桶算法和對內流量塑形的漏桶機制.

3. QQ億級日活躍業務後臺核心技術揭祕

http://toutiao.com/a6285949633660125442/?tt_from=weixin&utm_campaign=client_share&app=news_article&utm_source=weixin&iid=4341776733&utm_medium=toutiao_ios&wxshare_count=1

要點: 本文介紹了騰訊社交業務羣后臺服務的高可用架構, 包括可用性度量, 系統設計優化, 柔性服務思惟, 負載均衡等內容.

DevOps 技術

1. 公有云運維自動化:怎麼讓系統具有可部署性?

http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=207117804&idx=1&sn=76937cc2aec54811f5b47d65258257ea&scene=21#wechat_redirect

要點: 做者總結概括了實現自動化部署的9個原則, 知足了這些原則, 你的服務就具有了自動化部署的能力了.

2. Docker與實現DevOps的三種方式

https://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=2651659718&idx=2&sn=518b4b1f5d4354586b82a8cb604c6dd0&scene=1&srcid=0520T5mATipwiSYGGg4sihAY&key=8d8120cb97983fadd9b6717e367de8acf5217e6433cf1a8b698b57902e22ac7833df8773e3cadcb96206601a3293770d&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=ZZJYB2J5cP8Xtr3T79Fp%2B47dkxAuUleGI3x7Lz2XBzJZ3jf3x2Npupnmq2OXp4OS

要點: 本文介紹了三種DevOps工做模型以及docker在這其中分別起了什麼做用.

大雜燴

1. 業務和商業纔是技術的驅動力

https://mp.weixin.qq.com/s?__biz=MzA4NTU2MTg3MQ==&mid=2655157524&idx=1&sn=e84587a502da2eacf1a700f41e9245bd&scene=1&srcid=0517KZGz4QHVqa1JrqYxGg6H&key=8d8120cb97983fad8788bbf86f8c05e0040f0010ed2fe0c8227e7a2f0170849d56608e55fb118a4956b16e3edab82af2&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=tBYarQ9VqljGZmM4yPhDBcPU6%2BMHdeeAETVZmAKI%2FjsDMjlcFu037quZaRbkJOTX

要點: 這篇文章雖然做者是從本身身爲CTO的視角寫的, 可是我以爲對於咱們不少技術團隊仍然適用, 特別是架構性和工程性的技術團隊. 無論咱們是一個公司仍是一個團隊, 咱們的核心目標都是讓咱們的產品產生最大的商業價值, 再說的直白一點, 就是咱們要解決阻礙產品或者業務產生商業價值的問題, 而不是爲了技術而技術.

2. 最完整的存儲系統接口/協議/鏈接方式總結

https://mp.weixin.qq.com/s?__biz=MzAwNzU3NzQ0MA==&mid=2652088130&idx=1&sn=854189525a6cdc769e112a99d131dede&scene=1&srcid=0519movYOI9b56erENv3uIrq&key=8d8120cb97983fad478fa332b3eea27d9712e4c11b5208bacfc3322c86af8bf9ae621ac22ec140fb96c9b5fd6f88b756&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=B3lgCfFJTd6S4B1bTtTj%2BalqY14nU9GjC%2BqwJWP1mASCsHhlhDE2L6ndCs0GOHgp

要點: 咱們常常聽到什麼sata, ide, scsi, raid卡等名詞, 可是歷來沒有見過具體設備的樣子以及其中的含義, 這篇文章圖文並茂的對這些知識作了一次科普, 感興趣的同窗能夠看看.

相關文章
相關標籤/搜索