分佈式技術一週技術動態 2015.12.27

分佈式系統實踐

1. Kafka深度解析mysql

http://www.jasongj.com/2015/01/02/Kafka%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/ios

要點: 這篇文章深刻的講解了kafka的架構設計, 數據複製算法以及kafka的性能等多個方面, 是理解和學習kafka很是可貴的一篇好文章, 推薦給你們.c++

2. 解密阿里巴巴高可用架構技術——「異地多活」redis

http://mp.weixin.qq.com/s?__biz=MzAwNjQwNzU2NQ==&mid=401018519&idx=2&sn=cf9087d77fcd9780fe9886c4ba13b8d5&scene=1&srcid=1220afyWqZ8U3anVV8ypU266&key=ac89cba618d2d976a4624cac2d91ecf3f634adf383e47e68364fc7545e64839b0d0bbbd5376f37d3b5960739f8065bf7&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.2+build(15C50)&version=11020201&pass_ticket=FKPNswoh10ezmmzr%2FjPXpiLeT%2BaqQFMH0rYNCIwP%2BTAn9NdRKQKLt4oZu0V6Bt7z算法

要點: 上週給你們分享了一篇介紹微博系統異地多活的架構, 本週分享一下阿里的異地多活架構, 能夠看到異地多活是很是複雜的, 須要很強的延遲控制技術和異地的數據同步技術.sql

3. Redis 的性能幻想與殘酷現實docker

http://mp.weixin.qq.com/s?__biz=MzAxMTEyOTQ5OQ==&mid=401738746&idx=1&sn=281af530d5abec981f3607d6e729914a#rd緩存

要點: 這篇文章做者用根據本身的應用場景和數據特色, 整理redis在性能方面的不足, 因此你們看到一個系統以後, 不能僅僅經過官方的benchmark就來決定性能的優劣.性能優化

4. 高併發服務端分佈式系統設計概要網絡

https://mp.weixin.qq.com/s?__biz=MzA5ODM5MDU3MA==&mid=401445404&idx=1&sn=ba38768f1baf7d622c703d31a2c346c7&scene=0&key=62bb001fdbc364e54dc0171378afa29595cc93fec9e7e47eb1fdc950efd67814e196600a3ed9ebbda6af240a78d73947&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.2+build(15C50)&version=11020201&pass_ticket=8xlM3AplRCx3Bla16mbuCskHHMt28uxnEw8N7uph%2BslGWQNexVQOz0JAHn9oS1Gf

要點: 這篇文章參考GFS, bigtable等分佈式存儲系統, 描述瞭如何從下往上設計一個分佈式存儲系統, 設計分佈式鎖, 分佈式選舉, 數據一致性, 客戶端緩存等一系列問題.

 

服務化和資源管理技術

1. Apache Mesos和數據中心操做系統的崛起

http://dockone.io/article/909?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要點: 一篇mesosphere架構的科普性介紹, 幫助你們快速瞭解mesosphere.

2. Docker 容器明文密碼問題解決之道

http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=401284046&idx=1&sn=58a22a96673c983b4ae7744cddc95b5a&scene=0&key=ac89cba618d2d976a344b4be9574a7ee15d4d6a77f4b9551f0f5e7e938904f060983bc3d0737f22cc2b73d7965abaf10&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.2+build(15C50)&version=11020201&pass_ticket=FKPNswoh10ezmmzr%2FjPXpiLeT%2BaqQFMH0rYNCIwP%2BTAn9NdRKQKLt4oZu0V6Bt7z

要點: 本文以mysql爲例, 說明如何避免經過MYSQL_PASSWORD這樣的環境變量傳遞明文密碼來解決docker容器的明文密碼問題. 雖然文章中舉的例子是mysql, 可是適用於全部存儲類容器.

3. 再談容器標準:CoreOS總結OCI、CNCF和AppC的發展

http://dockone.io/article/910?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要點: 本文總結了容器開放標準的相關進展, 離着指望還有一段距離

4. Twitter高性能分佈式日誌系統架構解析

https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=403051208&idx=1&sn=1694ac05acbcb5ca53c88bfac8a68856&scene=1&srcid=1224xZuQ9QQ4sRmiPVdHTppL&key=62bb001fdbc364e5161a46fb900b53a64986c005b7ea0312415b7d8c2961dca54674359a8d9daf752bb3a849fc223aa4&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.2+build(15C50)&version=11020201&pass_ticket=O7Icvonc5O5Is4x3iUQ%2F87UucTTBnSWB5h2PNDi6Mf2xYYcQnrelBKT3X6DBoc2M

要點: 這篇文章介紹了twitter的DistributedLog系統的設計和架構, DL是kafka的替代品, 知足了低延遲, 高吞吐等需求場景, 從文章中還能夠學習到相似系統的設計和實現方法, 很是值得一讀.

 5. Docker 架構私有云的機遇和挑戰

https://mp.weixin.qq.com/s?__biz=MzA3ODUxMjMyMw==&mid=401216031&idx=1&sn=800322ecce5eebb04918bab5658796bb&scene=1&srcid=12239kZu3zTOrYU5s1WqlzbK&key=62bb001fdbc364e5d88518058cdd10ac8c7339f3c0cd351fcf99448f219c2776bd0bf04312bf293113f7242f87126905&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.2+build(15C50)&version=11020201&pass_ticket=ziGn1uu6%2Bbf2JNC94ACTnebjL8dCKDtLVR7NJTLKYapuOfL1Lqv3MFAXF5aU85lj

要點: 這篇文章介紹了coding.net的微服務進化過程, 文章中介紹的技術選型和選擇權衡我比較推薦, 不要爲了使用新技術而使用新技術, 要找準業務的痛點, 選擇能解決問題的技術, 而且選擇相對成熟穩定的技術.

 

大規模服務高可用技術

1.  關於網絡延時

http://weibo.com/p/1001603918506671397959?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要點: 本文介紹了影響網絡延遲的因素以及測量網絡延遲的方法.

2. 從C10K到C10M高性能網絡的探索與實踐

http://mp.weixin.qq.com/s?__biz=MjM5NzAwNDI4Mg==&mid=402418888&idx=1&sn=6c9a07434543343b2eb44080518fd038&scene=0&key=ac89cba618d2d97681d199bee237b776b8500c5a2389fff1a69b61473c17ca89fa38c6b86502f9207375d8f3ddb689b8&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.2+build(15C50)&version=11020201&pass_ticket=AMWQ9BFH3L6vEYsqnO24uwurwtMCmMb9S1V3cr6OSA%2FTZbjz7p3CijPMWEKxQn%2Bm

要點: 在高性能網絡的場景下,C10K是一個具備里程碑意義的場景,15年前它給互聯網領域帶來了很大的挑戰。發展至今,咱們已經進入C10M的場景進行網絡性能優化。這期間有怎樣的發展和趨勢?圍繞着各種指標分別有哪些探索和實踐?12月20日在北京舉辦的「七牛架構師實踐日」沙龍中,來自京東的資深架構師閆國旗爲你們作了題爲「從C10K到C10M高性能網絡的探索與實踐」的分享,如下是對他演講內容的文字實錄。

 

DevOps 技術

1. IT運維分析與海量日誌搜索

https://mp.weixin.qq.com/s?__biz=MzA4NjAzMjEyOA==&mid=404276998&idx=1&sn=d1584836932ee0df06945f9219e4b73c

要點: 本篇文章是日誌易創始人兼CEO陳軍老師12月16日在【DBA+社羣】中間件用戶組進行了一次主題爲「IT運維分析與海量日誌搜索 」的線上分享。

2. 優秀的運維架構師應該具有哪些能力?

http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=401255298&idx=1&sn=1d1956d5a17351489bc46b9ea27b4789&scene=0&key=ac89cba618d2d976726a5bbb048332bacd26f7d495080134efd3c867e6e537c034360153fda9c5071fe07a01e704e04e&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.2+build(15C50)&version=11020201&pass_ticket=FKPNswoh10ezmmzr%2FjPXpiLeT%2BaqQFMH0rYNCIwP%2BTAn9NdRKQKLt4oZu0V6Bt7z

要點: 雖然文章的標題寫的是運維工程師應該具有的能力, 可是我以爲這些能力是任何一個優秀的工程師都應該具有的, 看看這些能力你具有了嗎?

3. 淺談運維平臺選型,提速DevOps運維

http://toutiao.com/i6231773180470493697/?tt_from=copy&utm_campaign=client_share&app=news_article&utm_source=copy&iid=3314286178&utm_medium=toutiao_ios

要點: 現現在DevOps已經深刻人心,在這個大量數據中心建設加速的時代,運維部門都在高度強調自動化,而自動化的關鍵即DevOps。可是,你們在推動DevOps的過程當中卻發現其前途坎坷。本文簡要介紹了DevOps系統選型的基本原則.

4. 全球頂級專家爲你解讀:什麼是真正的 DevOps

https://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=401381942&idx=1&sn=9322decc1a905486b765e5a1e1833acf&scene=0&key=62bb001fdbc364e5c0558a05466edafc6d349e1d56884050f4dc1b549e3c804e9b1c4ab3640a7dc0dc06c7b2402e96ad&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.2+build(15C50)&version=11020201&pass_ticket=ziGn1uu6%2Bbf2JNC94ACTnebjL8dCKDtLVR7NJTLKYapuOfL1Lqv3MFAXF5aU85lj

要點: 本文是 Skytap 內容主編 Noel Wurst 對 DevOps Enterprise Summit (DOES)的不徹底綜述,內容包括了 Noel 和一些與會嘉賓的思考,旨在勾畫 DevOps 當下的局勢,以及將來的趨勢。以及 DevOps 的真正價值——DevOps 正幫助愈來愈多的企業邁向非凡成功之路。

 

大雜燴

1. 深度解析:清理爛代碼

http://mp.weixin.qq.com/s?__biz=MjM5MzA0OTkwMA==&mid=401462272&idx=1&sn=7c2df9f2ba53e3ae20c65b7dafcc14be&scene=0&key=ac89cba618d2d976ae22b3a7d66904a131836252f203bfcc23ecd9671c3e7c09ec4e21578d19a42e0e6025a3cbdb07be&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.2+build(15C50)&version=11020201&pass_ticket=FKPNswoh10ezmmzr%2FjPXpiLeT%2BaqQFMH0rYNCIwP%2BTAn9NdRKQKLt4oZu0V6Bt7z

要點: 爛代碼不可避免的存在着, 如何面對他以及解決呢? 這篇文章給了一些中肯的建議.

2. 有趣的 std::tuple - 一行代碼解析命令行字符串

http://gulu-dev.com/post/2015-12-22-std-tuple-arg-parser?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要點: 一個很簡潔的使用c++11技術來進行參數解析的工具類, 須要你們準備c++11關於可變模板參數, std::tuple, 模板偏特化, 遞歸模板等知識.

3. OAuth: 用一種簡單、標準的方式去訪問須要用戶受權的服務

https://mp.weixin.qq.com/s?__biz=MzIwMDI1MTYwMQ==&mid=401715805&idx=1&sn=4747acc89a23966ef59870d07a66a767&scene=0&key=62bb001fdbc364e565b199e666f441fe75f9e5317656356f1800e1db73e11afe2de8d6a2c777025f4007253f9932cd57&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.2+build(15C50)&version=11020201&pass_ticket=O7Icvonc5O5Is4x3iUQ%2F87UucTTBnSWB5h2PNDi6Mf2xYYcQnrelBKT3X6DBoc2M

要點: 通常涉及加密之類的文章第一次讀都不太好理解, 本文雖然沒有詳細解釋oauth RFC中的規定, 可是對oauth協議的基本流程闡述的很是清楚, 適合第一次瞭解oauth的同窗.

4. Facebook是如何作自動化測試的?

https://mp.weixin.qq.com/s?__biz=MjM5MzA0OTkwMA==&mid=401738982&idx=1&sn=63a76276c00a5f499aaeb8e5b4b5411e&scene=0&key=62bb001fdbc364e54ecff35dbac1f98c59d23fbc065d6b8bb3363c21a17e31fdd2589bf1054ff039ba8fca7a48e3a7ff&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.2+build(15C50)&version=11020201&pass_ticket=8xlM3AplRCx3Bla16mbuCskHHMt28uxnEw8N7uph%2BslGWQNexVQOz0JAHn9oS1Gf

要點: 這篇文章簡要的介紹了針對不一樣項目facebook的自動化測試工具和測試框架, 並且文章指出facebook是沒有專職qa的, qa只負責開發和維護自動化測試工具, 全部開發人員要負責爲本身的代碼開發自動化測試程序. 我比較推崇這種方法. 不要過渡依賴qa, 像搭環境復現問題, 保證自動化測試的覆蓋率這樣的事情, 都應該有開發人員負責.

相關文章
相關標籤/搜索