分佈式系統實踐
1. 直觀理解paxosjava
http://drmingdrmer.github.io/pdf/paxos-slide/paxos.pdflinux
要點: paxos協議一直以難以理解著稱, 以致於該論文發表10年後才被人們認識到重要性, 這篇文章經過具體的例子來闡述paxos協議, 讓人感受到paxos協議不是發明出來的, 而是演化而來的, 讓paxos協議再也不那麼難以理解了.git
2. NoSQL數據庫模型github
http://darkhouse.com.cn/blog/4?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io算法
要點: 文章很長, 請你們耐心讀完. 這篇文章從數據模型的角度, 將鍵值數據庫, 列簇數據庫, 文檔數據庫, 圖形數據庫這些數據庫的數據模型轉換爲關係數據庫模型, 而且進行了對比, 這纔是數據庫的本質.docker
3. Leases 一種解決分佈式緩存一致性的高效容錯機制 數據庫
http://duanple.blog.163.com/blog/static/70971767201141111440789/緩存
要點: 租約機制普遍應用於分佈式緩存一致性問題, GFS, chubby, bigtable等系統都使用了租約機制. 這篇論文詳細闡述了租約機制的原理以及如何根據具體條件設置租約的長短.服務器
4. 阿里雲梯的多NameNode和跨機房之路網絡
http://mp.weixin.qq.com/s?__biz=MzAwNjMxNjQzNA==&mid=401405502&idx=1&sn=474f562664ba2673aed17ef712b1e1c6&scene=1&srcid=1120vcah4guP0tEFzi89t9PI&key=d72a47206eca0ea95731e1fbf3e3356fe751096ad6d8ced46b2f2e4d0911bd1f33a3fba2c372b9baa4475b342301de61&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=tqXL%2F8WjYPwuROJvJQrbBDZEtJXdPywl5%2FJZgTF9f9w6JB7Qbvn5cOkwxnZsPuE7
要點: 本文介紹了阿里雲梯系統實現跨機房分佈的技術演變過程, 在不影響業務的狀況下實現跨機房的變化, 是很是有挑戰的, 也要求架構自己的元數據管理有必定的靈活性. 其實不少基於master-slave的架構都有無縫實現機房遷移的潛在需求, 特別是須要進行機房間部署調整的時候(好比因爲歷史緣由, tc邏輯機房的一批機器鏈接的總控是jx邏輯機房, 受限於現有架構, 調整回來是很是複雜的). 順便說一句, 我和做者羅李在2010年網頁搜索部的分佈式索引構建中有過緊密的合做, 幫助咱們解決和優化了不少hadoop的難題.
服務化和資源管理技術
1. Kubernetes 1.1發佈：網絡性能大幅度提高
https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400342804&idx=1&sn=1d16cfe4a689a3ba8f52a2449327d4b0&scene=0&key=d4b25ade3662d643af2499ec341db9adfa46fd55b726b73cd88a140a3b9cbcccb015ddcd2fe36b6cea02acacb646e8ba&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=U1qz9MtzxJSMf%2BCPuDdYaRRlFK4jiyXGKmKBTMEJnhLzFHK4zVpZAkDUXMv0FBK0
要點: kuberntest 1.1發佈了, 本文介紹了新版本的特性.
2. 互聯網金融創業公司Docker實踐
https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=401596539&idx=1&sn=94922b2bf38d8f86777fe3ada47a8389&scene=0&key=d4b25ade3662d6438b0c8b72da54a81fb6a6dff8b193bd3185e339bb32dfc1ed22965656f9ffebcb382c27a5a28cfda4&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=o8upGhLwKUtmv2PgDs9RzfZb3x8DZtIdlLR0ONZeZ6L6mvsjPnXACYclyLDf1Igz
要點: 本文介紹了"雪球"公司在使用docker進行彈性擴容/持續部署方面的一些經驗, docker目前看來仍然是部署無狀態服務的最好選擇.
服務調度和 Trace 技術
1. 從理論到實踐，全方位認識DNS
http://mp.weixin.qq.com/s?__biz=MzAxODI5ODMwOA==&mid=404456665&idx=1&sn=5da2d34a2cb2ca89a145593ec7002c4a&scene=0&key=d4b25ade3662d6433824459318f754408a4146c5e54fc23ed12f5ce13fa505f9e25a35fef2b1217f1a4e7be557014b02&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=U1qz9MtzxJSMf%2BCPuDdYaRRlFK4jiyXGKmKBTMEJnhLzFHK4zVpZAkDUXMv0FBK0
要點: 上週分享的文章裏有一篇介紹DNS原理的文章, 本文結合實例, 介紹了DNS的申請域名以及DNS劫持的內容
2. LVS在大規模網絡環境中的應用
https://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=400613883&idx=1&sn=5b90b790ba4461111b511847bbcfa193&scene=0&key=d4b25ade3662d643fbf745c7da982c76f1cf11f53c0e0ad8162ad6701b1e72a325fe0e86620672f19a362cf6ad2665b9&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=o8upGhLwKUtmv2PgDs9RzfZb3x8DZtIdlLR0ONZeZ6L6mvsjPnXACYclyLDf1Igz
要點: 文章介紹了阿里在應用LVS過程當中的經驗和遇到的問題以及解決方案.
DevOps 技術
1. SaltStack介紹和架構解析
http://mp.weixin.qq.com/s?__biz=MzA3OTIxNTA0MA==&mid=400539185&idx=1&sn=eba6cc70ba097682c1e4d26336cd18f3&scene=1&srcid=1116DYp40lmTarhQaGPc3FW7&from=groupmessage&isappinstalled=0#wechat_redirect
要點: SaltStack是一種新的基礎設施管理方法開發軟件,簡單易部署,可伸縮的足以管理成千上萬的服務器,和足夠快的速度控制,與他們交流,以毫秒爲單位。SaltStack提供了一個動態基礎設施通訊總線用於編排,遠程執行、配置管理等等。SaltStack和我廠oped開發的ccs系統的定位應該是一致的, 你們也能夠在內網搜一下ccs進行了解和對比
2. 接觸AWS近5年，談談個人運維經驗
https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400410642&idx=1&sn=da55ad6d5378bd84867e6b5f1314facb&scene=0&key=d72a47206eca0ea95b072f85a7d78fdc13d8936b115eb04fea9fee5803647ac164a0492ebd4d06d35956114d993b75da&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=j3Yx%2F4TRpjE332qPJnHo%2FRLUzmHmPgE%2FoSYR8QqkMM5ZVHv5pm7wtKczzUBWdYO%2B
要點: 做者從故障, 自動伸縮, DDOS攻擊幾個方面講述了使用AWS的親身體會. 能夠看出, AWS也是有故障的, 也是須要不少細粒度的工做的.
3. 開源的集中式定時任務管理系統Cronhub
https://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=400613883&idx=2&sn=57eb06d81e610b7b2e6191587f66d723&scene=0&key=d4b25ade3662d643fd6b4cf2ad3fd60445da0e53ae5d13855dc8a4af0d602e37e3df77e13521b90fec63c8e1723bd646&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=o8upGhLwKUtmv2PgDs9RzfZb3x8DZtIdlLR0ONZeZ6L6mvsjPnXACYclyLDf1Igz
要點: 管理crontab我想是不少我廠OP都頭疼的問題, 這篇文章介紹了一個基於java的開源crontab管理框架, 提供豐富的GUI幫助你們簡化對crontab任務的管理.
4. 運維圈必讀10篇精選技術文章
https://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=400637963&idx=1&sn=3df66f61d444569dd8d2691e8f3bac90&scene=0&key=d72a47206eca0ea941235e43f96af828866e60b2f87eb04bd4ffb4aa17c47be863b6c48d12dfbc9e4bc9aea86bd113a0&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=j3Yx%2F4TRpjE332qPJnHo%2FRLUzmHmPgE%2FoSYR8QqkMM5ZVHv5pm7wtKczzUBWdYO%2B
要點: 確實是比較經典的技術文章, 有一些在我以前整理的技術動態中也分享過, 你們能夠回顧一下.
工具集合
1. 深刻淺出說閃存：撥開 SSD 的神祕面紗
http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=400397199&idx=1&sn=18ab1666d1b433b21c4f43506651d812&scene=0&key=d4b25ade3662d6435c930942874557b49d1ff021bd290baf8218fe89b76869ea083620c6e3ab94548fdde439f503aab2&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=U1qz9MtzxJSMf%2BCPuDdYaRRlFK4jiyXGKmKBTMEJnhLzFHK4zVpZAkDUXMv0FBK0
要點: SSD愈來愈普及了, 你們都知道SSD的速度比普通磁盤那但是快了不僅一點半點. 可是SSD爲何這麼快呢, 快的背後和磁盤相比有哪些風險呢? 本文介紹了SSD的基本原理來讓你們瞭解SSD的本質.
2. 深度解析】Linux系統啓動流程
http://mp.weixin.qq.com/s?__biz=MzA3OTgyMDcwNg==&mid=400442155&idx=1&sn=4f1210007479aa6f023e013fcd644fb3&scene=0&key=d4b25ade3662d6433d0438410cffb89383a8ab338aae6eea47ad83438ed4be8f9371e5e59da1fbe0674becb9d3c3c39c&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=o8upGhLwKUtmv2PgDs9RzfZb3x8DZtIdlLR0ONZeZ6L6mvsjPnXACYclyLDf1Igz
要點: 這是一篇介紹linux系統啓動順序的小文章, 幫助你們理解機器維修過程當中初始化策略執行的地方. https://mp.weixin.qq.com/s?__biz=MzAxOTAzMDEwMA==&mid=402242393&idx=2&sn=2e0440065686a38d9000caa211bc0c3c&scene=1&srcid=1120IxVPZZBwFn5E31EsdQNh&key=d72a47206eca0ea984a30396413bd64767d83400c97c2b28df4265c03485e1930fe2b8b81ecbc61c75772e6ccb8c9804&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=tqXL%2F8WjYPwuROJvJQrbBDZEtJXdPywl5%2FJZgTF9f9w6JB7Qbvn5cOkwxnZsPuE7 同時這篇文章對啓動初始化的三種方式, sysinit, upstart, systemd進行了詳細的說明.
3. 手把手教你用Strace診斷問題
http://huoding.com/2015/10/16/474?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io
要點: 若是你還不瞭解strace, 那麼看看這篇文章吧.
4. Linux進程調度
http://dokey4444.github.io/2015/11/16/Linux%E8%BF%9B%E7%A8%8B%E8%B0%83%E5%BA%A6/
要點: 這是beehive團隊的高瑋同窗本身撰寫的一篇技術博客(現場講解的更透徹~), 講解了linux進程調度算法的演化過程, 而且深刻講解了CFS調度算法. CFS調度算法是linux 2.6內核採用的新一代調度算法, 讓進程調度從學術派走了出來, 算法簡介明瞭, 就像你們學習了使人費解的paxos協議以後在看raft協議同樣的感覺. 其實CFS的思想能夠應用在不少須要任務調度的地方, 好比beehive中下載任務調度, 因此接下來beehive也打算使用CFS的思想來重構下載任務管理模塊.
5. 運維工程師必會工具：Nmap 和 TCPdump
http://mp.weixin.qq.com/s?__biz=MzAxODI5ODMwOA==&mid=405085266&idx=1&sn=b35274c948a6cf48e87d1d7d2c14799b&scene=0&key=d72a47206eca0ea97c82196eeb37cf071f2ffa9063cc42cc04fd0fab6f88dca63c5e7cae7f5a4a5a5ad60cf33d57698e&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=j3Yx%2F4TRpjE332qPJnHo%2FRLUzmHmPgE%2FoSYR8QqkMM5ZVHv5pm7wtKczzUBWdYO%2B
要點: 追查網絡問題的必備工具. http://mp.weixin.qq.com/s?__biz=MzA3OTgyMDcwNg==&mid=400481563&idx=1&sn=b3b0e6543d32f8743a3e0249998f4a80&scene=0&key=d72a47206eca0ea94c9e0b0f11d5d47aec9932a620df400078218c77a2baad925bca802dc5a41e7b4bcbe9ab0ac7c4c9&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=j3Yx%2F4TRpjE332qPJnHo%2FRLUzmHmPgE%2FoSYR8QqkMM5ZVHv5pm7wtKczzUBWdYO%2B 再補充三個追查性能問題的好工具, htop, glances和dstat. 目前公司默認安裝的追查工具太落後了, 但願將一些高級工具做爲基礎軟件安裝上去.