構建高效的研發與自動化運維

爲何IT運維須要自動化？ 

所謂IT運維管理的自動化是指經過將平常IT運維中大量的重複性工做，小到簡單的平常檢查、配置變動和軟件安裝，大到整個變動流程的組織調度，由過去的手工執行轉爲自動化操做，從而減小乃至消除運維中的延遲，實現「零延時」的IT運維。簡單的說，IT運維自動化是指基於流程化的框架，將事件與IT流程相關聯，一旦被監控系統發生性能超標或宕機，會觸發相關事件以及事先定義好的流程，可自動啓動故障響應和恢復機制。自動化工做平臺還可幫助IT運維人員完成平常的重複性工做(如備份，殺毒等)，提升IT運維效率。同時，IT運維的自動化還要求可以預測故障、在故障發生前可以報警，讓IT運維人員把故障消除在發生前，將所產生損失減到最低。

運維應包括以下：

• 環境定義：開發環境、測試環境、類生產環境、生產環境等。
• 部署：可以將部署包有效的部署到不一樣的環境。
• 監控：可以監控部署後的系統和應用。
• 告警：出現問題時的響應和處理機制。
• 性能優化：系統各個服務如Nginx/Java/PHP/DB/網絡的優化。
• SLA保障：一般要和業務相關部門討論肯定。

服務治理、任務調度、集羣協同、調用鏈分析、接口質量、SQL質量、實時日誌等

打包、自動化測試、檢測、灰度發佈、分區上線、運維自動化、配置標準化、指令標準化等

分佈式框架、存儲&緩存中間件、自動化測試、雲搜索、開放平臺、營銷平臺等基礎設施

 

自建技術基礎設施（開源+自研）
•自動化發佈系統——灰度發佈、分區發佈
•運維配置自動化系統——運維繫統自動發現、標準化配置
•原子指令系統——支持數百臺服務器、數百個原子腳本操做
•搜索平臺——支持數百個索引、上億條數據
•推薦計算平臺——支持數億用戶數據計算
•API自動化測試系統、Mock模擬測試系統——支持接口的自動化測試、模擬測試、Web自動化測試
•API放水系統、SQL防水系統——治理系統不合理調用
•實時日誌系統——支持Nginx、Tomcat、BI實時日誌和離線跟蹤
•分佈式開發框架——統一分佈式通訊
•配置分發系統——支持配置項、集羣服務發現
•MQ分佈式消息中間件（推模式IDP、拉模式Kafka）——1500w/週一~週五，600w/週六日
•KV分佈式緩存系統中間件（Memcached、Redis、Tair）——億級數據緩存、95%命中率
•LPFS分佈式文件中間件（MongoDB）——MongoDB、圖片、文件
•DB數據庫分庫分表中間件（MySQL）——無限數據量擴展
•分佈式任務調度中間件（Schedule）——支持100+服務、200+/日個分佈式任務調度
•Push統一消息推送平臺——每日100w+推送量，推送至Android、iOS、Email、SMS、微信、Comet

 

依賴開源的技術棧
•語言：Java(Tomcat/Spring) Shell(運維) Nodejs(前端)  Android iOS
•分佈式：ActiveMQ Kafka Zookeeper Router服務發現 Cat
•存儲：Mysql Mongodb Tair Memcached Redis
•計算：Solr ElasticSearch Hadoop HBase Storm Spark
•運維：Linux Nginx Puppet Zabbix OpenStack
•項目管理：Eclipse Git Maven構建 Hudson持續集成 Confluence知識分享  DMS項目管理

 

 

開發階段Code/build
•開發框架
•|-web開發框架Swift
•|-nodejs前端開發框架
•|-ios移動開發框架
•|-android開發框架
•|-shell腳本自動化
•分佈式中間件
•|-分佈式調用RPC
•|-實時推送comet
•|-推消息隊列IDP
•|-拉消息隊列Kafka
•|-配置系統Zookeeper
•|-調度系統Scheduler
•存儲中間件
•|-關係存儲mysql
•|-文件存儲mongodb
•|-KV存儲tair
•|-二級緩存redis
•|-一級緩存memcached
•計算平臺
•|-雲搜索
•|-推薦
•|-大數據計算
•|-網頁解析
•|-文本解析
•|-Word預覽
測試階段Test/ci
•|-API自動化測試
•|-API模擬測試Mock
•|-Web自動化測試Selenium
•|-微信測試WXTest
•|-Open測試KATest
•|-測試環境發佈
上線階段Release/deploy
•|-發佈系統
•|-運維繫統
•|-代碼檢測Builder運維階段
運維繫統Monitor
•|-自動化系統
•|-監控系統Zabbix
•|-雷達日誌系統
•|-Puppet/Mco

服務治理Service
•|-API放水系統APIWater
•|-SQL放水系統MonyogSQL
•|-Router服務中心
•|-配置分發系統
•|-調度系統Scheduler
•|-調用鏈系統Cat運營階段
•開放平臺
•|-微信平臺Weixin
•|-微博平臺Weibo
•|-電話平臺Jiya
•|-支付平臺Pay
•|-開放平臺API
•|-SEO平臺Resource
•運營平臺Channel
•|-推送平臺Push
•|-短信平臺Push
•|-郵件平臺Mail
•|-微信平臺Open
•|-私信平臺MessageCode

 

一、分佈式服務架構

服務發現、通訊、控制
分佈式註冊中心Router：
•同步調用RPC
•服務協議：HTTP協議/心跳檢測
•服務發現：集羣信息統一文件Router.conf
•負載均衡
•異步調用MQ
•推模式：開發快、穩定、實時快
•拉模式：可回溯、日誌收集、數據同步
•分佈式任務調度
•Schedule調度系統
•分佈式事務控制
•Swift開發框架：交易型事務的一致性

二、運維研發的自動化體系

運維配置標準化3大層次

•2.一、硬件標準化：
•-機器標準化：機房、機架位、交換機、機器
•-資源標準化：IP、DNS
•-配置標準化：機器配置自動化採集、標準化檢測，KVM化
•2.二、軟件標準化：
•-軟件安裝標準化：tomcat jdkmemcachedredis...
•-Nginx標準化：域名、配置、發佈
•2.三、項目標準化：
•-項目配置標準化：S區、A區、B區、C區
•-支持多種項目：tomcat、java、nodejs、Python、ios\Android

 

2.一、硬件標準化—自動化採集

2.二、軟件標準化—統一軟件規格

2.二、軟件標準化—自動化安裝卸載

2.二、軟件標準化—服務自動管理

2.二、Nginx標準化—自動配置300域名

 

三、項目發佈自動化體系
•3.一、代碼發佈系統
•-灰度發佈
•-分區發佈：泳道發佈

•3.二、配置發佈系統
•-發佈配置信息
•-集羣協做：Solr、Kafka

•3.三、原子指令
•-系統級操做
•-系統操做日誌

 

四、服務治理體系
•服務健康狀態檢測
•分佈式任務調度（Schedule）
•調用鏈分析（Cat）
•實時日誌監測（雷達系統）
•API質量治理（APIWater)
•SQL質量治理（Monyog）

4.一、服務健康狀態檢測

4.二、分佈式任務調度Schedule

分佈式調度中心：
•基於Mina分佈式協調
•選擇服務的單點調度
•多點服務failover
•長時間任務斷點續傳
•任務依賴調度

 

4.三、調用鏈分析Cat

4.四、實時日誌監測（雷達系統）

•實時日誌查看
•歷史日誌分析
•用戶或IP追蹤
•日誌統計

4.四、實時日誌監測

4.六、SQL質量治理（Monyog）
•MySQL性能監控工具MONyog，分析慢SQL
•程序打印慢SQL日誌
•優化索引、表結構

五、測試環境的自動化構建

六、自動化測試

    自動化測試—API自動化測試

    自動化測試—Web自動化測試
     •Selenium—Web頁面的自動化測試

    自動化測試—Mock模擬測試

---

以上內容部分來自網絡， 但願對您系統架構設計，軟件研發有幫助。 其它您可能感興趣的文章：

互聯網數據庫架構設計思路
某大型電商雲平臺實踐
企業級應用架構模式N-Tier多層架構
某企業社交應用網絡拓撲架構圖
IT基礎架構規劃方案一(網絡系統規劃)
餐飲連鎖公司IT信息化解決方案一

若有想了解更多軟件研發 , 系統 IT集成 , 企業信息化，項目管理 等資訊，請關注個人微信訂閱號：

 

做者：Petter Liu
出處：http://www.cnblogs.com/wintersun/
本文版權歸做者和博客園共有，歡迎轉載，但未經做者贊成必須保留此段聲明，且在文章頁面明顯位置給出原文鏈接，不然保留追究法律責任的權利。
該文章也同時發佈在個人獨立博客中-Petter Liu Blog。