本知識體系轉載自-運維社區:https://www.unixhot.com/前端
運維架構層級/運維角度 | 內容描述/主要技術關鍵詞 | 監控體系 | 自動化/DevOps | 雲計算 | ||
客戶端層 | 瀏覽器 | Cookie做用域、瀏覽器緩存協商(Last-Modified、Expires、Etag)、組件分離、前端優化、運維檢測工具 | 輿論監控 外部網絡監控 APM |
故障檢測工具 | DNS服務 CDN服務 移動服務 雲盾 |
|
DNS | 瀏覽器DNS緩存、DNS緩存、自建DNS服務器、商業DNS產品、智能DNS、公共DNS(BGP anycast)、bind+DLZ/DPDK | |||||
客戶端/APP | HTTP-DNS、打點日誌、加密傳輸、移動推送、各種SDK(監控SDK、推流SDK等) | |||||
外部層 | 第三方CDN | GSLB、反向代理緩存、分佈式存儲、流量調度、配置管理、用戶端(各種API如:帶寬監控、預緩存、緩存刷新) | 基於開放API開發 | |||
雲計算 | 公有云服務、混合雲、運維外包服務、APM(應用性能管理)、第三方安全解決方案(防DDOS、WAF) | |||||
網絡層 | 互聯層 | 多機房互聯(×××、專線)、異地災備-->異地多活-->按SET部署 | 設備監控 (Zabbix SNMP) 網絡質量監控 (Smokeping) |
SDN OpenvSwitch (GRE、Vxlan) |
高速通道 | |
核心層 | 防火牆、路由器、Ipsec ×××、鏈路負載均衡和高可用 (CCNP級別) | VPC(專有網絡) | ||||
匯聚層 | 三層交換 動態路由(OSPF)、靜態路由、EC(端口匯聚)、MSTP+VRRP等 (CCNP級別) | |||||
接入層 | 二層交換 (VTP、SPF、Trunk、端口安全)等 (CCNA級別) | |||||
接入層 | 負載均衡 高可用 |
四層負載均衡 | 開源:LVS(IP負載均衡)+Keepalived、Haproxy 商業:F五、Netscaler | 服務監控(API) | 平臺開發 (LBaas) |
高防IP 雲負載均衡SLB CDN服務 |
七層負載均衡 | 反向代理:Haproxy、Nginx、Apache(根據HTTP協議支持的屬性進行L7分發)、A/B Test Gateway、WAF | |||||
反向代理緩存 | ATS、Squid、Varnish、Nginx(緩存分級、預緩存、緩存刷新) | |||||
應用服務層 | Web服務層 | HTTP協議、Web服務器(Apache、Nginx/OpenResty、Tomcat、Resin、Jboss)安全設置、性能優化 | 業務監控(API) 流量分析(Piwik) 服務監控(API) 安全監控(WAF) |
配置管理:SaltStack 過載保護-服務降級 灰度發佈-openresty 項目管理-Readmine 代碼倉庫-gitlab 持續集成-Jenkins 持續審查-SonarQube |
鏡像市場 | |
應用服務層 | 運行環境(PHP Python Java C C++)、性能優化、緩存(OPCache、LocalCache)、Session存儲、代碼部署 | 各類SAAS服務 | ||||
業務層 | 業務實現 | API網關、302調度、業務模塊化(電商例:用戶、商品、購物車、結算中心、價格等服務)、微服務 | ||||
服務層 | SOA框架(Dubbo)、微服務框架(istio、Spring Cloud)、協議(RPC、RESTful)、框架安全、應用性能監控 | 分佈式應用服務 | ||||
分佈式層 | 消息隊列 | ActiveMQ(成熟)、RabbitMQ(成熟、案例多)、RocketMQ(業務應用)、Kafka(日誌傳輸)、ZeroMQ(快) | 消息隊列服務 | |||
存儲層 | 文件存儲 | 單機存儲 | 塊存儲 - 機械硬盤、SSD、文件系統(ext四、xfs)、LVM、tmpfs | 系統監控 軟件自帶監控 |
配置管理 | 雲硬盤 對象存儲 |
單機存儲擴展 | 文件分發(多級分發)、文件同步(rsync、inotify)、DRBD、DAS(塊存儲) | |||||
共享存儲 | 文件存儲 - NAS[NFS(Unix/Linux)]、FTP、SAN、iSCSI | |||||
分佈式存儲 | 對象存儲 - GlusterFS、MooseFS、Ceph、FastDFS(非對象存儲) | |||||
DAL | 數據訪問層 | 應用層分片、淘寶TDDL、開源:360(Atlas)、阿里(Cobar)、MyCat、MySQL-Proxy、根據業務開發 | 數據庫服務 | |||
數據存儲 | 分佈式緩存 | Memcached、Redis(客戶端分片、Redis Cluster、Twemproxy、Codis) | 數據庫監控 | 數據庫運維平臺 | 雲數據庫-RDS Mongodb、Redis Memcached OceanBase |
|
NoSQL | Redis、LevelDB(SSDB)、CouchDB、Mongodb、Couchbase 、Cassandra、TiDB(支持MySQL協議) | |||||
時間序列 | RRDTool、Graphite Whisper、OpenTSDB、InfluxDB、KairosDB、ElasticSearch | |||||
RDBMS | MySQL(PXC集羣、MHA)、Oracle(DG、OGG、RAC)、PostgreSQL、SqlServer、SQLite、DB2 | |||||
大數據 | Hadoop生態圈(HDFS、Hive、Hbase、Zookeeper、Pig、Spark、Impala、Kudu)、Mahout智能推薦 | 服務監控 | Ambari、CM | 大數據服務 | ||
基礎服務層 | 業務決策 | 灰度發佈、服務降級、異地災備、數據分析平臺、智能擴容決策樹(須要各層支持)、智能監控 | 監控工具: Zabbix Nagios Cacti Open-Falcon Sensu |
自動化工具 (Puppet Chef SaltStack Ansible) |
日誌服務 操做審計 資源編排 運維監控服務 持續交付系統 |
|
運維相關 | 項目管理(Redmine、Jira、知識庫、Bugzilla、CodeReview)、工單系統、運維操做平臺、監控平臺 | |||||
應用相關 | 持續集成、日誌收集平臺(ELKStack)、自動化部署平臺、Job管理(調度)平臺、安全掃描平臺 | |||||
系統相關 | LDAP、內部DNS、DHCP、Mail、SMS、Gitlab、Yum倉庫、操做審計(xenapp)、堡壘機 | |||||
容器層 | 容器編排 | Mesos(Marathon、Chronos)、Kubernetes(SKYDNS)、Docker Swarm、CoreOS(fleet)、OpenStack(Magnum) | Docker Stats cAdvisor DataDog Zabbix |
Docker Swarm Mesos Kubernetes |
容器服務 | |
容器和系統 | 容器:LXC、LXD、Docker、rkt、系統:CoreOS、Atomic、RancherOS | |||||
網絡和存儲 | 網絡:Calico、Flanel、Weave Net 存儲:Ceph 鏡像管理:Docker Registry、Harbor | |||||
操做系統層 | CPU | CPU運行級別、使用率、上下文切換、運行隊列、進程調度、系統調用、CPU管理(進程管理、taskset、intel VT-X) | mpstat、strace | 虛擬化 | 公有云 彈性計算產品 |
|
內存 | 虛擬內存、SWAP換入換出、內存尋址、內存管理(Buffer Cache、HugePages、ksmd、EPT) | vmstat、free | ||||
I/O(磁盤) | 缺頁中斷、IOPS(順序IO、隨機IO)、IO管理(IO調度算法、virtio)、VFS | iostat、iotop | ||||
I/O(網絡) | TCP/IP(三次握手、四次揮手、狀態轉換、TCP隊列)、IO模型、Bonding、Bridge、網絡管理(iftop、tcpdump) | iftop | ||||
內核/Shell | 內核定製、內存參數優化、腳本編程(AWK、Sed、Shell、Python、PHP、Perl、Ruby、Lua) | 系統監控 | ||||
基礎設施層 | IAAS(基礎設施即服務) | 公有云、私有云(OpenStack/cloudstack+KVM/XEN、oVirt)、混合雲 | 服務監控 | 配置管理 | ||
硬件管理 | 硬件選型、配件更換、資產錄入、系統安裝(Cobbler)、標籤化、Raid構建、遠程控制(KVM、iDrac、ILO、IMM) | 巡檢、IPMI | IPMI、CMDB | |||
IDC託管 | 需求分析、IDC選型、網絡測試、談價格、籤合同、設備採購(原廠vs渠道)、機櫃和機位規劃 | |||||
運維產品化 | 基於DevOps產品思路 | 項目管理(相似Jira)、Bug管理、代碼託管(相似Gitlab)、持續交付(相似Jenkins的構建、測試、部署) | 監控平臺、看板 | 軟件定義數據中心 | DevOps產品 | |
自動化運維產品思路 | CMDB、ITSM管理系統(事件管理、問題管理、故障管理、工單系統)、做業平臺、堡壘機、APM、私有云平臺 | 監控平臺 | CI/CD系統 | 運維管理產品 | ||
運維服務化 | OAAS | OAAS:Operations as a Service,運維諮詢、運維託管、技術培訓、應急處理、產品即服務、DevOps專家服務 | ||||
測試和開發相關 | 運維協助:性能測試(TCPCopy、日誌轉換)、單機監控(nmon)、環境規劃(開發、測試、預生產、生產)、CI(持續集成)、自動化部署 | |||||
運維管理體系 | 運維管理必會:ITSM、ITIL V三、IT Service CMM、Six Sigma、DevOps Master、項目管理(PMBok)、架構層面(知識體系、運維方案、容量規劃、災備規劃、服務降級) | |||||
運維發展趨勢(我的理解) | 打雜(小公司啥都幹)->分層(應用運維、系統運維、基礎運維、運維開發等)->場景化(分業務)->自動化(最終你們的目標都是自動化) | |||||
運維自動化發展趨勢(我的理解) | 標準化(文檔化、流程化)->工具化(流程固化爲工具)->Web化(平臺化)->服務化(API化)->智能化(自動化)->產品化(服務化,雲服務、運維創業) |
1.本表格只體現和運維相關的內容;2.表格沒有嚴格意義上的層級關係;3.持續更新中,因爲每一個層次內容多,只例舉比較出名(重要/開源)的關鍵詞;
4.運維人員要給本身劃好知識邊界!ios