AWS 監控服務（六）

AWS CloudWatch

概念

• 基於肯定的內容監控基礎設施組件
• 基於指定的指標發送通知並觸發各類操做
• 分佈式統計數據和收集系統，用於收集並跟蹤指標
• 默認狀況下，在管理程序級別無縫收集指標，如CPU利用率、IO字節操做、網絡字節操做
• CloudWatch能夠觸發包括啓動終止重啓EC2，增長減小AutoScaling組，將消息發送至SNS等操做
• 屬性
  • 面板（Dashboards）-可建立自定義面板來方便觀察AWS環境中的不一樣監控對象
  • 告警（Alarms）- 當某個監控對象超過閾值時，會發出告警信息
  • 事件（Events）- 針對AWS環境中所發生的變化進行的反應
  • 日誌（Logs）-Cloudwatch日誌幫助收集、監控和存儲日誌信息
• 監控指標
  • 支持對絕大多數AWS服務的監控和指定指標，包括：
    • Auto Scaling，Amazon CloudFront，Amazon CloudSearch，Amazon DynamoDB，Amazon EC2，Amazon EC2容器服務 (Amazon ECS)，Amazon ElastiCache，Amazon Elastic Block Store(Amazon EBS) ，Elastic Load Balancing，Amazon Elastic MapReduce(Amazon EMR)，Amazon Elasticsearch服務， Amazon Kinesis Streams，Amazon Kinesis Firehose，AWS Lambda，Amazon Machine Learning， AWS OpsWorks，Amazon Redshift，Amazon關係數據庫服務(Amazon RDS)，Amazon Route 53 ， Amazon SNS，Amazon Simple Queue Service(Amazon SQS)，Amazon S3，AWS Simple Workflow Service(Amazon SWF)，AWS Storage Gateway，AWS WAF和Amazon WorkSpaces。
  • 自定義指標的能力，包括：
    • 那些自己對AWS不可見的應用程序指標，如 網頁加載時間，請求出錯率，併發進程或線程數量 ，支持經過API調用的方式PUT各類指標
• 監控頻率
  • 基本監控以每5分鐘做爲數據點進行採集，免費提供有限數量的指標和監控
  • 詳細監控以每分鐘爲數據點進行採集，可自定義指標，須要付費使用
  • 支持更細粒度的高分辨率指標，每1s採集
  • CloudWatch支持跨可用區聚合和檢索，但不支持跨區域聚合
  • CloudWatch只能監視性能指標，不能跟蹤變化
• 雲設計模式 - CloudWatch 結合監控軟件工做
  • CloudWatch沒法提供EC2內部的工做，如操做系統、中間件、應用程序等，這些都須要使用獨立監控系統實現
  • 能夠在獨立的EC2上部署 Nagios、Zabbix、Munin等軟件， 經過CloudWatch API來獲取來自AWS的監控信息，從而進行整合

CloudWatch Logs

• 能夠經過自定義指標或CloudWatch Logs來處理數據，獲取近乎實時的監控日誌
• 監控並存儲日誌，以幫助您更好地瞭解並運行系統和應用程序
• 您可使用 CloudWatch Logs 將日誌數據長期存儲在高持久性且經濟高效的存儲中，無需擔憂耗盡硬盤空間。
• CloudWatch Logs 能夠存儲單獨的測量結果及其餘信息的日誌文件
• 監控數據默認最長保留15個月。且不可手工刪除
  • 時段低於 60 秒的數據點可保留 3 個小時。這些數據點是高分辨率自定義指標。
  • 時段爲 60 秒（1 分鐘）的數據點可保留 15 天
  • 時段爲 300 秒（5 分鐘）的數據點可保留 63 天
  • 時段爲 3600 秒（1 小時）的數據點可保留 455 天（15 個月）
• 支持對日誌文件進行實時監視並觸發特定事件
• CloudWatch Logs 能夠用於如下處理方式：
  • 以數據日誌的實時流傳輸到Amazon Kinesis Stream 或者 AWS Lambda 等數據處理解決方案中
  • 以批存檔形式存儲到 S3或者Glacier中
  • 管理員能夠經過控制檯看到
• CLoudWatch Agent
  • 在EC2的Linux系統中能夠經過安裝CloudWatch log Agent 來蒐集EC2系統內部日誌
  • Amazon Linux、Ubuntu、CentOS、Red Hat Enterprise Linux 和 Windows 均支持
• CloudWatch Logs Insights
  • 用於 CloudWatch Logs 的一項隨用隨付的交互式集成日誌分析功能。它容許開發人員、操做人員和系統工程師搜索和可視化其日誌，以幫助他們瞭解、改進和調試其應用程序。

    Alert

• 您能夠在帳戶中建立警報來監控任何 Amazon CloudWatch 指標。例如，您能夠建立警報來監控 Amazon EC2 實例 CPU 使用狀況、Amazon ELB 請求延遲、Amazon DynamoDB 表吞吐量、Amazon SQS 隊列長度、甚至 AWS 帳單費用。
• 您還能夠爲特定於自定義應用程序或基礎設施的自定義指標建立警報。若是自定義指標是高分辨率指標，您能夠選擇建立高分辨率警報，該警報將在 10 秒鐘或 30 秒鐘時段時發出提醒。
• 建立警報時，可進行配置，以便在所選監控指標超出所定義的閾值時執行一項或多項自動操做。例如，您能夠設置發送電子郵件的警報，發佈到 SQS 隊列，中止或終止一個 Amazon EC2 實例，或執行 Auto Scaling 策略。因爲 Amazon CloudWatch 警報與 Amazon Simple Notification Service 實現集成，所以還可以使用由 SNS 支持的任意通知類型。
• 警報歷史記錄有效期爲 14 天

Dashboard

• Amazon CloudWatch 控制面板讓您可以建立、自定義、交互和保存 AWS 資源及自定義指標的圖表。
• 自動化控制面板預先構建了 AWS 服務建議的最佳實踐，保持資源感知，並能動態更新以反映重要性能指標的最新狀態。您如今能夠對特定視圖進行篩選和故障排除，無需添加其餘代碼來反映 AWS 資源的最新狀態。肯定性能問題的根本緣由以後，您就能夠直接轉到 AWS 資源以快速採起行動。
• 控制面板處於打開狀態時會自動刷新。

Event

• Amazon CloudWatch Events (CWE) 是一個描述 AWS 資源更改的系統事件流。
• 當某個事件與您在系統中建立的某條規則匹配時，您能夠自動調用一個 AWS Lambda 函數、將事件中繼到 Amazon Kinesis 流、發送 Amazon SNS 主題通知，或調用一個內置工做流。
• Event 並不像AWS Config同樣檢查合規性，也不像CloudTrail同樣記錄調用記錄。

CloudWatch的限制

• 每一個AWS帳戶最多保存5000個告警
• 默認監控採集和聚合粒度爲1分鐘
• 默認狀況下蒐集的指標數據保留15天，長時間保留須要轉存到S3或者Glacier中
• 默認不支持監控內存和系統內部指標，須要自定義配置

AWS CloudTrail

概述

• CloudTrail 可經過記錄帳戶上執行的操做來提供用戶活動的可見性。CloudTrail 可記錄每一個操做的重要信息，包括請求的發出方、使用的服務、執行的操做、操做的參數，以及 AWS 服務返回的響應元素。這些信息可以幫助您追蹤 AWS 資源的變動狀況，幫助您排查操做問題。CloudTrail 便於您確保與內部策略和監管標準的合規性。
• 一個事件中包含了相關活動的信息：請求的發出方、使用的服務、執行的操做、操做的參數，以及 AWS 服務返回的響應元素。
• 捕獲AWS帳戶所作的各類操做，包括AWS API調用和相關事件，並將日誌文件上傳至S3
• 上傳至S3後能夠選擇觸發SNS進行通知
• 也能夠將事件傳遞到CloudWatch監控日誌組
• 日誌文件在S3中使用SSE加密存儲，能夠定義生命週期對日誌進行歸檔或刪除
• API調用會在大約15分鐘內生成日誌
• 日誌文件會每5分鐘發佈一次
• 默認開啓，且保留90天記錄

配置

• 適用於全部區域的CloudTrail
• 每一個Region使用相同的配置和策略
• 全部日誌將被傳送到單個指定的S3存儲桶
• 這是CloudTrail的默認配置，也是推薦選項
• 適用於單個區域的CloudTrail
• 每一個區域單獨處理本身的Trail日誌
• 日誌傳送到每一個區域本身的S3存儲桶

CloudTrail 跟蹤

• 經過設置 CloudTrail 跟蹤，您能夠將 CloudTrail 事件傳送至 Amazon S三、Amazon CloudWatch Logs、Amazon CloudWatch Events。這讓您可以利用多種功能來幫助歸檔、分析和響應 AWS 資源中發生的更改。
• 將一個跟蹤應用到全部地區是指建立一個可記錄全部地區內 AWS 帳戶活動的跟蹤。
• 您只需調用一次 API 或單擊幾回鼠標，便可在分區內的全部地區建立和管理跟蹤。您將在一個 S3 存儲桶或 CloudWatch Logs 日誌組中收到在您的 AWS 帳戶中跨全部地區進行的帳戶活動的記錄
• Global Trail
  • 將一個跟蹤應用到全部地區以後，CloudTrail 會經過複製相關跟蹤配置在全部地區建立一個新跟蹤。CloudTrail 將記錄並處理每一個地區中的日誌文件，並會將包含全部 AWS 地區的帳戶活動的日誌文件傳送至一個 S3 存儲桶和一個 CloudWatch Logs 日誌組中。
• Multiple Trail
• 在一個 AWS 區域中，您最多能夠建立五個跟蹤。應用到全部區域的跟蹤會出如今每一個區域中，並算做每一個區域的一個跟蹤。
• 有了多個跟蹤，安全管理員、軟件開發人員和 IT 審計人員等不一樣利益相關者就能夠建立並管理他們本身的跟蹤。
• 若是在多個region開啓Logging Global Service，會讓Global Service的日誌產生多條重複，因此建議僅在一個region啓用

CloudTrail 處理庫

• AWS CloudTrail 處理庫是一個 Java 庫，能夠幫助您輕鬆構建讀取和處理 CloudTrail 日誌文件的應用程序。
• CloudTrail 處理庫可提供處理如下任務的功能，如不斷輪詢 SQS 隊列、讀取和解析 SQS 消息、下載 S3 中存儲的日誌文件、以容錯方式解析和序列化日誌文件中的事件。

AWS Trusted Advisor

概述

• 借鑑大量的最佳實踐，檢查AWS環境對存在機會的資金節省，可用性和性能提高、彌補安全性漏洞提出建議
• 經過儀表盤查看AWS資源總體狀態和節省預算
• 四個類別的最佳實踐
  • 成本優化
  • 安全性
  • 容錯性
  • 性能改進
• 顏色編碼：
  • 紅色-建議採起行動
  • ×××-建議調查
  • 綠色-未檢測到問題
• 免費檢查項目
  • 服務限制 - 檢查超出服務限制80%， 基於快照，有約24小時的延遲
  • 安全組未限制端口 - 檢查容許0.0.0.0/0 的端口
  • IAM - 檢查是否使用IAM
  • 根帳戶MFA - 檢查根帳號是否啓用MFA

    Trusted Advisor 特性和功能

• 通知 ： 免費服務，每週發送一封電郵瞭解AWS資源部署的最新狀況
• Access Management： 利用IAM控制對具體檢查項目或檢查類別的訪問
• AWS Support API: 以編程方式檢索和刷新Trust Advisor 結果
• 操做連接 ： 直接經過報告中的超連接進入AWS管理控制檯根據建議進行操做
• 最近改動： 在控制檯儀表盤上跟蹤檢查近期變化
• 排除項目： 自定義不檢查不相關的項目
• 5分鐘刷新： 能夠經過單擊refresh all 或者自動每5分鐘刷新檢查項目

AWS Config

概述

• 提供AWS資源清單、配置歷史記錄和配置更改通知的徹底託管服務
• 支持合規審計、安全分析、資源變動跟蹤和故障排除
• 默認狀況下，AWS Config會爲區域中每個被支持的資源建立配置項
• 每一次變動都會生成一個配置項目變化的歷史記錄
• 能夠配置檢查資源更改是否違規，對不合規的行爲進行標記並經過SNS發送通知
• 支持更改管理、持續審計和合規、故障排除、安全和事件分析
• AWS Config 能夠基於地區啓用
• AWS Config 能夠在多個帳戶間聚合數據，但不能跨帳戶預置規則

Config Rule

• Config 規則表明某個資源的指望配置，其評估依據是 AWS Config 中記錄的相關資源的配置更改。針對資源配置評估規則的結果可在控制面板中查看。使用 Config 規則，您能夠從配置角度評估總體合規性和風險狀態、查看一段時間內的合規性趨勢，以及查明哪些配置更改致使了資源脫離規則合規性。
• Config 規則不會直接影響最終用戶使用 AWS 的方式。它僅在配置更改已完成並由 AWS Config 記錄以後才評估資源配置。Config 規則不會阻止用戶進行可能非合規的更改。
• Config 規則在資源的配置項 (CI) 由 AWS Config 捕獲以後評估規則。它不會在預置資源或更改資源配置以前評估規則。
• 默認狀況下，您在 AWS 帳戶中最多能夠建立 50 個規則
• 任何規則均可以做爲由更改觸發的規則或做爲按期規則創建。由更改觸發的規則在 AWS Config 爲任何指定資源記錄配置更改後執行。此外，還必須指定如下項之一：
  • 標籤鍵:（可選值）：「標籤鍵:值」意味着爲帶有指定「標籤鍵:值」的資源記錄的任何配置更改都將觸發規則評估。
  • 資源類型：爲指定資源類型內的任何資源記錄的任何配置更改都將觸發規則評估。
  • 資源 ID：爲由資源類型和資源 ID 指定的資源記錄的任何更改都將觸發規則評估。
  • 按期規則以指定的頻率觸發。可用頻率爲 1 小時、3 小時、6 小時、12 小時或 24 小時。按期規則具備適用於該規則的全部資源當前配置項 (CI) 的完整快照。

Config Items

• 配置項 (CI) 指的是一項資源在給定時間點的配置。CI 由 5 個部分組成：
• 各不一樣資源類型共同的有關資源的基本信息（例如 Amazon Resource 名稱、標籤）、
• 資源特定的配置數據（例如 EC2 實例類型）、
• 與其餘資源關係的映射（例如 EC2::Volume vol-3434df43「附加到實例」EC2 Instance i-3432ee3a）
• 與此狀態相關的 AWS CloudTrail 事件 ID、
• 幫助您識別 CI 有關信息的元數據（如該 CI 的版本）以及捕捉到該 CI 的時間。
• AWS Config 檢測資源配置的更改並記錄由更改致使的配置狀態。若是連續不斷地（例如，在幾分鐘內）對資源進行屢次配置更改，則 Config 將只記錄表明這一組更改累積影響的最終配置。
• 藉助 AWS Config，您能夠記錄 AWS 帳戶中的 EC2 實例內軟件的配置更改，還可記錄本地環境中虛擬機 (VM) 或服務器的配置更改。AWS Config 記錄的配置信息包括操做系統更新、網絡配置、已安裝的應用程序等。

AWS Config 與CloudTrail集成

• 若是資源配置更改是API調用的結果，則AWS Config還會記錄CloudTrail事件與修改資源配置API調用對應的ID，
• 同時還會記錄調用者，調用事件和IP地址的日誌，便於排障。