【引言】本文在2019年版本的基礎上進行了較大幅度修訂,重點是全面更新了愛因斯坦計劃的相關數據和2020年以來的最新進展(包括第二、三、四、6章)。此外,第7章增長了對運營模式的分析。前端
愛因斯坦計劃,其正式名稱爲「國家網絡空間安全保護系統」(National Cybersecurity Protection System,簡稱NCPS),是美國「全面國家網絡空間安全行動計劃」(Comprehensive National Cybersecurity Initiative,簡稱CNCI)的關鍵組成部分。NCPS以DFI、DPI和DCI技術爲抓手,以大數據技術爲依託,以threat情報爲核心,實現對美國聯邦政府互聯網出口網絡threat的持續監測、預警與響應,以提高聯邦政府網絡的態勢感知能力和可生存性。git
NCPS由美國國土安所有(DHS)負責設計、運行和協調,大致上分爲三個階段。web
藉助NCPS,美國聯邦政府爲其互聯網側態勢感知構建起了四大能力:入|侵檢測、入|侵防護、安全分析和信息共享。算法
NCPS的入|侵檢測能力包括愛因斯坦1(簡稱E1)探針中基於Flow的檢測能力、愛因斯坦2(簡稱E2)和愛因斯坦3A(簡稱E3A)探針中基於特徵的檢測能力,以及2015年啓動的在E一、E2和E3A中基於機器學習的行爲檢測能力(代號LRA)。後端
NCPS的檢測能力不追求檢測全部攻|擊和入|侵,而重點關注APT類高級threat,於是其檢測特徵庫並不大,但頗有針對性,並由美國DOD/NSA提供部分特徵信息。跨域
NCPS的入|侵防護能力是從愛因斯坦3A(簡稱E3A)階段開始的。安全
NCPS的入|侵防護也不是通常意義上的入|侵防護系統(IPS),其功能設計更加聚焦,更有針對性,而且是由NSA協助(主導)設計的,主要包括4種能力:服務器
惡意流量阻斷:自動地對進出聯邦政府機構的惡意流量進行阻斷。這是依靠ISP來實現的。ISP部署了入|侵防護和基於threat的決策斷定機制,並使用DHS開發的惡意網絡行爲指標(Indicator)來進行惡意行爲識別。網絡
DNS阻斷:也就是DNS Sinkhole技術,用於阻止已經被植入政府網絡的惡意代碼與外部的惡意域名之間的通信。app
電子郵件過濾:對全部發給政府網絡用戶的郵件進行掃描,識別含有惡意代碼的附件、惡意URL等,並將其過濾掉。
Web內容過濾(WCF):這是2016年加入到E3A入|侵防護中的能力,能夠阻斷可疑的web網站訪問、阻止web網站中惡意代碼的執行,阻斷web釣魚。
值得一提的是,NSA在協助DHS設計E3A入|侵防護系統的時候,將他們的Tutelage項目移植了過去,超越了通常意義上主動防護的層次,具備很強的對抗性。
若是說入|侵檢測和入|侵防護構成了NCPS的前端系統,那麼NCPS的後端核心就是構建在大數據之上的安全分析能力,而這個分析結果的輸出就是網絡安全threat態勢。NCPS的分析能力主要包括:安全信息與事件管理(SIEM)、數字媒體分析環境(Digital Media Analysis Environment)、高級惡意代碼分析中心(AMAC)、各類分析工具可視化工具,等等。
用時髦的話來講,信息共享就是情報共享,這是NCPS的核心能力。藉助該能力,DHS構建起一個信息共享與協做環境(ISCE),使得其下屬國家網絡空間安全和通訊集成中心(National Cybersecurity and Communications Integration Center,簡稱NCCIC)的安全分析師可以按照不一樣的密級與他們的合做夥伴快速交換網絡threat和網絡事件信息,經過合做與協同以下降事件響應時間,經過自動化信息分享與披露以提高工做效率。
NCPS的信息共享能力主要包括:自動指標共享(AIS)、指標管理平臺(IMP)、統一工做流、跨域解決方案(CDS),等等。
以下所示,是筆者本身根據DHS歷年的預算報告自行編制的2008財年到2021財年NCPS預算走勢圖,採用的數據可能與實際有差別,均爲概數。
透過上圖,能夠發現美國政府對愛因斯坦項目的投入整體上呈現逐年上升的態勢,只是在最近4年有所降低,但仍維持在高位。進一步觀察,筆者還隱約感受到項目投資可能有大小年之分。此外,很多人覺得美國政府由於其效果不佳(GAO評價)而將其打入冷宮,事實證實並不是如此。
根據DHS官方的數據,截至2018年財年(含),NCPS的資金投入累計已經達到了32.19億美圓。
同期的NCPS全職工做人員預算編制數量走勢以下圖所示:
能夠發現,NCPS的專職管理人員的數量也是穩步增加。
根據2020年5月底OMB發佈的提交給國會的2019財年的FISMA報告,當前愛因斯坦項目整體上處於E3A階段。截至2019年9月30日,在104個聯邦民事機構中,有76個(2018財年是70個)已經徹底實現了三階段NCPS能力,包括列入CFO Action的全部23個機構。
如上圖所示,仍有28個機構還沒有實現E1和E2,還有4個機構在實施E3A的過程當中遇到阻礙。
下面是DHS在2021財年預算中提供的針對NCPS投資的表格。
據此咱們能夠發現,在2018財年(含)以前的總投資達到了32.19億美圓,2019財年的投資是3.92億美圓,2020財年的投資是4.66億美圓,而2021財年的投資預算是3.7億美圓,最近三年投資額都保持在高位。
NCPS項目的預算整體上包括兩部分:運行維護(O&S)、採購建設與提高(PC&I)。從上表能夠發現,運維投資都要遠高於採購建設投資,兩部分的比例在2019年是3:1,2020財年降到了2:1,2021財年回到了3:1。此外,若是翻看2020財年發佈的預算,能夠看到當時計劃2020財年的NCPS預算比例也是3:1,只是後來採購建設實際花費多出了6000萬美圓。
在2017財年(含)之前,NCPS的預算則主要是採購建設與提高,運維部分的預算比例較低,2017財年(含)以前的運維總預算還不及2018~2020三年的運維預算之和多。這也說明,近些年開始,NCPS項目主要是運維,採購實施和升級工做逐步減小。
如下針對2021財年的運維(Operations and Support)預算進行分析。
在2.79億運維預算中,有2.47億是非支付性成本(Non Pay Budget,都計入「諮詢與協助服務」科目);人員成本(支付性成本)是3200萬美圓,共計151人,人均成本較2020財年有所提高,達到21萬美圓每人年。
此外,根據筆者的估計,非支付性成本應該包括了DOD對NCPS的各類幫助,以及大量的運維外包服務。很顯然,全國性的這麼一個大系統,僅靠預算編制內的151人是不可能運維的起來的。
進一步分析2021財年採購建設和提高(Procurement, Construction and Improvements)的預算(0.91億美圓)的構成,以下表,包括6個部分:開發與工程、入|侵檢測、入|侵防護、分析、信息共享、聯邦DNS解析。
這裏,入|侵檢測和入|侵防護就是愛因斯坦的前端,至關於探針和傳感器;分析就是愛因斯坦的後端,至關於一個基於大數據分析技術的SOC平臺;而信息共享就是愛因斯坦的threat情報平臺(TIP);開發與工程包括需求收集、工程方案、能力測試、績效評估等。聯邦DNS解析服務是2020財年的一項附加工做,旨在爲聯邦國內機構提供統一的DNS解析服務,以阻斷藉助DNS的threat,在2020財年規劃的是440萬美圓,結果作成了6000萬美圓的大項目,致使NCPS整年的建設採購實際花費多出了6000萬美圓!下圖是2020財年的NCPS採購建設預算表:
進一步對比2020財年的開銷和2021年的預算,還能夠發現,除掉DNS解析服務的那6000萬美圓,信息共享和入|侵防護的投入都有較明顯地減小。
此外,雖然DNS解析投資都在2020財年完成了,2021財年還要繼續深化DNS防護的服務能力,包括經過動態規則,以及來自政府的和商業的threat情報來阻斷DNSthreat。
以下所示:
上表顯示了近幾年來NCPS主要的採購合同,能夠看到最大的供應商(集成商)是雷神公司,其三個合同的總值達到了5年9.76億美圓,其中2019年最新簽署了一份高達3.52億美圓的合同。而且,美國政府的合同一般都不是一年一簽的,而是一簽都是3年、5年的長期合同,更符合建設(含開發)工做的實際,但也對項目管理提出了更高要求。固然,這種方式也須要政府的預算管理機制提供相應的支撐。
2021財年NCPS的主要計劃和里程碑事件包括:
入|侵檢測與防護
完成將現有IPSS(入|侵防護安全服務)遷移到2020財年授予的總務局(GSA)EIS合同的工做;
其中包括下降DHS數據中心的基礎設施投資成本
提升商業雲能力支撐NCPS入|侵檢測與防護能力的利用率,以提高CISA爲知足任務所需的基礎設施、工具和能力的可伸縮性、可用性和可靠性【筆者注:NCPS正在積極擁抱雲】;
繼續擴大從部委的雲服務提供商處抓取安全事件信息與網絡遙測數據的工做;
分析
提升商業雲能力支撐NCPS分析能力的利用率,以提高CISA爲知足任務所需的基礎設施、工具和能力的可伸縮性、可用性和可靠性;
繼續加強分析工具和過程以進一步提高網絡threat分析的自動化水平;
加強分析框架的能力,使得CISA分析師可以實現跨NCPS數據集的信息查詢和分析;
數據科學家將繼續與CISA網絡分析師合做,不斷開發和優化分析能力,提升基於行爲特徵的惡意流量檢測模型的能力,提高基於置信度評分的潛在入|侵告警能力;
繼續加強重構的AMAC(高級惡意代碼分析中心),提高CISA分析師的多方面能力,包括接收信息、執行分析、共享信息的能力,以及對在事件響應時得到的惡意代碼樣本和從公私合做夥伴處得到的惡意代碼樣本進行逆向的能力。
信息共享
擴展CDS(跨域解決方案)的採用,以支撐從低安全級別網絡向高安全級別網絡傳輸數據。
提升商業雲能力支撐NCPS信息共享能力的利用率,以提高CISA爲知足任務所需的基礎設施、工具和能力的可伸縮性、可用性和可靠性;
繼續加強統一工做流(Unified Workflow)能力,爲CSD(網絡安所有)【筆者注:網絡安所有是CISA下面主管網絡安全,使用NCPS系統的部門】下各個獨立的業務和任務支撐應用提供一個單一的工做流自動化平臺,並將他們統一到一個統一視圖中去,從而提高CSD跟蹤、協調和報告安全事件的能力;
LRA的全名是「邏輯響應孔徑」(Logical Response Aperture),是DHS開展的一項旨在提高安全分析與響應自動化的項目的內部代號。LRA可以藉助智能化的安全分析技術,在沒有簽名和特徵的狀況下識別攻|擊。
下圖展現了LRA的基本工做流程。
在聯邦部委機構(D/A)和互聯網(Internet)之間有一套部署在互聯網服務提供商(ISP)處的「NEST」設施。NEST會利用TAP將進出聯邦機構的的互聯網流量按需送給LRA。LRA的流量引擎利用Zeek作協議解析,並將解析後的流量日誌(流量元數據)連同原始的pcap包存儲到大數據存儲系統中(默認存儲90天)。存儲的數據內容包括:DNS查詢的域名和響應的IP地址、域名-IP地址對的TTL、電子郵件附件中的可執行文件、http請求的user agent信息,等等。基於機器學習和統計分析算法的分析引擎、惡意代碼檢測裝置,及其它自動化工具會從大數據存儲中讀取這些數據,並結合經過其它方式得到的各類情境數據(譬如域名和可執行文件的黑白名單,GeoIP等)進行復合安全分析,生成惡意流量的潛在指標,並存入潛在指標庫中。分析師經過交互性UI檢查潛在指標庫中的指標,對其進行研判和標註,一方面得到有效的指標,另外一方面爲機器學習算法提供改進。
Tutelage(現已更名,具體不詳)做爲NSA號稱21世紀執行信號情報(SIGINT)任務的核心繫統的Turbulence項目中的一個子系統,承擔主動防護的任務。做爲NCPS的重要諮詢方和協做方,NSA將Tutelage移植給了E3A。做爲NCPS中涉密的部分,咱們無從知曉E3A的入|侵防護系統設計有何玄機。
幸運的是,斯諾登泄密事件給了咱們一窺Tutelage的機會,咱們能夠自行腦補E3A可能的設計。以下圖所示,展現了Tutelage項目在檢測到惡意流量和攻|擊後能夠採起的遏制/反制措施,十分豐富。
能夠確定的是,E3A的入|侵防護系統絕非咱們通常意義上的IPS。
WCF的全名是WEB內容過濾(WEB Content Filtering),是2016年先後追加到E3A中的一個新防護能力(最初的E3A入|侵防護能力包括DNS sinkholing和email過濾),重點阻斷可疑的web網站訪問、阻止web網站中惡意代碼的執行,阻斷web釣魚。
WCF具備四個功能:web流量檢測與阻斷、SSL解密、惡意代碼檢測、高級分析。
WCF會對可疑的web流量按照URL/URI進行分類,容許系統管理員容許或者拒絕某類web訪問。WCF會根據高可信網絡threat指標和商業的簽名指標來進行研判並決定是告警仍是阻斷,抑或其它遏制操做。WCF的技術原理就是一個WEB代理,由它來進行檢測,並執行重定向、阻斷或者告警操做。
WCF支持對SSL web流量解密,分析解密後的流量數據。
WCF內置惡意代碼檢測功能,使用政府提供的網絡threat指標來檢測惡意活動。
WCF包括高級分析功能。這裏的高級分析是指基於行爲的異常分析,也即LRA。
說到NCPS項目,而不說起threat情報,那麼必定是對NCPS不甚瞭解,或者僅僅停留在愛因斯坦計劃早期的認知水平上。必須強調,threat情報,或者說信息共享是NCPS的核心能力之一,全部檢測、分析的能力最後都是爲了可以在DHS和其夥伴間實現高效的情報共享和協同聯動。美國政府實施NCPS的一個終極目標就是自動化地檢測threat、共享情報和處置攻|擊。這跟咱們近些年談及從美國傳過來的TIP、SOAR等理念是一致的。
AIS全名是自動指標共享(Automated Indicator Sharing),其目標就是在網絡防護行動中以機器速度(Machine-peed)快速普遍地共享機讀(Machine-readable)網絡threat指標和防護措施。AIS要可以自動處理海量高速的共享指標,而這是人工操做沒法達成的。
下圖展現了AIS的工做原理。
首先,各個AIS的參與機構(上圖右側灰色部分,包括各級地方政府、私營夥伴、聯邦機構、ISAC和ISAO)經過TAXII協議將STIX格式的threat情報信息送給DHS的TAXII服務器(上圖中間黃色部分)。接着,全部提交的情報信息都會通過一個自動化的「數據加強過程」,進行信息修訂、匿名化處理、隱私評估、數據加強。此外,DHS也會接收商業的情報信息源信息(上圖上方綠色部分),並統一進行數據加強。而後,DHS的分析師會對加強後的數據進行覈驗【筆者注:人工操做仍是不可缺乏,不可能徹底自動化】,並最終進行發佈。發佈的途徑包括放到TAXII服務器上供各參與方獲取,或者能夠供其它第三方訂閱(上圖上方藍灰色部分)。
截至2018年末,已經有33個聯邦機構,215家非聯邦政府實體(其中包括18家能夠對共享信息進行再分發的ISAC、ISAO和11家商業服務提供商)參與其中。
根據DHS發佈的《2019~2021財年年度績效報告》,在2019~2021財年設定了幾個跟愛因斯坦相關的KPI。
1)從最先檢測到潛在的惡意活動就將其通知給相應機構的平均時長。這個指標能夠簡單地理解爲NCPS發現攻|擊後通知到受害部委的平均時長,以下圖所示:
不幸的是,因爲難以得到這個數據,該指標從2020財年開始被廢棄。根據DHS的計劃,該指標將爲替換爲:在指定時間範圍內向受影響的部委發出潛在惡意網絡行爲的通知的比重。
2021財年和2022財年的達標比重是75%,即要求有75%的部委可以在指望時間內收到遭受攻|擊的通知。至於這個指望值,2020財年是18小時,2021財年則是12小時。這個指標跟以前指標目的是相同的,但可操做性提高了。
2)愛因斯坦檢測與防護系統檢測到的或者阻斷的能夠溯源到國家級別的安全事件比重,以下圖所示:
從2019財年來看,該指標並未達標,預期是21%,實際是17%。DHS表示,對愛因斯坦而言,檢測比溯源更重要,投入了更多精力在檢測上,於是指標未能達標。此外,因爲該指標對於控制來自國家行爲體的threat做用有限,從2020財年開始被廢棄,再也不考覈。DHS表示會內部繼續跟蹤這個指標,但會淡化threat來源,而更注重及時性和準確性。
經過以上分析,筆者談一談我的的幾點體會做爲本文總結。
NCPS項目從一開始就是站在國家戰略高度來推動的,採用法規先行、制度開道、統一建設、持續投入的方式,從一個US-CERT下面的初級態勢感知項目,在CNCI計劃的推進下,逐步成爲了一個規模龐大的國家戰略級項目。
從項目定位上,NCPS區別於各個聯邦機構本身的安全防禦。兩者不是替代關係,而是疊加關係。而且NCPS更加註重針對高級threat的監測與響應,更加劇視跨部門/廠商的協調聯動、信息共享、羣防羣治。
從建設過程來看,NCPS明顯以合規爲出發點進行建設,但強調以實戰對抗爲最終目標。
NCPS項目的投入時間很長,尤爲是2009年CNCI計劃出臺以後,資金和人員投入逐年穩步提高,並維持在較高的水平線上。可見國家級態勢感知系統的建設須要長期持續的投入。
從資金分佈上看,DHS愈來愈重視NCPS的運行維護,技術和產品採購的比重愈來愈低。要想實現NCPS常態化的運營,就必須有持續的、大量的運營投入,而且須要大量的安全分析師。
從運營方式上看,NCPS被儘量地封裝爲一系列託管服務和安全服務的形式,以服務的方法提供給各個聯邦機構。
儘管通過了十幾年的持續建設,但NCPS仍然存在很多問題,拖延嚴重,正如GAO的報告所言,成效低於預期。但儘管如此,美國政府並無中止這個項目,而是持續加大投入。由於這個方向是正確的,技術路線是正確的。
從技術上看,過去人們大都認爲NCPS主要是規模效應,技術含量並不高,譬如基本都是基於特徵和簽名的檢測。事實上,NCPS仍是比較注從新技術運用的。咱們如今常常聽到的所謂高級threat檢測、機器學習、行爲畫像和異常行爲行爲、編排自動化響應、threat情報等,在NCPS中都有體現,而且都會經歷一個先試點再鋪開的過程。
在技術層面,NCPS正在積極上雲,充分利用雲來下降總體投入的成本,提高服務能力,改進服務方式。最起碼,在數據中心的基礎設施建設方面,雲在可伸縮性、可用性和可靠性方面表現更佳。
咱們常把愛因斯坦計劃指代美國政府的網絡安全態勢感知項目,其實這是不完整的。美國聯邦政府的網絡安全態勢感知是由一系列國家級大項目共同支撐起來的,至少包括TIC(可信互聯網接入)、NCPS(愛因斯坦計劃)、CDM(持續診斷與緩解)計劃,以及共享態勢感知。
如下是筆者之前撰寫的NCPS相關的文章,供你們參考,能夠自行網絡搜索。