棱鏡門事件以來,NSA的全球監控行爲遭到各國政府和人民的譴責,但美國情報部門所展示的大數據和信息安全技術實力也成爲各國政府甚至一流IT企業爲之「豔羨」的對象。html
NSA爲表明的美國國家安全和情報機構不但在信息安全技術上領先業界數年,並且在大數據採集、處理和分析技術上也讓大數據技術廠商們「驚豔」。事實上,NSA大數據項目的規模、可擴展性、安全性在不少方面甚至超過了Google、亞馬遜和蘋果這樣的大型互聯網企業。數據庫
NSA旗下的風險投資公司In-Q-Tel迄今已經投資了200多個雲計算、大數據、搜索與分析創業項目(下圖),是美國大數據創業熱潮的最強力推手,由於得到In-Q-Tel的投資自己還意味着來自政府部門的訂單。安全
絕不誇張地說,NSA纔是美國大數據創業熱潮背後的真正推手。網絡
近日,前NSA工程師建立的數據庫創業公司Sqrrl的首席執行官Ely Kahn在Structure Show視頻節目上解讀了大數據技術如何被應用於國家安全。Sqrrl公司的產品基於開源NoSQL數據庫系統Accumulo,而Accumulo系統正是創辦Sqrrl的工程師在NSA時開發的。架構
Accumulo是PRISM棱鏡項目的核心框架
據Kahn的介紹,Accumulo數據庫系統是NSA企業架構的核心。大多數NSA的關鍵分析應用都運行在Accumulo上。「我不能透露具體是哪些應用,但人們在新聞中看到的大多數監控和分析應用的後臺都是Accumulo。」分佈式
Accumulo的性能如此強大,足以配得上對NSA大規模監控行爲的各類指責。從技術角度看,NSA已經可以識別網絡上的各類可疑行爲和我的,可是NSA還有一個「更大的想法」,Kahn稱之爲「生命分析的模式」:性能
這些均可以歸結爲異常分析,也是咱們目前的重點。如何創建一種模式來識別異常和正常?這須要基於對大量應用案例的分析…大數據
咱們今天的不少工做主要是圍繞圖譜分析(Graph Analytics)進行,創建大規模分佈式的數據圖譜——圍繞一個具體的應用實例創建正常模式的數據圖譜,而後參照這個圖譜查找異常模式。雲計算
雲計算大數據集中,國防部已經行動起來
NSA採用的大數據處理和分析技術也適用於整個國防部,NSA的任務是建設一個可以跨部門分享NSA資源的雲計算和大數據基礎設施,Accumulo就是這個計劃的一部分,現在國防部但願將全部數據——從無人機視頻到醫療數據,都匯聚到一個單一的大數據分析系統中。
據Kahn介紹,NSA正在進行中的一個重要項目代號「聯合信息環境」(Joint Information Environment),將在創建一個龐大的雲計算大數據基礎設施,整合國防部的海量應用實例——從網絡安全、戰場情報系統到醫療實例無所不包。
你能夠不喜歡NSA,但NSA已經無可爭議地在科技公司中確立了信息安全和大數據技術領導者的地位。
首個關鍵基礎設施信息安全框架規範出爐
過去幾周美國信息安全行業最大的利好消息是美國白宮發佈了國家標準技術研究所(NIST)起草的美國國家信息安全指導規範《提高美國關鍵基礎設施信息安全框架規範》
Improving Critical Infrastructure Cybersecurity Executive Order 13636 1.01 MB
請登陸下載
,這是美國在關鍵基礎設施信息安全方面的首個規範。(編者按:雖然不是強制規範,但不少方面已經有些相似國內的等級保護基本要求,所以也有美國媒體指出此規範有擴大行政監管範圍之嫌)。
Kahn認爲《規範》是美國國土安所有和NIST通力合做的成果,對推進關鍵基礎設施信息安全「邁出了一大步」,但「還遠不夠完美。」由於僅僅符合基礎要求是遠遠不夠的。(編者按:這也與我國的等級保護制度相似,合規自己並未起到防範重大信息安全事故和網絡攻擊的做用)