WAF學習記錄

國內外相關領域的研究現狀

　　WAF做爲網絡安全保障體系的一道防線，自生產起，其應用越來越普遍，國內外對其研究也愈來愈多。國外作WAF產品的廠商有飛塔、Imperva和梭子魚等。國內作WAF產品的也很多，硬件WAF主要有深信服、綠盟、安恆、啓明星辰等廠商作的產品，軟件WAF和雲WAF有安全狗、安全寶、雲鎖、360主機衛士、D盾等。但國內關於WAF的學術界研究論文並非不少，只有少數研究，好比特徵匹配、自學習等。國外對WAF的研究論文相對較多，方法也比較豐富，好比研究WAF實體，使用自動分散多層緩衝系統，使用機器學習，量子神經網絡分類器等。國內外對於WAF研究主要集中與對WAF配置規則的研究。

　　一些研究人員經過熟悉WAF的工做原理及其實現的的功能，運用自身專業知識設計了各類各樣的WAF來防禦Web安全。Takahashi等人提出Web服務面臨着兩個不一樣的要求，一個是短期服務的延遲，另外一個是防止惡意訪問。爲了知足這兩個要求，他們提出了了具備一致性技術的L3塊緩存節點，實現及時性自助分散系統的WAF，能夠知足高I/O密集型Web服務應用。他們認爲短延時節點系統是具備短延時的Web應用防火牆的極好解決方案。Carmen Torrano-Gimenez 等人提出應用特徵選擇，以減小由n-gram提取出來的特徵數量，從而提升WAF的有效性。從數據集中提取n-grams以後，應用入侵檢測的通用特徵來選擇重要特徵。使用四種不一樣的分類器來檢測特徵選擇先後的精度。可是因爲他們缺乏可用的和適當的HTTP數據集來測試WAF，使用的使他們本身生成的HTTP數據集，致使實際應用環境當中效果未知。王宇等人首先對當前主要的Web攻擊方式進行了分析，並對如何進行防護進行了探討，對常見的Web編碼方式進行了歸納，而且根據Web編碼方式的特徵提出了一些規避服務器端防禦技術的另類攻擊方法。在理論分析研究的基礎上設計了一個實現網絡安全防禦的WAF的具體架構和基本應用。Feng Fangmei等人對現有的Web的主要安全威脅和相應的防護對策進行了全面分析以後，使用CFML和MySQL數據庫實現了基於ColdFusion的Web應用防禦牆CFShield。該WAF爲各類應用層攻擊提供特定的保護，可以有效阻止針對應用層的各種惡意攻擊，好比SQL注入、XSS等，從而保護好基於ColdFusion的網絡應用。可是他們使用的規則庫並非很完整，有進一步擴展完善的空間。在實現上，CFShield 的配置功能不是很強大，只是實現了基本防禦牆功能，可進一步細化。另外，CFShield 沒法有效地防範未知的攻擊，須要進一步優化防火牆的自學習能力。Abdelhamid Makiou 等人指出注入漏洞包括SQL注入，是影響Web應用程序的最廣泛的安全威脅，爲了減輕這些類型的攻擊，Web應用防火牆應用安全規則來檢查HTTP數據流並檢測惡意HTTP事務。然而，攻擊者能夠經過使用複雜的SQL注入技術來繞過 WAF 的規則。他們介紹了一種新穎的方法剖析 HTTP 流量並檢查複雜的 SQL 注入攻擊。他們那的攻擊模型是一種混合注射防止系統（HIPS），該系統使用機器學習分類器和基於減小的安全規則集的模式匹配檢查引擎。設計的Web應用

 

The Analysis of Firewall Policy Through Machine Learning and Data Mining

基於機器學習和數據挖掘的防火牆策略分析：

解決問題：

防火牆是保證網絡和信息安全的主要組件。爲此，它們部署在全部商業、政府和軍事網絡以及其餘大規模網絡中。機構中的安全策略做爲防火牆規則來實現。這些規則中的異常狀況可能致使嚴重的安全漏洞。當網絡規模較大且策略複雜時，手動交叉檢查可能不足以檢測異常。

解決方法：

提出了一種基於機器學習和高性能計算方法的防火牆規則庫異常自動檢測模型。

實現原理：

對防火牆日誌進行分析，並將提取的特徵輸入到一組機器學習分類算法中，包括樸素貝葉斯、knn、決策表和超管道。F-measure結合了精確性和召回率，用於績效評估。

Bench 測試集合

防火牆日誌

研究中所使用的數據通過四個階段的處理，即數據收集、整理、傳輸到數據庫，最後準備好軟件和硬件，直到能夠分析爲止。

結論：

能夠說，機器學習方法在檢測防火牆規則異常方面取得了很好的效果。防火牆中的規則在其中起做用並被用於決策的鏈接數量很大。所以，檢查可能須要很長時間。經過減小流程模型要檢查的規則數量，能夠實現更有效和快速的更新管理，這將機器學習和本研究中推薦的高性能方法結合在一塊兒

在本研究的應用階段觀察到的另外一個結果是使用數據庫帶來的優點：因爲使用了數據庫，能夠逐步分析數據大小。所以，它能夠容許檢測訓練數據的最大性能水平。

結果代表，knn算法在防火牆分析中取得了最好的性能。這多是因爲knn本質上能夠到達訓練數據的外部點。

在全部算法中，當它們達到訓練數據值時，達到最大學習性能，由1500000個數據元組組成，可是它們的性能水平在這一點以後開始降低。

在接下來的研究中，能夠研究機器學習方法是否能夠調整，以便它們可以在防火牆上實時操做因爲處理大量數據須要高容量硬件，所以研究人員可能會遇到硬件質量方面的問題。

本文顯示，能夠經過使用機器學習方法自動分析大型日誌文件來檢測防火牆規則中的異常，從而避免安全漏洞，節省大量專家精力並及時進行干預。

The Analysis of Firewall Policy Through Machine Learning and Data Mining

基於機器學習和數據挖掘的防火牆策略分析：

解決問題：

防火牆是保證網絡和信息安全的主要組件。爲此，它們部署在全部商業、政府和軍事網絡以及其餘大規模網絡中。機構中的安全策略做爲防火牆規則來實現。這些規則中的異常狀況可能致使嚴重的安全漏洞。當網絡規模較大且策略複雜時，手動交叉檢查可能不足以檢測異常。

解決方法：

提出了一種基於機器學習和高性能計算方法的防火牆規則庫異常自動檢測模型。

實現原理：

對防火牆日誌進行分析，並將提取的特徵輸入到一組機器學習分類算法中，包括樸素貝葉斯、knn、決策表和超管道。F-measure結合了精確性和召回率，用於績效評估。

Bench 測試集合

防火牆日誌

研究中所使用的數據通過四個階段的處理，即數據收集、整理、傳輸到數據庫，最後準備好軟件和硬件，直到能夠分析爲止。

結論：

能夠說，機器學習方法在檢測防火牆規則異常方面取得了很好的效果。防火牆中的規則在其中起做用並被用於決策的鏈接數量很大。所以，檢查可能須要很長時間。經過減小流程模型要檢查的規則數量，能夠實現更有效和快速的更新管理，這將機器學習和本研究中推薦的高性能方法結合在一塊兒

在本研究的應用階段觀察到的另外一個結果是使用數據庫帶來的優點：因爲使用了數據庫，能夠逐步分析數據大小。所以，它能夠容許檢測訓練數據的最大性能水平。

結果代表，knn算法在防火牆分析中取得了最好的性能。這多是因爲knn本質上能夠到達訓練數據的外部點。

在全部算法中，當它們達到訓練數據值時，達到最大學習性能，由1500000個數據元組組成，可是它們的性能水平在這一點以後開始降低。

在接下來的研究中，能夠研究機器學習方法是否能夠調整，以便它們可以在防火牆上實時操做因爲處理大量數據須要高容量硬件，所以研究人員可能會遇到硬件質量方面的問題。

本文顯示，能夠經過使用機器學習方法自動分析大型日誌文件來檢測防火牆規則中的異常，從而避免安全漏洞，節省大量專家精力並及時進行干預。

 

Applying Feature Selection to Payload-Based Web Application Firewalls

 

將特徵選擇應用於基於有效負載的Web應用程序防火牆

 

問題：

 

Web應用程序防火牆（WAF）分析HTTP流量，以保護Web應用程序免受攻擊。爲了有效，WAF須要分析數據包的有效負載。用於入侵檢測的技術之一是藉助n-gram從有效載荷中提取特徵。 n-gram是給定序列中n個項的子序列。 n-gram的數量是256到n次方。因爲它隨n呈指數增加，所以出現了維數效應和計算複雜性問題。在本文中，咱們建議應用特徵選擇，以減小n-gram提取的特徵數量，從而提升WAF的有效性。咱們對本身的HTTP數據集進行實驗。從該數據集中提取n-gram後，咱們將通用特徵選擇（GeFS）度量用於入侵檢測[5]，以選擇重要特徵。咱們使用四個不一樣的分類器來測試特徵選擇以前和以後的檢測準確性。實驗代表，咱們能夠從原始數據集中刪除超過95％的不相關和多餘的特徵（從而將性能平均提升80％以上），而僅下降清晰度（不到6％）。

 

結論：

 

在本文中，咱們提出了一種新的方法來提升WAF的有效性，尤爲是那些使用基於n元語法的模型進行檢測的WAF。咱們的建議是應用特徵選擇，以減小基於n-gram的模型的高維性。它大大增長了WAF的可用處理時間，並減小了所需的系統資源。在本文中，咱們將重點放在HTTP流量上：對生成的HTTP數據集CSIC 2010進行實驗。咱們從數據集中提取了1-gram，而後分析了這些功能的統計特性。基於此分析，咱們選擇了CFS度量進行特徵選擇。測試了經過四個不一樣分類器得到的檢測精度。實驗代表，經過稍微下降（5.76％）的檢測精度，咱們的方法能夠大大提升WAF的性能：咱們的方法去除了95.7％的不相關和冗餘特徵（若是考慮256個特徵，則去除了90.3％）的功能出如今HTTP數據集CSIC 2010中），這意味着WAF所需的平均處理時間減小了81.25％。所以，咱們的方法在須要犧牲WAF精度以大幅提升WAF性能的環境中很是有用。若是不是這種狀況，咱們的方法仍然能夠用做更精確的WAF前面的過濾器。

 

Improving Web Application Firewalls to Detect Advanced SQL Injection Attacks

 

問題：

 

包括SQL注入在內的注入漏洞是影響Web應用程序的最廣泛的安全威脅。[1]爲了緩解這些攻擊，Web應用程序防火牆（WAF）應用安全規則以檢查HTTP數據流和檢測惡意HTTP事務。 可是，攻擊者可使用複雜的SQL注入技術來繞過WAF的規則。

 

解決方法：

 

在本文中，咱們介紹了一種新穎的方法來剖析HTTP流量並檢查複雜的SQL注入攻擊。該系統同時使用機器學習分類器和基於減小的安全規則集的模式匹配檢查引擎。 咱們的Web應用程序防火牆體系結構旨在經過使用預測模塊來優化檢測性能，該預測模塊將從檢查過程當中排除合法請求。

 

原理：

 

結構化查詢語言（SQL）注入是影響數據庫管理系統（DBMS）的最具破壞力的漏洞之一，由於它可能致使暴露存儲在應用程序數據庫中的全部敏感信息[2]。爲了應對SQL注入攻擊，已使用了各類方法和技術。一方面，Web應用程序開發人員採用了安全編碼並應用了輸入驗證功能。他們開發了過濾器來保護應用程序的條目免於SQL代碼注入。這些過濾器阻止包含SQL關鍵字或惡意SQL代碼注入中經常使用的特殊字符的輸入。另外一方面，Web應用程序防火牆經過檢查HTTP流量並應用一組安全規則來保護應用程序的數據庫。用於表達安全規則的語言能夠顯式描述SQL注入攻擊的簽名，也能夠隱式描述檢測這些攻擊的方式。它還能夠表示異常分數值，每當HTTP請求中出現惡意模式時，異常分數值就會增長。若是異常值達到預約義的閾值，則該請求將被拒絕。儘管上述方法很健壯，但攻擊者仍能夠經過替換惡意的模式字符或更改其格式來繞過它們。可是，一種基本的解決方案是爲每種規避技術編寫特定的規則，但這須要對HTTP協議和正則表達式編程都很是熟練。此外，安全規則用來檢查複雜模式的模式匹配算法減小了檢測引擎的總體性能。因爲模式匹配算法須要大量資源，所以某些WAF [7] [9]被配置爲僅檢查POST請求。在本文中，咱們提出了一種混合方法來檢測SQL注入攻擊及其規避技術。咱們的建議既加強了HTTP流的檢查過程，又加強了安全規則管理。

 

結論：

 

在本文中，咱們專一於檢測複雜的SQL注入問題。 咱們提出了一種剖析HTTP請求的新穎方法，以涵蓋大多數規避技術並改善安全規則管理過程。 咱們還提供了一個包含機器學習分類器的注入預防系統架構。 基於TCR結果，咱們經過調整分類器的值以減小假陰性顯示了分類器的有效性。 咱們還可以證實誤報不會影響系統的總體性能。將來工做的關鍵要素是採用相同的方法來開發反XSS和SQL攻擊解決方案。

 

 

 

Critical Analysis on Web Application Firewall Solutions

 

Web應用程序防火牆解決方案的批判性分析

 

問題：

 

現在，Web應用程序安全性已變得愈來愈重要。 Web應用程序層上部署了大量攻擊。因爲Web應用程序的急劇增長，安全性容易受到各類威脅的攻擊。這些攻擊大多數都針對Web應用程序層，僅網絡防火牆沒法阻止此類攻擊。這些攻擊成功的根本緣由是應用程序開發人員在編寫Web應用程序時無知，以及現有技術中的漏洞。 Web應用程序攻擊是最新趨勢，黑客正嘗試使用不一樣的技術來利用Web應用程序。各類解決方案均可以做爲開源和商業市場使用。可是，爲組織系統的安全性選擇合適的解決方案是一個主要問題。

 

安全編碼是最重要的技術之一，由於開發人員必須知道Web應用程序中存在不一樣的安全漏洞以及如何防止它們。 大多數安全問題都是在程序邏輯中出現問題時發生的。 爲了不這些問題，開發人員必須注意安全問題。 不幸的是，Web應用程序層沒有可確保安全性的協議和標準。 所以，這徹底取決於開發人員，不幸的是，開發人員沒有受過足夠的培訓，以致於他們沒法理解安全風險。 所以，它們在Web應用程序中留下了漏洞，黑客能夠輕鬆利用它。

 

Web應用程序的第二大問題是使用第三方工具（如不一樣的Web服務器）託管Web應用程序。 有時會出現配置錯誤，例如 使用Web服務器的默認設置或兩臺服務器之間的配置問題會使黑客進入系統並對其進行入侵。 例如，因爲IIS服務器的配置問題，特別發生了HTTP請求走私攻擊。 所以，使用第三方工具也會致使咱們遭受Web應用程序攻擊。

 

解決方法：

 

本調查報告將Web應用程序防火牆（WAF）解決方案與應用程序層的安全性所必需的重要功能進行了比較。對WAF解決方案的關鍵分析有助於用戶選擇適合其環境的最合適的解決方案。

 

Web應用程序防火牆在Web應用程序層上工做，它深刻檢查HTTP數據包和HTTP數據包的各個部分，並查找Web應用程序攻擊。 它使用不一樣的技術來尋找惡意字符串和配置錯誤問題，例如 白名單，黑名單，灰名單等

 

現狀：

 

「 Web應用程序仍然是犯罪分子的主要攻擊媒介，並且趨勢沒有減弱的跡象；攻擊者愈來愈多地迴避針對跨站點腳本，SQL注入和許多其餘針對應用程序層的滲透技術的網絡攻擊。」 Web應用程序漏洞可歸因於許多因素，包括輸入驗證不正確，會話管理不安全，配置不正確的系統設置以及操做系統和Web服務器軟件中的漏洞。

 

結論：

 

網絡攻擊的性質已經從「通常病毒和蠕蟲的「噴霧和祈禱」方法」轉變爲針對特定組織，應用程序和敏感數據的高度複雜的有針對性的攻擊。 具備經濟動機的攻擊者如今有了一個軟目標。 如今，他們再也不浪費精力進行非特定的網絡入侵嘗試，而是將目標鎖定爲可經過Web應用程序訪問的敏感數據，而傳統的網絡安全方法沒法阻止它們。

 

可用的安全解決方案因爲其對網絡層的關注以及其核心技術設計的限制而無效。 組織必須部署另外一層防護，稱爲Web應用程序防火牆。 開源和商業市場上可用的各類解決方案爲選擇適合組織系統安全性的解決方案形成了問題。 本調查論文將WAF解決方案與應用程序層安全性所必需的重要功能進行了比較。 對WAF解決方案進行嚴格的分析有助於用戶選擇適合其環境的最合適的解決方案。