安全軟件巨頭聯合發佈新框架，針對破壞機器學習的惡意軟件攻擊

微軟與 MITRE、IBM、NVIDIA 和 Bosch 合做發佈了一個新的開放框架，旨在幫助安全分析人員檢測、響應和補救針對機器學習（ML）系統的對抗性攻擊。

這個被稱爲「對抗性機器學習威脅矩陣」的項目試圖組織惡意對手在破壞機器學習系統時使用不一樣的技術。

惡意軟件威脅 AI 應用程序的穩定性和安全性

正如人工智能和機器學習被部署在各類各樣的新型應用程序中同樣，威脅參與者不只能夠濫用該技術來加強其惡意軟件的能力，還能夠利用該技術欺騙機器學習模型，從而致使系統作出錯誤決定，並威脅到 AI 應用程序的穩定性和安全性。

知名安全軟件公司 ESET 的研究人員去年發現，一種基於電子郵件的惡意軟件 Emotet 正在利用機器學習來提升其目標鎖定能力。Emotet 曾支持過幾回僵屍網絡驅動的垃圾郵件攻擊和勒索軟件攻擊。

本月早些時候，微軟警告了一種新的 Android 勒索軟件病毒，其中包括一種機器學習模型，該模型雖然還沒有集成到惡意軟件中，但能夠用於將勒索信息圖像放入移動設備的屏幕內而不會產生任何失真。

此外，研究人員還研究了所謂的模型反轉攻擊，即濫用模型訪問權限來推斷有關訓練數據的信息。

多數企業沒有合適的工具保護機器學習系統

根據微軟引用的 Gartner 報告，到 2022 年，預計 30% 的人工智能網絡攻擊將利用訓練數據中毒、模型盜竊或對抗性樣原本攻擊機器學習驅動的系統。

微軟表示，儘管有這些使人信服的理由來確保機器學習系統的安全，但微軟對 28 家企業的調查發現，大多數行業從業者還沒有接受對抗性的機器學習。微軟稱，「這 28 家企業中有 25 家表示它們沒有合適的工具來保護本身的機器學習系統。」

對抗性的機器學習威脅矩陣但願經過一些列的漏洞和對手行爲來解決數據武器化帶來的威脅，微軟和 MITRE 審查這些漏洞和行爲對機器學習系統是有效的。

公司可使用對抗性的機器學習威脅矩陣來測試他們的人工智能模型的適應能力，經過模擬真實的攻擊場景，使用一系列策略來得到對環境的初始訪問權限，執行不安全的機器學習模型，污染訓練數據，並經過模型竊取攻擊來竊取敏感信息。

新框架被普遍應用，簡化安全分析人員學習過程

微軟說：「對抗性機器學習威脅矩陣的目的是將對機器學習系統的攻擊定位在一個框架之中，安全分析人員能夠將本身定位在這些新的和即未來臨的威脅中。」

他們還提到，這個矩陣的結構相似於 ATT&CK 框架，由於它在安全分析人員社區中獲得了普遍的採用。這樣，安全分析人員沒必要學習新的或不一樣框架來了解機器學習系統面臨的威脅。

這是保護人工智能免受數據中毒和模型規避攻擊的一系列措施中的最新進展。值得注意的是，來自約翰霍普金斯大學的研究人員開發了一個名爲 TrojAI 的框架，旨在阻止木馬攻擊，其中對模型進行了修改，以響應致使其推斷出錯誤響應的輸入觸發器。