「體檢醫生」黑科技|讓AI開發更精準，ModelArts更新模型診斷功能

摘要：華爲雲AI開發平臺ModelArts黑科技加持AI研發，讓模型開發更高效、更簡單，下降AI在行業的落地門檻。全面的可視化評估以及智能診斷功能，使得開發者能夠直觀瞭解模型各方面性能，從而進行鍼對性的調優。

今年，全新發布的華爲雲ModelArts備受關注，創新黑科技成爲AI界團寵。

模型構建一直是AI落地行業遇到的挑戰之一，尤爲是如何對即將部署上線的模型進行評估和診斷，以確保研發是否知足業務需求，保證AI產品的質量水平，讓評測結果優秀的模型直接投入生產環境，對差強人意的模型進行調優。

華爲雲AI開發平臺ModelArts黑科技加持AI研發，讓模型開發更高效、更簡單，下降AI在行業的落地門檻。全面的可視化評估以及智能診斷功能，使得開發者能夠直觀瞭解模型各方面性能，從而進行鍼對性的調優。

全方位爲AI模型體檢，下降AI研發門檻

長期以來，模型調優一般過於依賴數據科學家或算法工程師的我的經驗，這就致使開發一個最優AI模型門檻高、代價大。另外一方面，除了模型精度等經常使用指標以外，要將模型部署在生產環境，就必須考慮其性能、可解釋性、魯棒性、抗攻擊性等其餘指標。對於大多數數據科學家或算法工程師而言，這些指標的分析和優化並非很是直觀。這就致使AI模型進入生產環境困難重重。

爲了解決上述兩方面的問題，華爲雲ModelArts經過平臺內置的工具幫助用戶自動分析和評估出模型的各項指標，至關於生成模型的「體檢報告」，並給出優化建議，用戶可根據優化建議進一步提高模型效果或者決定是否將其部署到生產環境。

模型評估診斷更智能，調優更具針對性

ModelArts可提供精度、敏感度、計算性能、對抗性等指標的分析和診斷，並輔助熱力圖、抽象特徵分佈等手段便於理解模型和數據分佈狀況。

1.可視化呈現樣本預測值和真實值，數據分析更直觀

在精度方面，ModelArts提供了混淆矩陣、ROC等經常使用指標，將每一個樣本的預測值和真實值可視化呈現，便於用戶基於原始數據進行深刻分析。例如花卉識別場景，因爲花卉種類繁多，同一類別下花卉差別性小，對AI模型的精度要求就會更高。ModelArts對圖像識別模型精度進行精確評估，保證花卉識別的準確性。

基於ModelArts的圖像分類模型預測結果展現

2.切分數據集細化模型敏感度分析，優化建議更聚焦

在敏感度分析方面，ModelArts根據數據集的一些基礎特性（例如圖像的亮度、清晰度等特徵，或者文本的長度等特徵）將原始數據集切分爲不一樣的子集，而後在不一樣的子集上評估模型的精度指標，便可分析出該模型對於不一樣特徵的敏感度，進而爲模型優化提供方向。當圖像亮度對模型精度影響波動比較大時，須要再重訓練時對亮度進行加強。

基於ModelArts的抽象特徵敏感度分析及其診斷建議

3.深刻AI底層系統算子優化，具象化模型計算性能分析

在計算性能方面，ModelArts可針對經常使用框架訓練的模型進行細粒度性能分析，能夠分析出算子的推理時長和參數量分佈，爲算子優化和模型壓縮提供方向。

基於ModelArts的模型計算性能分析

4.內置多種攻擊算法，多維度評估模型對抗性

在對抗性評估方面，ModelArts內置了多種攻擊算法，針對模型進行攻擊並輸出攻擊成功率以及被攻擊後的模型的精度指標，如圖4所示。根據診斷建議，能夠發現模型在某些類別上更容易受到攻擊，能夠經過進一步的數據加強來優化。對於模型中潛在的容易受到攻擊的算子，ModelArts也能夠自動作出相應的提示。從圖5中，能夠看出，被攻擊後ROC曲線明顯不如被攻擊以前。所以，不建議該模型直接部署到生產環境，而須要先根據ModelArts診斷建議進行進一步優化。

圖4. 基於ModelArts的模型對抗性攻擊評估和診斷

（a）

（b）

圖5. 模型被攻擊前（a）和被攻擊後（b）的ROC曲線

三大場景智能評估和診斷，模型調優有的放矢

目前，模型智能評估與診斷支持三種類型的模型和數據集，「圖像分類」、「物體檢測」和「語義分割」，讓用戶全面瞭解模型對不一樣數據特徵的適應性，使得模型調優能夠作到有的放矢。

假如要對五類食品的圖像進行分類，使用ModelArts市場訂閱的ResNet_V1_50算法訓練，第一次訓練獲得的模型在測試集上進行評估，精度爲54.8%，在敏感度分析中，能夠發現模型對圖像亮度的敏感度很是大，不一樣亮度區間裏模型精度的方差達到0.249，建議進行亮度方面的數據擴增。

擴增數據後從新訓練模型，使用相同測試集進行模型評估，精度上升到63.4%，不一樣亮度區間裏模型精度的方差降低到0.217。

在對安全帽的檢測任務中，使用ModelArts市場訂閱的物體檢測-EfficientDet算法訓練，在驗證集上得到74.8%mAP。

根據建議進行數據擴增，點擊二次訓練按鈕，推薦的訓練參數會自動加載到新的訓練任務中。

訓練結束後，查看評估結果，驗證集mAP有顯著提高。

華爲雲ModelArts的黑科技功能不止於自動化模型評估與診斷功能。運用ModelArts，機器狗能夠實現工業巡檢，自動識別火情、規劃路徑、關閉火情按鈕；雨林保護組織裏的護林員能夠更好地保護蜘蛛猴等瀕危動物；同濟大學的學生們基於ModelArts平臺創建了一套溼地數字孿生系統幫助杭州灣的候鳥獲得更好的保護和科研……後續將爲你們帶來更多ModelArts創新技術揭祕。

華爲雲ModelArts經過持續創新，打造最強AI黑科技，使AI能夠更好地進入生產生活，加速AI在產業的落地和深刻，擴大AI應用的覆蓋面，進一步釋放AI技術紅利，讓更多企業能夠借力AI進行轉型升級。

 

點擊關注，第一時間瞭解華爲雲新鮮技術~