算法的公平性也能夠量化?試試這三個指標吧

全文共1931字,預計學習時長4分鐘面試

 

圖片來源:pexels.com/@rawpixel算法

自動化和智能操做已經能夠愈來愈深度地幫助人們工做。隨着人工智能愈來愈多地應用於工業領域的產品和研究,其如今能夠更好地專一於須要判斷力和創造力的管理職能。這意味着曾經須要人類作出的關鍵決策,如今均可以經過算法操做決定了。從化工、採礦、石油和自然氣等資產密集型行業,到媒體和時尚等創意密集型行業,皆是如此。編程

要驅動大規模數字產品和服務的應用,須要的可不只僅是自動化。互聯網把人類和機器鏈接在一塊兒,產生了海量的數據,爲了處理這些數據,以及應對時刻變化的社會,須要藉助公平負責的算法。此外,預計到2030年,人工智能將爲全球經濟增長13萬億美圓。毫無疑問,用算法作決定會變得愈來愈廣泛。微信

回顧一條你們都懂的機器學習定義——算法解析數據,從數據中學習,而後用所學知識作出明智的決定。架構

所以能夠知道,數據科學家、工程師和架構師設計和構建算法的方法是訓練算法解析正確的數據,以大體確保兩件事:機器學習

精確度學習

圖片來源:pexels.com/@rawpixel人工智能

精確度自己就是一個學習的過程。爲精確度準備準確的數據是一個挑戰,由於它只能在通過一輪又一輪的建模和更改訓練數據以後才能實現。正確數據的定義所以會根據不一樣狀況而顯著變化。設計

例如,想要識別大機率會在奢侈時尚精品店購物的客戶,和大機率會在素食餐廳點一道特定餐品的客戶,這兩者的算法須要不一樣的設計和架構。儘管這兩種算法會有一些共通點,好比說,和其餘因素相比,它們的最新消費、消費頻率、和貨幣面值可能相通,但這兩個算法的某些變量也會大相徑庭,這取決於業務的性質。3d

公平性

 

隨着算法愈來愈公平,在決策過程當中我的判斷的影響會逐漸消失。這是最重要也是最棘手的挑戰。由於在學習過程當中,這些算法頗有可能會變得不那麼公平,由於它們是由人類編程的,而人類的價值觀、想法和觀點會隨之轉移到這些人工智能軟件中。

這意味着爲了能理解機器的自動判斷,須要透明公開復雜的程序。有人懼怕在金融、法律和技術公司使用機器自動決策,這是由於人們爲貪圖我的利益,經常利用其決策幫助本身獲利,並濫用機密信息。

爲何算法的公平性具備挑戰性?

算法的誤差反映了社會混亂的過去。全部被刪除的誤差可能仍潛伏在數據中,等着從新出現的機會,這在必定程度上是由於,人們無心間把這些誤差編入了軟件,而算法會放大這些誤差。

從表面上看,算法誤差彷佛是一個能夠用計量經濟學和統計學方法解決的工程問題。然而,想要確保一個公正、公平而又合乎倫理的結果,不只僅要面對來自數據科學的挑戰。因爲設置人工智能學習程序須要人工干預,所以須要巨大的責任和堅韌的信念,以設置出最爲公平的程序。

 

如何量化公平?

在數據科學中,有不少度量標準和方法可供選擇。

公平性和精確度之間的權衡是一個重要的考慮因素。

爲了確保公平性和準確性,模型必須知足如下兩個條件:

1. 一個通用模型,經過迭代逐步變爲特定模型,以更好地適應形勢。

2. 可靈活修改因素、變量和數據,以確保獲得公平的結果。

 

 

基於這些考慮,建議結合如下三種方法,用以量化公平並保持良好的準確性:

交互信息分析

主要針對用於訓練模型的原始數據。理解受保護變量(不許備在數據建模中使用的變量)和非受保護變量(準備在數據建模中使用的變量)之間的關係是一個很好的度量標準。

例如,對決定是否可以入圍面試名單的算法來講,不能在模型中使用性別這一變量,由於這是一個受保護變量。另外一個受保護變量是種族,在模型中不該經過種族,來決定某人是否能申請到助學貸款。

另外一方面,像考試成績和按時付款這樣的變量並非受保護變量,可是很不幸,這些變量能夠成爲一個代理變量,在數據的訓練過程當中暗示一我的的種族。若是把此度量標準與下一個度量標準結合起來,也許能夠解決這個問題 —— 差異性影響。

差異性影響

一樣針對訓練數據,揭示了變量對某一人羣或某些項目結果的重要性。經過確保每一個集羣的每一個變量的重要性都差很少,能夠幫助確保全部集羣獲得平等的對待。在數據訓練過程當中,有一種能力在許多情形下都有加強:根據數據集中其餘變量預測受保護變量的能力。

好比,在不少狀況下,一我的的性別能夠根據考試成績來預測,這就在算法中產生了誤差。經過在迭代過程當中修改數據,並減輕某些變量對預測受保護變量結果的影響,能夠有選擇地下降肯定受保護變量的預測能力。

預測性奇偶校驗位

主要用於調整模型結果,以確保平等和公平。其主要目標是下降錯誤率,或預測錯誤的比率,並確保會下降數據集中全部集羣的錯誤率。

有時,算法會忽略一個社會維度,不符合道德標準,或者忽略一些商業目標。在這種狀況下,徹底透明公開這些複雜的算法將令人工智能走向大衆化,讓更負責、更道德、更實用的算法成爲可能。

留言 點贊 關注

咱們一塊兒分享AI學習與發展的乾貨
歡迎關注全平臺AI垂類自媒體 「讀芯術」

(添加小編微信:dxsxbb,加入讀者圈,一塊兒討論最新鮮的人工智能科技哦~)

相關文章
相關標籤/搜索