來源 | 谷歌開發者公衆號git
文 / Tulsee Doshi, Google AI 產品經理github
發佈大型的、對公衆開放的圖像數據集(如 ImageNet,Open Images 和 Conceptual Captions),是推進計算機視覺領域巨大進步的因素之一。 雖然這些數據集是開發實用的機器學習(ML)模型的一個極其重要的部分,可是咱們已經發現,有些開源數據集在收集方式上存在地理上的偏移。由於數據集的形狀告訴咱們 ML 模型的學習內容,但若是有些地理區域的數據的表明數不足,低於必定比例,這種誤差可能會致使研究團體在無心中開發出一些繪製圖像表現較差的模型。 例如,如下圖像顯示在 Open Images 數據集上訓練的一個標準開源圖像分類器,可是因爲世界各地的婚禮習俗五花八門,該分類器就沒法將 「婚禮」 相關的標籤準確無誤地標註上去。算法
注:在地理上的偏移連接markdown
婚禮照片(由 Google 員工捐贈),由 Open Images 數據集上訓練的分類器進行標記。 分類器的標籤預測記錄在每一個圖像下方儘管 Google 正致力於構建更具表明性的數據集,但咱們仍想鼓勵人們在該領域進行更多的研究,以便在數據源並不完善的狀況下,機器學習方法能夠更強勁,併兼具包容性。 這是一項重要的研究挑戰,在目前建立的機器學習模型方式方法上,推進咱們不斷突破向前發展。良好的解決方案將有助於確保即便在某些數據源不徹底包容的狀況之下,也依舊能夠利用它們來開發模型。ide
爲了支持這項工做,並促進具備包容性的 ML 模型的進一步發展,咱們很高興地宣佈在 Kaggle 上舉辦包容性圖像競賽。 該項競賽與 Conference on Neural Information Processing Systems Competition Track(神經信息處理系統競賽軌道會議)合做,鼓勵參賽者使用 Open Images,這是一個大型的,多標籤的,公開的圖像分類數據集,主要在北美和歐洲進行採樣,訓練模型對從全球不一樣地區採集來的圖像進行評估。oop
注:Kaggle 上舉辦包容性圖像競賽連接學習
神經信息處理系統競賽軌道會議連接網站
Open Images 連接
本次比賽中的三種地理分佈的數據。 參賽者將在 Open Images 上訓練他們的模型,Open Images 是一種普遍使用的公共可用的圖像分類基準數據集,取材主要來自北美和西歐。首先在競賽第一階段中對模型進行評估,以後在競賽第二階段中再次評估模型,每一個模型具備不一樣的地理分佈,但並不披露。 經過這種方式,對模型進行壓力測試,使其可以在訓練數據外進行包容咱們經過 Crowdsource 項目建立了兩個 Challenge 數據集進行模型評估,裏面邀請了世界各地的志願者參與貢獻周邊環境的照片。 咱們但願這些由 Google 全球社區捐贈而創建的數據集將爲本次競賽提供具備挑戰性的基於地理位置的壓力測試。 咱們還計劃在比賽結束時發佈更多的圖像,提供更多的包容數據,來進一步鼓勵包容性發展。
注:Crowdsource 項目連接
來自 Challenge 數據集標記圖像的示例。 按左上方順時針方向,來自 Peter Tester,Mukesh Kumhar,HeeYoung Moon,Sudipta Pramanik,jaturan amnatbuddee,Tomi Familoni 和 Anu Subhi 捐贈的圖像包容性圖像競賽於 9 月 5 日正式啓動,提供可用的培訓數據和第一階段挑戰的數據集。 提交結果的截止日期爲 11 月 5 日星期一,測試集將於 11 月 6 日星期二發佈。 欲知詳情以及時間表,請訪問包容性圖像競賽網站。
注:包容性圖像競賽網站連接
比賽結果將在 2018 Conference on Neural Information Processing Systems(2018 年神經信息處理系統會議)上公佈,咱們將爲排名靠前的參賽者提供旅行補助金,幫助他們來參加會議(詳情請見本頁)。 咱們期待成爲社區開發更具包容性的全球圖像分類算法的一份子!
注:詳情請見本頁連接
在這裏咱們要感謝如下人士,感謝他們爲實現包容性圖像比賽和數據集做出的不懈努力:James Atwood,Pallavi Baljekar,Parker Barnes,Anurag Batra,Eric Breck,Peggy Chi,Tulsee Doshi,Julia Elliott,Gursheesh Kour,Akshay Gaur,Yoni Halpern ,Henry Jicha,Matthew Long,Jigyasa Saxena 和 D. Sculley。