從 IJCAL 審稿風波提及，爲什麼頂會總有爭議？

https://mp.weixin.qq.com/s/9nf0HCeFS65t4esoRlZN9A

By 超神經

場景描述：近日，IJCAI 2019 的評審結果遭到吐槽，咱們對此進行了深度剖析，看看 IJCAI 究竟是不是如廣大網友說得那樣不堪。另外，爲了提升論文審稿效率，中國已經在試用 AI 工具協助評審。

關鍵詞：頂級會議 論文審覈

IJCAI 2019 論文錄用結果最近在網絡上掀起了一波吐槽浪潮。

5 月 9 日，人工智能領域頂級會議 IJCAI 2019 論文錄取結果公佈：今年共接收 4752 篇有效提交論文，最終收錄 850 篇，錄用率爲 17.9%，低於歷年平均 20% 的錄用率。

結果公佈後，一時間引發衆多投稿者的不滿。被拒稿的做者在網上曬出本身的「遭遇」，對評審、打分和 rebuttal 等環節表示質疑。

對此，IJCAI 2019 的程序主席 Sarit Kraus 在 5 月 10 日發表公開信作了迴應。她在信中表示：

我很能理解你們對審稿過程、公平性和隨機性太強的質疑，我也曾收到不少拒稿信。而這次審稿，我已在盡力下降評議過程的隨機性，減小每位 PC 和 SPC 收到的論文數量，增長審稿時間。

然而，面對本次大會總共提交的 4752 篇論文，審稿任務極其困難。我認爲, 須要對嚴格審稿的學術會議的概念進行從新思考和創新。IJCAI 也會聽取你們想法，把期刊建設得更好。

一些學者認爲這個迴應比較中肯，是能夠理解並接受的。畢竟，這麼多年了，也應該有更多的創新。

憤懣平息以後，咱們須要冷靜、客觀地分析一下，IJCAI 究竟如何？它真的如一些做者所抱怨的「愈來愈水」了嗎？

客觀對待，聽聽多個聲音

對於任何爭議，咱們都不該該只聽一面之詞。整體來看，IJCAI 此次有點冤枉。
1

國內怨聲鼎沸，國外反響平平

首先，怨氣最重的地帶集中在國內問答社區「知乎」，而國外 Twitter、Reddit 以及 Quaro 等平臺上並無看到相關質疑。

有用戶在微博上說，國內學術圈有圈子文化，審稿人會給熟人做者高分，對於沒有關係的做者，可能就會給出不夠客觀公正的評價。此外，今年第一次據說 AAAI 和 IJCAI 查 reviewer interest conflict（審稿人利益鬥爭），結果找出來 90% 高度嫌疑人都是華人。

北大萬小軍老師也曾在微博上提到：「看來又有一些做者經過搞關係影響論文評審結果……不知道何時搞的這種不良風氣。」

北大萬小軍老師研究領域爲天然語言處理、文本挖掘、人工智能

由此可猜想，也許正是因爲本身搞不良風氣，才使得審稿人對華人有了偏見，從而沒有作到客觀評審？
2

中了就是好，不中就很差？

其次，在關於「如何看待 IJCAI 2019 錄用結果」的評論中，並不徹底一邊倒地聲討 IJCAI。總的來講，大部分的埋怨仍是來自論文沒中的做者。

有用戶表示：

「投稿 IJCAI 以前，就應該作好審稿隨機化的準備。審稿結果並非今年才這樣的。另外，由於 IJCAI 的論文主題太多，不夠聚焦，纔會出現審稿人看不懂的狀況。所以，投稿人應該往本身研究領域更專業的會議去投。在論文通貨膨脹的今天，仍是努力寫出好文章吧。」

該條評論收到了80多個贊同。而其餘網友也對此迴應：

「論文中不了就說審稿差，可是爲何不想一想本身的工做是否作得足夠好。」

一位論文被錄用的做者表示：

「看到本身辛苦工做獲得的成果被貶低，仍是很傷心的。客觀地說，我本身的審稿質量仍是挺好的，要求很嚴格。並且我遇到的 reviewer 也比較負責。」

清華大學劉知遠老師在評論中回覆他：

「不靠譜的審稿畢竟仍是少數。沒必要太在乎。」

另外一位被錄用的做者也對吐槽者們提出了意見：

另外還有網友表示，不少人一邊說 IJCAI 和 AAAI 太水，一邊又把本身明顯不夠 A 級頂會水平的文章投進去，纔會形成這樣的狀況。

從數據上看，近幾年來， IJCAI 的投稿量和錄用數量都呈增加趨勢，今年接受論文數量更是比去年增長了 37%，達到歷史最高。然而，與之相反的是，今年錄用率倒是近幾年來最低，首次低於往年 20% 的平均錄用率。

參考數據（ IJCAI 近 4 年論文接收量與錄用率）：
2015 年，共收到 1996 篇投稿，錄用 575 篇，錄用率 28.8%；
2016 年，共收到 2294 篇投稿，錄用率低於 25%；
2017 年，共收到 2540篇投稿，錄用 660 篇，錄用率爲 25.9%，且這 2540 篇論文投稿中，來自中國的最多，佔投稿總數的 37%；歐洲、美國均爲 18%；
2018 年，共收到 3470 篇投稿，接收論文 710 篇，接收率 20.5%。接收論文中做者來自中國的有 325 篇，佔總數的 46%，遙遙領先其餘全部國家和地區。

也許正如上文網友所說，因爲太多研究者對本身論文質量把握不大，但抱着搏一搏的心態的做者投稿，形成了 IJCAI 審稿資源浪費，這也是形成評審bug 增多的緣由之一。

因此，對於本次的錄用結果，理性批判是合理的，可是盲目跟風去抱怨就很差了。不管是審稿人和投稿人，都應該好好檢討一下。

一則被拒屢次的網友評論 IJCAI

沒有不被吐槽的頂會

其實，被吐槽的頂會又豈止 IJCAI 一個。咱們看到 ICML、AAAI 、NeurlPS 也都有過一樣的「遭遇」。彷佛放榜後評審被吐槽已經成爲慣例。

這不，就在今天，NLP 會議 ACL 剛剛放榜，又引來了一堆詬病。而前不久，在 3 月初放榜的 ICML 2019 一樣讓 Twitter 上的網友炸開了鍋，對評審結果狠狠嘲諷了一番。

ACL 是目前公認的最大規模 NLP 會議，依然難逃被吐槽

因此，面對 AI 領域頂會總體都難逃被吐槽的狀況，咱們仍是花更多時間去尋找自身的不足，寫出更優秀的論文。

周志華老師以前曾對 AI 領域的各個會議作過點評，這裏引用他對 IJCAI 的評價以下，供你們參考：

IJCAI : AI 最好的綜合性會議, 1969 年開始, 每兩年開一次, 奇數年開。由於 AI 實在太大，因此雖然每屆基本上能錄 100 多篇（如今已經到 200 多篇了），但分到每一個領域就沒幾篇了，像 Machine Learning、Computer Vision 這麼大的領域每次大概也就 10 篇左右, 因此難度很大。

不過從錄用率上來看倒不過低，基本上 20% 左右，由於內行人都會掂掂份量，沒但願的就別浪費 reviewer 的時間了。

最近中國大陸投往國際會議的文章像潮水同樣，並且由於國內不多有能本身把關的研究組， 因此不少會議都在complain 說中國的低質量文章嚴重妨礙了 PC 的工做效率。在這種狀況下，估計這幾年國際會議的錄用率都會降下去。

IJCAI 可謂 AI 領域頂會元老

按資歷算，IJCAI 可謂衆多 AI 領域頂級會議中的元老。

縱觀國際人工智能領域頂級會議，IJCAI 是歷史最悠久的會議之一，自 1969 年起在美國舉行第一屆，此後每兩年開一次，直到 2015 年起改成每一年召開。今年恰好是它的 50 歲生日。

IJCAI 被中國計算機學會（CCF）推薦國際學術會議列表認定爲 A 類會議，一直以來在人工智能領域佔據很是權威的地位。它的錄用標準始終比較嚴苛，通常保持在 20% 左右。

被 CCF 認定的 AI 領域七大 A 類會議

在 IJCAI 歷年最高榮譽獎「卓越研究獎」獲獎名單中，一眼望去，基本都是業界名號響亮的大人物。好比他們：

1985 年，John McCarthy，人工智能之父，1971 年圖領獎得到者。（有趣的是，IJCAI 還有一個獎項就是以他的名字命名，旨在表彰處於職業中期的研究人員。）

2005 年，Geoffrey E.Hinton，神經網絡之父，2018 年圖領獎得到者。

2016 年，Michael I.Jordan，美國三院院士，人工智能泰斗。

詳細的歷屆獲獎名單，你們有興趣能夠去搜索一下，都是使人膜拜的 AI 界大神。

另外，會議的贊助商也能從必定程度上反應其水平。從 IJCAI 今年的贊助商來看，不乏巨頭科技公司，國內有百度、華爲、阿里、騰訊等，國外有 IBM Research AI、SONY、BOSCH、HITACHI 以及微軟。陣容仍是十分強大的。

IJCAI 2019 贊助商列表（部分）

解決方案：用 AI 審 AI 論文

對於此次 IJCAI 2019 錄用結果的討論登上知乎熱榜，有人感嘆：看來真是進入全民 AI 時代了。

近年來，中國在 AI 領域的發展日新月異。在各 AI 頂會不斷增加的論文數量中，很大一部分是來自國內的貢獻。近 20 年來，中國共累計產出人工智能領域論文 36.9 萬篇，產出量位於全球第一，美國第二，是第三位英國的 3.8 倍。

這也難怪 IJCAI 會抱怨巨量的論文下降了 PC 的工做效率。

針對現狀，研究者們推出了高效又無偏見的 AI 資助評審人。

昨日，Nature 上發表文章稱，中國國家天然科學基金委員會( NSFC )正在試用一個 AI 工具，這個工具能夠選擇研究人員來審查資助申請，從而讓這個過程更有效、更快捷、更公平。

Nature 上昨日發表的文章，地址：
https://www.nature.com/articles/d41586-019-01517-8

該系統將利用天然語言處理技術收集線上科學文獻數據庫和科學家的我的網頁，收集潛在評審人員的出版物或研究項目的詳細信息。在使用文本的語義分析來比較資助申請，並肯定對審稿人的最佳匹配。

一些研究人員表示，NSFC 採用的方法是世界領先的，不過對於 AI 是否真的可以改善這一過程，他們仍持懷疑態度。

更多頂會都在使用 AI

上個月，挪威研究委員會開始使用天然語言處理技術，將大約 3000 份研究提案分組，並將它們與最佳評審小組進行匹配。

總部位於瑞士的學術出版商 Frontiers（《前沿》）經過 AI 工具 AIRA（ Artificial Intelligence Review Assistant ）協助審稿人和編輯，以提升效率。

AIRA 系統由內部自定義算法以及行業領先的工具構建，例如 Google，Cro***ef 的 iThenticate 和 Editage 的 Ada。

AIRA 目前主要進行兩項關鍵同行評審任務：質量控制和評審員識別。其算法根據一組質量指標（包括文本重疊、語言、人體圖像的存在和其餘倫理考慮），來快速準確地評估提交的稿件。達到既定質量門檻的稿件將被傳遞給編輯，而有任何潛在問題的都會被送到審查團隊進行進一步調查。

咱們期待，當 AI 工具加入論文評審大軍後，審稿人可以從其餘環節中節省更多時間，從而認真評審咱們的論文，給每位投稿人一個滿意的答覆。

IJCAI 2019 將於今年 8 月 10 日至 16 日在中國澳門召開，這是在 2013 年北京以後會，第二次在國內召開。

目前距離會議開幕還有 3 個月，就已經如此熱鬧，屆時估計也會頗有看頭，因此，要去參加嗎？

超神經百科

概括偏好 Inductive bias

概括偏好是在進行概括過程當中進行選擇的考量，對應了學習算法「什麼樣的模型更好」的假設。

概括偏好能夠看做學習算法自身在一個龐大的假設空間中對假設進行選擇的啓發式或者 「價值觀」。

在具體的現實問題中，這個假設是否成立，即算法的概括偏好是否與問題自己匹配，大多數時候直接決定了算法可否取得好的性能。