賽爾譯文 | 做爲審稿人你犯過這些錯誤嗎? - 知乎

https://zhuanlan.zhihu.com/p/105455353

做者：Niklas Elmqvist
原文：Mistakes Reviewers Make

連接： https://sites.umiacs.umd.edu/elm/2016/02/01/mistakes-reviewers-make/
譯者：哈工大SCIR 王昊淳，徐嘯
轉載須註明出處：哈工大SCIR

編者按：近年來AI領域會議投稿數呈現爆炸式增加，對審稿人數的需求也明顯提升。然而，正如文中所說，新審稿人幾乎得不到任何形式的訓練就會投身審稿工做中，並被要求對投稿論文做出重要的評判，而這些評判有時甚至會改變其背後科研人員的命運。目前是ACL審稿期，哈工大SCIR爲你們翻譯了此文但願能幫助你們更好地完成審稿任務。

審稿人常犯的錯誤

Niklas Elmqvist, University of Maryland, College Park

科學界是以同行評審爲基礎的，即由同行們來評價咱們投出論文的質量。隨着發表論文的壓力不斷增長，各個領域的學術期刊和會議的投稿量也隨之增加。考慮到每篇論文通常須要至少三位審稿人審閱，審稿人數量也必須擴充。

不幸的是，培訓新的審稿人是很是耗時的，由於想要在有限時間內寫出公平、公正且專業的文章點評並不是易事。在理想狀況下，新人審稿人應該有機會與其導師緊密合做來學習如何進行同行評審，或者在實際評審前向其可信賴的同僚借鑑經驗，學會如何造成本身觀點，並在各個方面進行自我修正。以此在開始審稿工做前鍛鍊並提升新審稿人區分論文中主要問題和次要問題的能力。但在實際狀況中，上述過程是很難實現的，新審稿人幾乎得不到任何形式的訓練，就會投身真實的審稿工做中，並被要求對投稿論文做出重要的評判，而這些評判有時會改變其背後科研人員的命運。

讓新審稿人不得不邊作邊學是有問題的，因爲他們缺少經驗、不夠成熟以及對領域內的其餘內容掌握度不足，他們會常常犯一些錯誤。這就讓一些本應該被接收的文章卻被拒絕或者反之，最終結果是論文評審過程的質量總體降低，會議與期刊水平也會一同降低。

幸運的是，審稿人所犯錯誤的特徵一般比較相近，在近十多年裏，我做爲外部評審、副主編、程序委員會成員，一直在進行論文評審工做，已經碰見過至關多的這類錯誤（其中包括一些我本身的）。我寫這篇文章的主要目標是描述清楚這些錯誤，同時但願能夠加快新審稿人的學習進程並幫助他們提升他們的評審質量。所以上升到一種高度來講，提升新審稿人的審稿質量等同於提升整個同行評審的質量。全部科學家都知道，本身的文章若是由於一些荒謬或者無知的評價而被拒絕是一件多麼讓人惱火事情。因此個人最終目標就是減少這樣低質量的評論出現的頻率。

本篇文章並非一篇關於如何評審文章的通用指南，而是關於如何讓沒有經驗的新審稿人避免犯一些常見錯誤的指導。事實上，有些錯誤在資深審稿人中也至關常見，因此我建議全部從事論文評審工做的人都至少略讀我接下來要說的內容。

瞭解你本身

專業的分析師知道，絕對的客觀是不可能實現的，每一個人都或多或少地有一些偏見。他們能正確地認識並接受他們的偏見，並在此基礎上修改他們的分析結果，而不是徒勞地試圖消除偏見。相似的是，沒有經驗的審稿人常常會有以下的一些共同特色，瞭解這些特色對準備評審工做會有一些幫助：

• 好勝心強：大多數新審稿人都是剛剛開始科研工做的研究生，這意味着他們年輕、對知識十分渴求、急切地想要證實本身，這也可能意味着他們會將其餘人的投稿視爲本身的潛在對手。
• 注重細節：剛入行的研究者常常沉浸在研究的細枝末節，例如搭建軟件、收集數據以及進行實驗。這意味着他們傾向於關注細節（不管重要與否）而不是顧全大局。
• 專業技能：不少新審稿人自誇在某個領域造詣很高，然而事實常常是他們的專業知識很是的侷限。
• 迷信權威（Star-struck）：年輕的研究者常常會仰慕資深或知名的研究者。在單盲評審中，這可能會致使他們更偏向這樣的資深研究者的論文（或者有時相反，便可能存在研究者在單盲評審中故意不傾向資深研究者的文章的狀況）。

常見的意見

同行評審從根本上來講是一種主觀的觀點，審稿人須要就這項工做是否能夠被髮表給出本身的想法，然而儘管評審內容僅僅表明了我的見解，你們也但願審稿人能夠提供本身評審的依據，並且不少意見也並不合適。如下是一些常見的審稿人須要謹慎給出的意見：

• 「這項工做並不適合這個主題」 不少審稿人都會給出這個意見，甚至對於資深審稿人來講也會有這樣的狀況。當審稿人發現一篇文章的方法並非解決該領域問題的典型方法時，不少人會僅僅由於這個緣由而拒絕這篇論文，若是你在審稿遇到這樣的狀況，不妨先思考一下咱們是否須要這樣的保守，這種新方法有沒有可能會推進這個領域繼續向前發展呢？
• 「這項工做並不新穎」缺少創新性是拒絕一篇文章的常見理由，然而當你在評審中想用這個理由時，務必肯定你能給出確鑿的的證據。咱們的批評不能只基於一種直覺、一種感受，或者一種別人已經作過這樣的事情了的認知。因此當咱們想要由於一篇文章不夠新穎而拒絕它，但又找不到任何一篇已有的文章、產品或網站來支持這個想法時，咱們的想法就多是錯的。
• 「這項工做作得不夠充分」哪怕一篇文章的貢獻很新穎，咱們仍是會有其餘疑問，相比於SOTA它是否足夠新穎或者足夠重要呢？這種問題通常都難以回答，通常和投稿的會議或期刊的聲望和指望有關，因此咱們仍是須要在寫評審內容時三思然後行。你肯定在作這個評價時有作到公正且尊重客觀事實了嗎？你是否有列好佐證你觀點的證據？若是對論文重要性的判別模糊不清，咱們最好先不要急於否認這篇論文，由於咱們多是錯的。
• 「這項工做過於簡單了」這是「工做作得不夠充分」的一種特殊說法，當審稿人（甚至資深審稿人）看到一種很簡單的想法但卻找不到以前已經嘗試過這種想法的文章時，他們就會用 「過於簡單」來評價這篇論文。這樣的簡單想法在審稿人看來是很有爭議的，由於他們以爲這種想法隨便什麼人甚至審稿人本身都能想到，並且有時一些人會用一種輕蔑的眼光來看待，認爲不該該接收這樣近乎唾手可得、不須要多少努力的文章。然而在被帶入到這種感受以前，首先要記住，簡單也是困難的，最好的想法每每是那些回想起來直白簡單，可是一開始須要靈光乍現才能發現的想法。
• 「這項工做沒什麼意義」想象你身處這樣的場景，你認同這項工做很是適合這個主題，也認爲它足夠的新穎，研究得足夠充分而值得發表，可是你或許以爲這篇文章並不會對這個領域的研究帶來什麼好處，可能由於你並不認同文中的提出的問題、解決辦法或者驗證辦法。或許你以爲做者研究的主題並不重要，或許他們所作的用戶研究沒有什麼有價值的發現，或許你是一個注重實踐的人但你以爲他們提出的解決辦法永遠也沒法用到實際生活中，或許你是一名研究者但你以爲他們的工做過於偏向工程而對科學界沒有什麼貢獻。儘管這些都是有理有據的理由，但仍是要提供足夠的證據來支持你的想法，並要花一點時間來反思，你的我的背景是否影響了你的判斷。此外，咱們要記住，基礎研究和應用研究都應該在科學界有一席之地。

除了以上這些關於文章價值的評價，還有一些特別的意見常常被說起：

• 「沒有進行用戶研究 (user study)」人機交互領域的研究通常都包括用戶研究（受控條件下或非受控條件下）可是信息可視化領域的邊緣人機交互研究工做通常並不會包括，因此咱們不能僅僅由於一篇文章沒有用戶研究而本能地拒絕它（而不考慮文章背景）。首先咱們要問本身，在文章做者的研究領域中，用戶研究是不是必要的？通常來講，能夠採用 Munzner 的嵌套評測模型(nested evaluation model)來肯定一個合適的評測方法，還有不少方法均可以用來評價文章的貢獻。
  https://www.cs.ubc.ca/labs/imager/tr/2009/NestedModel/
  
• 「他們沒有引用（個人）一些重要的工做」是的，若是存在和當前投稿的文章相關的先前工做，做者應當加以引用，並且審閱一篇忽略前人工做貢獻的文章也是一件讓人惱火的事情，尤爲是看成者忽視了你本身以前的相關工做的時候。咱們很容易認定做者出於某種惡意而故意地避免引用一些文獻，可是更有可能的是做者們只是不知道這些工做或者是忘記了引用。在論文的小修訂過程當中，加上一兩條新的參考文獻是可行的，一般狀況下不該該是拒稿的理由（除非被忽略的參考文獻對於文章的貢獻是很是關鍵的），所以咱們應該在評審內容中建議做者修正他們的參考文獻內容。
• 「他們的回覆讓我很生氣」一些期刊和會議（如ACM CHI和ACM UIST）容許做者一同提交新修訂好的文章和以前收到的評審內容的回覆。有時，一些做者的回覆可能讓人以爲有些小氣、不禮貌甚至有些傲慢。在這種狀況下，審稿人很容易產生以其人之道還治其人之身的想法--一般是草率地拒絕這個做者的文章，可是在這作出這種本能反應以前，首先花點時間換位思考一下，或許他們以爲你誤解了他們的工做。把一些次要的細節誇大了，或者在以前的評審內容中你的用詞很消極甚至粗魯，又或者他們沒有意識到他們的用詞有所冒犯，可能由於英語不是他們的母語。試着略過憤怒的回覆，對文章內容持客觀的態度。他們是否在乎你以前評論的內容並在這一版本中加以修改？仍是選擇忽視你和其餘審稿人的反饋信息？若是他們確實改進了文章，學作一個胸懷寬廣的人，不要在乎他們回覆中不友善的語氣。

常見的錯誤

上一節中描述了不適合做爲拒絕論文理由的一些簡單的審稿意見。在本節中，咱們列出了一些審稿人一般會犯的更復雜的錯誤：

譯者注：加粗文本表示常見的錯誤的作法或觀點

• 審閱你認爲的理想化論文版本，而不是審閱做者提交的論文版本。在審稿時，咱們很容易閱讀一篇已提交論文的字裏行間，特別是當論文涉及到你本身曾經思考過甚至工做過的領域的時候，你可能會發現本身在填補空白，以特定的方式解釋結果，或者基於本身的背景去贊同或不贊同特定的設計選擇。這會同時產生消極與積極的結果。記住，實際提交的纔是做者的版本，雖然它能夠根據審稿人的反饋進行改進，但它可能永遠不會符合你的理想化論文版本。審閱手邊的論文，而不是夢。
• 過分校準。全部審稿人（尤爲是新審稿人）都應該經過閱讀其餘審稿人對同一篇論文的評價和評分來校準他們的意見。這對審稿人羣體起到了很好的教育做用。許多會議容許審稿人在作出審稿決定並通知做者以前，互相閱讀審稿意見。這樣就能夠對當前論文的審稿意見進行校準，但也可能對審稿過程當中的思想交流產生不利影響。更具體地說，有時您的評價和評分可能與其餘審稿人不一致。一個常見的反應是想要經過將你本身的審稿評分匆忙修改成更接近於廣泛共識的審稿評分來順應其餘審稿人。這種現象一般致使評分向中間值趨近：高度負面的評分被提升，而高度正面的評分被下降。然而，在你詳細閱讀審稿評分相應的審稿意見以前，要避免毫無心識地改變你的審稿評分（尤爲是下降評分）。若是其餘審稿人發現你徹底缺乏一些優勢或缺點，必定要繼續修改你的分數（並更新你的審稿意見）。另外一方面，若是他們只是對你已經意識到的問題的嚴重性有不一樣的見解，考慮保持你的審稿評分不變。尤爲是對非傳統的論文，須要更多的捍衛者願意在評審過程當中爲其自告奮勇。
• 粗魯或惡毒。在一篇評論論文中，沒有理由表現得粗魯或使人討厭（即便是公然抄襲，有更好的方法來處理這種狀況）。記住，在審稿過程的另外一端，會有另外一我的閱讀你的論文。一般論文做者中至少有一位是學生，或許就像你剛開始作研究同樣，粗魯、惡毒的評論會對他們產生惡劣的影響。另外一些人則但願他們能獲得一份新的工做，新的晉升，新的撥款，或者僅僅是一個參加特定會議的理由。這樣易受影響的做者很容易把嚴厲的拒絕看成對本身工做的人身攻擊。在一篇審稿中，一個特別使人討厭的表達會讓學生流淚，甚至讓學生徹底放棄研究，這並很多見。即便你想建議拒絕一篇論文，也有不少方法能夠寫出這樣的評論，而不訴諸於傷害性或人身攻擊。
• 不靈活（「老古板」綜合症）。有時一個審稿人會被證實是錯的。你可能只是誤解了論文的關鍵部分，以錯誤的理由建議接受或（更有可能）拒絕它。多是做者本身在對您的審稿意見的迴應中向您指出了這一點，也多是其餘審稿人或編輯/程序委員會成員告訴您的。若是發生這種狀況，請保持開放的心態並準備好改變你的觀點。人們以爲本身的職業聲譽有朝不保夕的趨勢，因此不得不堅持本身的立場，但這是雙盲評審的部分緣由。你能夠很容易改變主意而又不丟臉。沒有人會知道，而且你會由於作了這件事而變得更強大。
• 指望完美。沒有一份論文是完美的。Tamara Munzner 將科學描述爲「經過紙張大小的單元進行的對話」。基於這個比喻，對於每個紙張大小的單元來講，若是它在某種程度上推進了對話，那麼它應該被看做是有價值的（並被接受出版）。在這個前提下，不能要求每一篇論文都是天衣無縫的。由於這個過程是一個對話（有不少參與者），因此只要每句話都能提供一些別人能夠利用、糾正或使用的東西，這就足夠了。每次當你由於瑣碎或次要的細節而拒絕論文時，都要記起這個對話的概念。若是這篇論文頗有意義，儘管它有一些小瑕疵，你或許也該接受它？
  https://tamaramunzner.wordpress.com/2016/01/16/on-Conventions-between-fields-in-Experiment-Design-and-Analysis/
  
• 審稿的對象是做者，而不是這篇論文。避免使用「做者」(「the authors")做爲代詞，而使用「論文」(「the paper」)。例如，能夠說「論文未能糾正成對比較……」而不是「做者未能糾正成對比較……」。後者將責任推給做者本人，而前者則代表批評是針對論文自己的。這使你的評論在語氣上少了不少我的色彩，並使做者更容易將本身與論文中的錯誤區分開。
• 審稿時考慮論文做者的其餘工做，而不是隻考慮這篇論文。知道做者的姓名會使你很難區分你對做者如今提交的論文的見解和對其他做品的綜合見解。即便你對其中一位或幾位做者有很高的評價，在審閱他們提交的新論文時也要儘可能忽略這一背景。即便是知名的研究人員，有時也會進行糟糕的研究或撰寫糟糕的論文。再次強調，審閱手邊的論文，而不是夢（或人）。

對本身的提問

最後，在結束審稿後，必定要讓本身回答下面的問題：

• 你相信這篇論文的貢獻嗎？太多的時候，沒有經驗的審稿人由於一些小問題而拒絕一篇工做，而這些小問題並不真正影響總體工做。真正的問題是你是否相信這篇論文的貢獻。若是相信的話，這項工做極可能會被接受。例如，一篇描述很酷的新系統的論文，其用戶研究有瑕疵，但可能仍然值得發表。只要其用戶研究不做爲阻礙或樹立一個危險的先例，也許新系統和新想法應該佔上風？
  
• 你在小題大作嗎？有時候，對一篇論文的主要批評其實是大範圍內的一個小細節。新審稿人特別容易犯這個錯誤，由於他們每每缺少看得更廣的能力。問問你本身，非最佳的色彩比例，缺失用戶研究細節，或者糟糕的用戶界面設計，對論文的總體信息到底有多重要。在你的審稿意見中有針對性的評論可能就足夠了，更好的選擇是將改正這些問題做爲論文接受的條件！
• 發表這篇論文會不會很尷尬？最重要的是，不要傷害要求你進行審閱的會議或期刊。若是你在你所在領域的會議或期刊上看到這篇論文會令你感到難爲情，你絕對應該拒絕它。即便同行評審過程是匿名的，聽到別人憤怒地談論你在會議或期刊上接受的那篇糟糕的論文也是不愉快的。請注意，我這裏所說的「尷尬」並非指論文的主題——任何主題只要適合通常的研究領域就能夠——而是指論文的質量是否足夠高，是否有致命的缺陷。通常來講，你不該該僅僅由於論文的內容讓你感到尷尬而拒絕它，即便它違背了你的原則，或者讓你感到不舒服。你應該是一個客觀的科學家，記得嗎？
• 你會錯嗎？你絕對確定你的審稿意見真實，你對問題和解決方案的見解是正確的嗎？你肯定你在這方面有足夠的專業知識來提出強有力的建議嗎？再次提醒，若是你不能百分之百肯定本身是對的，那麼在使用最強有力的攻擊言論時必定要當心。不然，若是你被證實是錯的，這將是使人尷尬的（無論是否匿名）。
• 若是你本身收到這篇評論，你會生氣嗎？這確實是一篇好審稿意見的試金石。若是另外一個審稿人把你所提供的反饋給了你，你會不高興嗎？我並非指評審的結果——每一個人在論文被拒絕時都會感到沮喪——而是指你寫審稿意見的方式。在建議拒絕的同時，儘量保持禮貌、友好和鼓勵。

總結

在讀完上文列出的常見意見，錯誤和問題後，你可能會以爲我幾乎拿走了你兵工廠裏的全部武器。若是我不能對稿件的合適性、新穎性、長度、範圍和相關性發表評論，我怎麼能拒絕一篇論文呢？答案是，你固然能夠根據這些標準中的任何一條來拒絕一篇論文。例如，對於某個研究領域來講，一些明顯偏離主題的論文應該被當即否決。有些論文絕對須要用戶研究來驗證他們的貢獻。若是以前的工做是論文主題的核心，不引用以前的工做固然是拒絕的理由。傲慢的做者故意侮辱他們的審稿人，並拒絕聽取反饋意見，應該被拒絕。這樣的例子不勝枚舉。

相反，我寫這篇指南的目的是迫使您對本身的觀點進行更深刻的思考和檢討，並指出審稿人容易犯的常見錯誤。從本質上講，同行評議是一種不完善的機制，沒法根據高度主觀和我的的過程作出客觀決定。畢竟，正如本文前面所述，當您被要求撰寫審稿意見時，您被委託根據本身的專業知識、經驗和觀點對一篇科學論文進行判斷。我只是但願你盡全力從而不辜負被信任。記住《蜘蛛俠》裏的本叔叔(Ben)的話：能力越大，責任越大。

本期責任編輯：丁 效

本期編輯：顧宇軒