或許你不該過度相信五分之四的牙醫的說法？一項新研究（當然）發現，即使是同一領域的專家，對於哪些研究最重要也存在分歧。一方面，這聽起來顯而易見——專家意見不一致。另一方面，這也表明，即使是科學家也無法準確定義什麼是偉大的科學。這項新研究也發現，科學家很容易受到論文發表期刊聲望的影響。
「評估其價值非常困難。我們都像是在迷霧中摸索，」英國蘇塞克斯大學的生物學家亞當·艾爾-沃克告訴《大眾科學》雜誌。
艾爾-沃克和她的同事妮娜·斯托萊茨基分析了6000多篇已發表的論文，這些論文都經過了專家在發表後的評審。這些論文來自兩個資料庫。一個是研究資助機構惠康基金會的資料庫，該基金會要求專家在論文發表後對其進行評審。另一個是Faculty of 1000網站，生物學家可以在網站上發布他們喜歡的論文，進行評分並進行討論。在這兩個資料庫中，艾爾-沃克和斯托萊茨基發現，科學家在評估同一篇論文時，給出相同分數的機率並沒有比隨機機率高出多少。
研究人員也發現，審查者的評分過於依賴論文發表期刊的聲望。即使兩篇論文在其他衡量標準（例如被其他科學家引用的頻率）上不相上下，科學家也會給發表在聲望更高的期刊上的論文更高的評價。
「論文在哪裡發表有很大的隨機性，」艾爾-沃克說。
英國政府定期邀請外部專家審查已發表的政府資助研究論文，以確保資金用在了正確的地方。艾爾-沃克和斯托萊茨基想探究這種做法是否值得。美國沒有類似的計劃，但這兩位生物學家的研究結果卻具有超越英國的意義：他們的研究表明，論文發表前的專家評審可能同樣存在許多問題。 「我們的推論是，在論文發表前評估其價值或重要性時，同樣會存在大量誤差，」艾爾-沃克說。
論文發表前的同儕審查是世界各地科學研究的核心環節。許多科學家認為這個過程還有改進的空間，因此看到一些相關的數學論證很有意思。
需要注意的是：儘管艾爾-沃克和斯托萊茨基並未對此進行評估，但艾爾-沃克認為專家們很擅長判斷一篇論文的真實性和準確性。然而，研究成果能否在期刊上發表，往往不只取決於準確性。期刊的專家審查者必須認為論文重要或有趣，尤其是在《自然》或《科學》等頂尖期刊發表論文時。但艾爾-沃克的研究顯示——就像你沒考上常春藤盟校時朋友們告訴你的那樣——在頂級期刊上發表論文有點像碰運氣。
「論文最終發表在哪裡有很大的隨機性，」他說。 “可能有兩篇質量相當的論文，其中一篇運氣好，所有審稿人都認為它很棒”，而另一篇就沒那麼幸運了。
艾爾-沃克提出了一個解決方案。 「你應該資助並發表各種類型的科學研究，無論你認為它們是否有趣，」他說。同時，在與艾爾-沃克的研究同期發表的一篇評論文章中，一群科學家和出版商認為，科學需要一些更好的衡量標準來界定什麼是偉大的研究。
至少有一家主流期刊採納了艾爾-沃克的建議。 《PLOS ONE》是開放取用出版商公共科學圖書館（PLOS）的旗艦期刊，承諾發表所有「技術上無可指摘」的論文，而不評估論文是否有趣或重要。艾爾-沃克和斯托萊茨基則將他們的研究成果發表在了《PLOS Biology》上，該期刊也出自同一出版商，但會對論文的重要性做出評判。
