近日，Reddit社群一篇批判機器學習領域的文章引發了熱議，獲得了3.1k的贊。作者細數了機器學習領域存在的「八宗罪」，讓科研人員對機器學習大環境有了新的思考。
越來越多的科研人員都選擇進入機器學習這個領域。
科研人員進入領域時的初衷是「偉大」的：他們相信，機器學習能夠真正的改善人們的生活。是以每年機器學習有關的頂會投稿數目幾乎是成倍的增長，這些新的科研成果似乎真的能帶來一個更好的未來。
Reddit社群一位作者卻站出來說：「The machine learning community has a toxicity problem.」
細數機器學習「八宗罪」
一宗罪：同行評審過程被破壞了。
NeurIPS會議中接收的論文，每四篇就會有一篇被放在arXiv上。 有些DeepMind 的研究人員公開追究那些批評他們 ICLR 投稿的評論者。雖然審稿人對這些知名機構的arXiv論文給出了拒絕的意見，但是最後仍然被一些頂會接收。
二宗罪：成果複現引發了危機。
在測試集中調整優化超參數似乎是現在的标準做法。但是，即便使用技巧讓超參數得到了調優，性能是否真正提高是一件不置可否的事情。
三宗罪：崇拜主義問題。
和斯坦福，Google或DeepMind存在聯系的每篇論文都會得到贊譽，BERT被引用的次數是ULMfit的七倍。ICML會議上，DeepMind海報吸引力遠高于别的海報。此外，盡管NeurIPS 和ICML都是頂級ML會議，前者送出量是後者的兩倍，或許僅僅是因為「神經」這個詞語？
四宗罪：攻擊和好鬥。
前幾日Yann LeCun談論偏見和公平話題時的語氣是直率的，但是攻擊他的人的語氣卻是惡毒的，并且太多太多人選擇攻擊他而忽略了事件本身。人們或許沒有意識到，逼迫LeCun離開推特其實沒有解決任何問題。
五宗罪：逃避性别歧視和種族主義。
像其他的計算機科學學科一樣，機器學習也存在着多樣性問題。不可否認的，在我們的CS系中，隻有30％的大學生和15％的教授是女性。在博士學位或博士後休育兒假通常意味着學術生涯的結束。領域中的研究者選擇逃避來掩飾自己對種族主義或性别歧視的害怕，但是卻讓這個問題更嚴峻。
六宗罪：道德和倫理是任意設定的。
美國國内政治主導着所有讨論，包括學術界的。計算機視覺算法的資料集幾乎不涉及超10億人口的非洲人，但沒人在乎。每個人都會在研究最後說「有更深遠的影響」，但是這樣的影響往往限定在特定人群内。
七宗罪：機械性的論文發表。
研究隻是為了發表，撰寫論文的唯一目的已經變成在履歷中增加一行文字。論文品質？那是次要的，重點是通過同行評審。研究小組的人數多到導師不一定能知道每個博士生的名字，每年向NeurIPS送出50篇以上的論文已經成為某些研究人員的常态。
八宗罪：語言文明在讨論中是不存在的。
Schmidhuber稱Hinton為小偷，Gebru稱LeCun為白人至上主義者，Anandkumar稱Marcus為性别主義者。研究人員很容易受到攻擊，被套上「侮辱性」的帽子，但這甚至和研究本身無關。
「八宗罪」惹争議，網友為機器學習「辯駁」
「盲目崇拜确實存在，但我想提出另一個假設，說明Google / DeepMind 的論文為何受到更多關注：信任」。
每天都會有大量新發表的論文，是以不可能全部讀完。使用作者進行過濾是我常用的方法，盡管有偏見，但是很有效。不是說DeepMind的研究人員比其他人更有才華，但他們承擔更多的風險。
DeepMind發表的論文通常是有效的，如果論文灌水或者不可複現，那将對整個公司産生不良影響，是以，這些組織發表的論文很可能在釋出之前就經過了更嚴格的「品質控制」流程和内部同行評審。
我自己對此感到内疚，因為我定期閱讀的是arXiv送出的新文章的「标題」。
當我看到一些有趣的東西時，我會先看作者，如果是DeepMind / Google / OpenAI / etc，我會仔細看一下。如果是一群我從未聽說過的人，我就會翻篇。為什麼？因為在我看來，後一組作者更有可能「編造東西」，而且他們的錯誤沒有被注意到，因為他們沒有像DeepMind論文那樣經曆相同的内部品質控制，我更有可能收到錯的資訊。這與我崇拜DeepMind無關，由于他們的工作方式讓我更信任。
這樣做錯了嗎？也許确實有偏見，我們應該更多關注内容本身，但是有時論文太多了，誰也不想浪費時間。
也有人反駁這種偷懶的行為。「我就能不看作者，快速讀完一堆論文」。好吧，一目十行君真的有。
關于第三宗罪也有網友為Google鳴不平，BERT讓語言模型變得非常易用給其他研究者做了很多鋪墊，确實該獲得更多關注，ULMfit引用量沒BERT多也很自然。
網友@dataism和幾個小夥伴還專門寫了一篇論文讨論目前機器學習領域論文存在的幾個突出問題。
最近機器學習的進展，尤其是深度學習，引入了幾個複雜任務中超越傳統算法和人類的方法，從圖像中的物體檢測、語音識别到玩困難的戰略遊戲， 然而很多算法以及它們在現實世界中的應用，似乎存在一個循環 HARKing (結果已知然後還提出假設)。
這篇文章詳細闡述了這一現象的算法、經濟和社會原因以及後果。文中列舉了一些常見的操作，例如将負面結果隐去，不提泛化能力等等，感興趣的同學可以仔細讀一下，降低論文被拒的風險（我并不是在宣傳這些灌水技巧）。
還有一個比較熱的讨論是關于作者學校的歧視，這在學術界很普遍，尤其是在CS / ML領域。
當你身處哈佛、斯坦福，你的論文被接受的機率就會高很多。而這些名校的錄取本身就是有财富和名譽偏見的，你可以找一堆理由否認，但資料不會說謊。
如果你的父母念過斯坦福，那麼你被錄取的機率就是其他人的三倍！哈佛的情況也不例外。
- SpaceX 已将 3 萬多台 Linux 計算機送入太空
- 計算機科學家和碼農之間有什麼差別？
- 量子計算機領域内第一種進階程式設計語言 Silq 誕生
- 神經網絡原來這麼簡單，機器學習入門貼送給你 | 幹貨
- 全球TOP10超級計算機8台都選英偉達的三大原因