整理 | 屠敏
出品 | CSDN(ID:CSDNnews)
這兩天,随着諾貝爾獎項的頒布,科技圈“炸開鍋”,不是質疑獲獎者自身的能力,而是好奇為什麼諾貝爾獎都開始向 AI 技術傾斜。
對于這一趨勢,甚至有人大膽開麥,開啟預測模式,稱即将于今晚、明晚以及下周頒發的 2024 年諾貝爾文學獎、和平獎和經濟學獎中,必有 ChatGPT 的歸處。
2024 年諾貝爾實體學獎頒發給了機器學習先驅
做出這樣的猜測,其實也不是沒有原因的。
2024 年 10 月 8 日,瑞典皇家科學院宣布,将 2024 年諾貝爾實體學獎授予 John J. Hopfield 和 Geoffrey E. Hinton,以表彰他們利用人工神經網絡實作機器學習的奠基性發現和發明。
這一獎項的頒發,不少人提出疑問:實體學與機器學習是怎麼跨越了鴻溝,聯系到了一起?不止外界,就連獲獎者 Hinton 自己都覺得有些意外。
通過 YouTube 直播的諾貝爾獎頒發的新聞釋出會上,瑞典皇家科學院成員與 Hinton 進行了通話。在知道自己獲獎後,Hinton 表示,“我驚呆了。我不知道會發生這種事。我感到非常驚訝。”
從諾貝爾委員會的角度來看,授獎的主要原因在于兩位獲獎者的研究源自實體學中使用的統計模型,并且部分是對使用他們的神經網絡技術作為研究工具推動實體學研究的認可。
諾貝爾獎評獎委員會表示:“今年實體學獎得主取得的突破建立在實體科學的基礎上。他們為我們展示了一種全新的方式,讓我們能夠利用計算機來幫助和指導我們,應對社會面臨的許多挑戰。”
獲獎者之一、今年 91 歲的 John J. Hopfield 是一位擁有實體學背景的理論生物學家。據《Nature》報道,他在 1982 年取得了突破,開發了一種稱為“霍普菲爾德網絡”的模型。
這種網絡基于實體學中的一些概念,特别是與材料中原子自旋相關的行為原理。簡單來說,霍普菲爾德網絡通過存儲資訊為“低能狀态”來工作,這意味着它可以記住特定的模式。當系統接收到類似的提示時,它能夠重新生成這些存儲的模式。這個過程類似于大腦如何通過聯想記憶回憶出單詞或概念。
不止于此,Hopfield 的影響力跨越多個領域,他的早期研究将實體學、生物學和計算相結合。除了著名的霍普菲爾德網絡,他還在了解神經系統如何處理和存儲資訊方面取得了重要進展,推動了早期對類腦計算的理論發展。
相較之下,另一位諾貝爾實體學獎得主 Hinton 更是被科技圈熟知。
今年 76 歲的 Hinton 在 20 世紀 80 年代初基于 Hopfield 的研究進行了拓展,開發了一種基于新方法的網絡:玻爾茲曼機(Boltzmann Machine)。該網絡可以學習識别某一類資料中具有特征的元素。
Hinton 使用了統計實體學的工具,這是研究由許多相似組分組成的系統的科學。玻爾茲曼機通過輸入在機器運作時非常可能出現的示例進行訓練。它可以用于對圖像進行分類或建立與其訓練模式相似的新示例。Hinton 在此基礎上繼續研究,推動了目前機器學習爆炸式的發展。
1987 年,Hinton 與 David Rumelhart、Ronald J. Williams 一起引起了人們對反向傳播算法的關注,這是一種用于訓練神經網絡的關鍵方法,也是如今生成式 AI 模型的基礎。
2012 年,Hinton 與 Alex Krizhevsky 和 Ilya Sutskever 合作開發了 AlexNet,這一在計算機視覺和深度學習領域的創新被廣泛認為是開啟了當今生成式 AI 時代的重要裡程碑。
2018 年,Hinton 與 Yoshua Bengio、Yann LeCun 共同獲得了被譽為“計算機界諾貝爾獎”的圖靈獎。他常被稱為“AI 教父”之一,此前也任職于 Google。
2023 年 5 月,因為對生成式 AI 感到擔憂,他選擇從谷歌辭職,以便能夠“暢所欲言”地談論人工智能系統的潛在風險。
當時,Hinton 表示,科技行業開發人工智能産品的動力可能會導緻危險的後果,比如對人類的威脅。離職的當月底,Hinton 與另外近 400 名 AI 專家簽署了一份 22 個字的聲明——“減輕 AI 帶來的滅絕風險應該與流行病和核戰争等其他社會規模的風險一起成為全球優先事項”,向外界警告 AI 可能滅絕人類!
紛紛祝賀!
獲獎之後,不少大佬紛紛送上祝賀。
Google AI 掌門人 Jeff Dean 發文表示:“祝賀我的好朋友兼前谷歌同僚 Geoff Hinton 獲得今年的諾貝爾實體學獎(與 John Hopfield 一起)! 随着神經網絡應用于越來越多的領域,Geoff 對許多科學領域的影響持續增長。”
随後,他還分享了一張 Hinton 和他的學生們一起開香槟的照片。
圖靈獎得主 Yann LeCun 也在第一時間祝賀道:
恭喜 John 和 Geoff!
兩位都是我的前同僚。我曾在多倫多 Geoff 的實驗室讀博士後。之後,我加入了貝爾實驗室(Bell Labs),John 當時在那裡擔任兼職科學家(也是加州理工學院的教授)。事實上,我加入的部門會研究神經網絡就是因為 John。
我第一次見到他們兩人是在 1985 年。1985 年初,我在萊蘇什 (Les Houches) 的一個研讨會上認識了 John。1985 年 6 月,我在巴黎的 Cognitiva 會議上認識了 Geoff。
質疑聲此起彼伏,LSTM 之父:他們不配拿獎
不過,争議也随之而來。有人認為,因為機器學習等計算機科學領域的研究而獲得諾貝爾實體學獎,這看起來有些不尋常。
對此,德國實體學家 Sabine Hossenfelder 直言,“2024 年諾貝爾實體學獎沒有頒給實體學家……”
随後,“生成式人工智能之父”、LSTM 之父 Jürgen Schmidhuber 也在社交媒體 X 上發長文分享了自己的看法,其更是怒斥 Hopfield 和 Hinton 不配拿獎。
在 Jürgen Schmidhuber 看來,2024 年諾貝爾實體學獎授予霍普菲爾德(Hopfield)和辛頓(Hinton)的工作實際上是獎勵了剽竊和錯誤歸屬,尤其是在計算機科學領域。這主要涉及 Shun-Ichi Amari 的“霍普菲爾德網絡”和“玻爾茲曼機”。
Jürgen Schmidhuber 列了四點來佐證自己的說法:
- 1925 年,Lenz-Ising 釋出了一種包含類神經元元素的循環架構。1972 年,Shun-Ichi Amari 使其具備自适應性,能夠通過改變連接配接權重來學習将輸入模式與輸出模式關聯起來。然而,在 2024 年諾貝爾實體學獎的“科學背景”中,Amari 隻被簡短地提及了一下。不幸的是,Amari 的網絡後來被稱為“霍普菲爾德網絡”。Hopfield 在十年後重新發表了這個網絡[注 AMH2],但沒有引用 Amari 的研究,甚至在後續論文中也沒有提及。
- Ackley、Hinton 和 Sejnowski 在 1985 年發表的關于玻爾茲曼機的論文,涉及神經網絡中隐藏單元的内部表示學習。然而,該論文并未引用 Ivakhnenko 和 Lapa(烏克蘭,1965年)提出的第一個關于深度學習内部表示的工作算法,也未引用 Amari 在 1967-68 年期間的獨立研究,該研究使用随機梯度下降(SGD)端到端地訓練深度神經網絡的内部表示。即便是在後來的綜述文章中,以及 2024 年諾貝爾實體學獎的“科學背景”中,也未提及深度學習的這些起源。此外,玻爾茲曼機的論文也沒有引用 Sherrington & Kirkpatrick 和 Glauber 的相關前期工作。
- 諾貝爾委員會還贊揚了 Hinton 等人 2006 年提出的深度神經網絡逐層預訓練方法。然而,該工作既未引用 Ivakhnenko 和 Lapa 在 1965 年提出的逐層訓練深度神經網絡的原始工作,也未引用 1991 年關于無監督預訓練深度神經網絡的原創工作[DLP]。
- “普及資訊”中提到:“在 20 世紀 60 年代末,一些令人沮喪的理論結果使得許多研究人員懷疑這些神經網絡永遠不會有實際用途。”然而,顯然在 20 世紀 60 至 70 年代,深度學習研究在非英語國家仍然非常活躍。
評論區網友評論道,“Hinton 獲得實體學獎就像你獲得奧林匹亞先生獎一樣,實至名歸,但有些不合時宜,也不太合理。”
還有人預測,諾貝爾獎要是這麼頒,那我可以猜測,化學諾貝爾獎頒給了 Deepmind 的蛋白質折疊了?
萬萬沒想到,一語成谶。
諾貝爾化學獎也頒給了 AI
就在昨晚,瑞典皇家科學院決定将 2024 年諾貝爾化學獎的一半授予大衛·貝克(David Baker),以表彰他在“計算蛋白質設計”方面的貢獻,并将另一半授予戴密斯·哈薩比斯(Demis Hassabis)和約翰·M·詹伯(John M. Jumper),以表彰他們在“蛋白質結構預測”方面的貢獻。
Demis Hassabis 是 DeepMind 的聯合創始人兼 CEO,而 John Jumper 擔任 DeepMind 主管一職。
諾貝爾委員會表示:“該團隊将 AlphaFold2 訓練在所有已知蛋白質結構和氨基酸序列的龐大資料庫上,新的 AI 架構開始産生了良好的結果。”
當 AlphaFold2 參加 2020 年“蛋白質結構預測的關鍵評估”(CASP)競賽時,它的表現幾乎與 X 射線晶體學(過去預測蛋白質結構的黃金标準)一樣好。“過去,要獲得蛋白質結構可能需要數年時間,有時甚至根本無法實作。現在,這個過程隻需幾分鐘。”委員會補充道。
Jumper 在加入 DeepMind 公司時,Google 已經開發了初代 AlphaFold,雖然它改進了之前的 CASP 結果,但準确率仍隻有約 60%。諾貝爾委員會表示,該團隊利用 AI 最近取得的巨大突破:名為 Transformers 的神經網絡。現在第二代 AlphaFold 模型可以預測幾乎所有已知的蛋白質結構,總數超過 2 億。
不過,雖然 AlphaFold 在幫助人類更好地預測蛋白質形狀方面非常重要,而蛋白質的形狀對其功能至關重要,但它無法開發藥物或創造新事物。
這時,由華盛頓大學生物化學教授大衛·貝克(David Baker)設計的 Rosetta 軟體就派上了用場。
貝克在 1990 年代開發了自己的蛋白質預測軟體 Rosetta。諾貝爾委員會表示,Rosetta 在 1998 年 CASP 競賽中表現優異,“與其他參賽者相比表現良好”。比賽結束後,貝克和他的團隊有了一個想法:反向使用軟體——不是用氨基酸序列預測蛋白質的形狀,而是輸入想要的蛋白質形狀,看看能否由此推測出合适的氨基酸序列來創造它。最終獲得了成功,還促進了 Top7 蛋白的誕生。
寫在最後
毫無疑問,即使有争議,但是諾貝爾實體學獎和化學獎最大的赢家都是 AI。
至于文章伊始網友調侃的「諾貝爾文學家将會是 ChatGPT」的說法,其回複道:“自己離諾貝爾文學獎還很遙遠!”
此外,它對今年的諾貝爾文學獎的候選人進行了一波預測:
參考:
https://www.theregister.com/2024/10/09/alphafold_rosetta_nobel_chemistry_prize/
https://x.com/ylecun/status/1843781669460816302
https://x.com/SchmidhuberAI/status/1844022724328394780