天天看點

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

編輯:編輯部 HYZ

【新智元導讀】諾貝爾實體學獎公布第二天,争議依然未平息。諾獎官号都被憤怒的網友沖了:AI不是實體學!Hopfield網絡和反向傳播算法究竟與實體學有何關系?這要從Hinton和Ilya 12年前的那件事說起。

昨天的諾貝爾實體學獎一公布,瞬間炸翻了實體圈和AI圈。

Hinton的第一反應更是有趣:這不會是個詐騙電話吧?

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

如此出乎意料的結果,讓各路針對諾獎實體學獎的嚴肅預測,都仿佛成了笑話。

而諾貝爾獎的官方賬号,也被網友們給沖爆了。

他們紛紛高呼:這不是實體學!

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴
解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

「資料科學或神經網絡是『用于』實體學,但絕對不『是』實體學。」

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

相比之下,AI圈則是一片其樂融融的景象。大佬們都開心地給Hinton送去了祝福。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴
解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴
解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴
解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

左右滑動檢視

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

AI教母李飛飛:AI的深遠影響,如今才剛剛開始

MIT博士生Ziming Liu直言:「Physics (Science) for AI」是一個被嚴重低估的領域。規模化可以實作一對多的效果,但唯有科學才能帶來從無到有的突破。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

Jim Fan則做了一個非常有趣的「AI-實體學對照表」:

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

想沖擊諾獎的AI學者們,你們學會了嗎

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

言歸正傳,諾貝爾實體學獎,為何要頒給AI學者?

這就要從深度學習爆發的那一年講起。

Geoffrey Hinton:2012年,深度學習的驚人革命

早在1986年,Geoffrey Hinton等人在Nature上發表的論文,就讓訓練多層神經網絡的「反向傳播算法」廣為人知。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴
當時我們很多人都相信這一定是人工智能的未來。我們成功地證明了我們一直相信的東西是正确的。

可以說,神經網絡在經曆第一波寒冬之後,自此開始重新走向AI舞台。

1989年,LeCun率先使用了反向傳播和卷積神經網絡。他也同意Hinton的看法。

我毫不懷疑,最終我們在上世紀80-90年代開發的技術将被采用。
解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

早期的圖靈三巨頭

不過,反向傳播算法引發的熱潮,随後又在1995年被統計機器學習蓋過去了。

統計機器學習的風頭興盛了很多年,即使2006年Hinton在Science上首次提出「深度學習」,業内也響應寥寥。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

直到2012年9月,一篇題為「用深度卷積神經網絡進行ImageNet圖像分類」的論文,讓此前沉寂多年的AI領域熱度驟起。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

文中提出的AlexNet深度卷積神經網絡,在當年的ImageNet比賽上以碾壓之勢奪冠,一舉将top-5錯誤率降低到了15.3%,比身後的第二名(26.2%)足足高出10多個百分點。

ImageNet資料集,正是由斯坦福李飛飛團隊在2007年建立。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

AlexNet摧枯拉朽般的大勝,讓研究人員驚歎于大型卷積深度神經網絡架構的神奇威力,這篇論文也成為深度學習和人工智能自「AI寒冬」後重新成為熱門領域的重要裡程碑。

後來人們所講的「深度學習革命」,也借此文以發端,直到十二年後的今天。

事後李飛飛這樣回顧:自2012年以來,深度學習的發展堪稱「一場驚人的革命,令人做夢都沒想到」。

自此,人們開始相信:大資料、算力、深度模型,是走向通用人工智能的關鍵三要素。

而深度模型也從最早的卷積神經網絡,疊代為遞歸神經網絡、Transformer、擴散模型,直至今天的GPT。

從生理學、哲學到AI:大腦究竟如何思考

在年輕時,為了弄清楚人類的大腦如何工作,Hinton首先來到劍橋學習生理學,而後又轉向哲學,但最終也沒有得到想要的答案。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

于是,Hinton去了愛丁堡,開始研究AI,通過模拟事物的運作,來測試理論。

「在我看來,必須有一種大腦學習的方式,顯然不是通過将各種事物程式設計到大腦中,然後使用邏輯推理。我們必須弄清楚大腦如何學會修改神經網絡中的連接配接,以便它可以做複雜的事情。」

「我總是受到關于大腦工作原理的啟發:有一堆神經元,它們執行相對簡單的操作,它們是非線性的,它們收集輸入,進行權重,然後根據權重輸入給出輸出。問題是,如何改變這些權重以使整個事情做得很好?」

某個周日,Hinton坐在辦公室,突然有人敲門。AI命運的齒輪從此轉動。

敲門的正是Ilya。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

當年青澀的Ilya

Hinton給了Ilya一篇關于反向傳播的論文,約定兩人一周後讨論。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

Ilya:I didn't understand it.

Hinton:這不就是鍊式法則嗎?

Ilya:不是,我不明白你為啥不用個更好的優化器來處理梯度?

——Hinton的眼睛亮了一下,這是他們花了好幾年時間在思考的問題。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

Ilya很早就有一種直覺:隻要把神經網絡模型做大一點,就會得到更好的效果。Hinton認為這是一種逃避,必須有新的想法或者算法才行。

但事實證明,Ilya是對的。

新的想法确實重要,比如像Transformer這樣的新架構。但實際上,當今AI的發展主要源于資料的規模和計算的規模。

2011年,Hinton帶領Ilya和另一名研究所學生James Martins,發表了一篇字元級預測的論文。他們使用維基百科訓練模型,嘗試預測下一個HTML字元。

模型首次采用了嵌入(embedding)和反向傳播,将每個符号轉換為嵌入,然後讓嵌入互相作用以預測下一個符号的嵌入,并通過反向傳播來學習資料的三元組。

當時的人們不相信模型能夠了解任何東西,但實驗結果令人震驚,模型仿佛已經學會了思考——所有資訊都被壓縮到了模型權重中。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

AI如何「蹭」上實體學

講到這裡,你可能有一個疑問:這些跟實體學有什麼關系呢?

諾獎委員會的解釋是,人工神經網絡是用實體學工具訓練的。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

Geoffrey Hinton曾以Hopfield網絡為基礎,建立了一個使用不同方法的新網絡:玻爾茲曼機。在這個過程中,Hinton使用的是統計實體學的工具,來學習和識别資料中的模式。

就這樣,AI跟實體學聯系上了。

如果講到此次另一位獲獎者John Hopfield,倒是和實體學的關系更緊密一些。

一言以蔽之,Hopfield網絡是按實體學上能量函數最小化來建構的,可以看作是實體學中「自旋玻璃模型」的擴充。

Hopfield網絡利用了材料由于其原子自旋而具有特性的實體學——這種特性使每個原子成為一個微小的磁鐵。整個網絡的描述方式等同于實體學中發現的自旋系統中的能量,并通過找到節點之間連接配接的值來訓練,使儲存的圖像具有低能量。
解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

另外,Hopfield Network和玻爾茲曼機都是基于能量的模型。

統計力學原理,便是這兩者的核心。它們都使用來自統計力學的能量函數,來模組化和解決與模式識别和資料分類相關的問題。

在前者當中,能量函數被用來尋找與所存儲的模式相對應的最穩定狀态。後者中,能量函數通過調整節點之間連接配接的權重來幫助學習資料的分布。

至此,諾獎委員會就自圓其說了。

John Hopfield:一個想法,波及三大學科

20世紀80年代初,John Hopfield在加州理工學院建立了一個簡單的計算機模型——Hopfield Network。

其行為方式不太像當時的計算機,而更像人腦。

這是因為,Hopfield Network模仿了人腦儲存資訊的結構。它由互相連接配接的節點組成,正如人腦中的神經元一樣。

節點中的連接配接強度具有可塑性,可強可弱,而強連接配接進而形成了我們所說的「記憶」。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

Hopfield學生,現Caltech計算機科學、計算與神經系統以及生物工程教授Erik Winfree解釋道:

Hopfield Network是實體學中「自旋玻璃模型」(the spin glass model)的擴充。自旋玻璃有兩種磁化狀态,可以稱之為它的「記憶」。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

Hopfield擴充了這一模型,讓其有了更複雜的連接配接模式。

簡言之,他使用一個簡單的規則,讓每對單元(每個節點)之間有不同的連接配接強度,而不再局限于兩種狀态。

他的工作證明了,這種網絡可以儲存多種複雜的模式(記憶),而且比之前的方法更接近大腦運作方式。

Hopfield以一種跨學科的視角闡述這個模型,解釋了人工神經網絡與實體學之間的聯系。

複旦大學計算機科學教授張軍平認為,Hopfield Network與實體學領域的關聯是,它的設計思路模拟了電路結構。

「假設網絡每個單元均由運算放大器和電容電阻組成,而每個單元就代表着一個神經元」。

在普林斯頓大學新聞釋出會上,Hopfield表達了同樣的觀點。他認為,長遠來看,新科學領域通常産生于,大量科學知識的交叉點上。

你必須願意在這些「縫隙」中工作,找出你的知識局限性,以及讓這些學科更豐富、更深入、更好被了解而采取的行動。
解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

來自MIT-IBM實驗室實體學家Dmitry Krotov分享了,Hopfield Network一個想法至少對三大學科産生了巨大的影響。

它們分别是,統計實體學、計算機科學和人工智能、神經科學。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

2023年,他曾發表了一篇Nature論文,對Hopfield Network在統計實體、神經科學和機器學習等多個學科中,進行了分析。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

論文位址:https://www.nature.com/articles/s42254-023-00595-y

Krotov本人也與Hopfield合作過多篇研究,是以他對Hopfield Network工作的了解再熟悉不過了。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

統計實體學

在統計實體學中,Hopfield Model成為最常被研究的哈密頓量(Hamiltonian)之一。哈密頓量在實體學中,描述了系統的總能量,是了解系統行為的關鍵。

這一模型已經催生了數以萬計的論文、幾本書籍。它為數百名實體學家進入神經科學和人工智能,提供了切入點。

就連諾貝爾獎官方給出了解釋,機器學習模型,是基于實體方程式。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

計算機科學和AI

在計算機科學中,Hopfield Network終結了AI寒冬(1974-1981),并開啟了人工神經網絡的複興。

Hopfield在1982年發表的論文,标志着現代神經網絡的開始。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

論文位址:https://www.pnas.org/doi/10.1073/pnas.79.8.2554

就連如今的頂會NeurIPS,起源可以追溯到1984-1986年在加州理工學院舉行的被稱為「Hopfests」的會議。

這個名字直接緻敬了Hopfield,彰顯了他的早期工作在神經網絡研究中的核心地位。

John Moody在1991年的NeurIPS論文集中記錄了這段曆史。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

另外,Hopfield Network成為限制玻爾茲曼機(Restricted Boltzmann Machine)發展的主要靈感來源。RBM在早期深度學習中,發揮着重要的作用。

還有基于能量的模型(Energy Based Model),代表着人工智能領域中一個重要的範式。

它也是從Hopfield基于能量和記憶的模型發展而來。

神經科學

在神經科學領域,Hopfield Network成為後來許多計算記憶模型的基礎。

它将記憶回憶概念化,即能量景觀中滾下山坡的想法,已成為神經科學中的經典隐喻。

解密諾貝爾實體學獎為啥頒給AI?Hinton12年前對話引發諾獎AI風暴

這次「諾獎風波」後,許多人也對如今的學科分類有了全新的思考。

不可否認的是,AI已經融入了全學科、全領域。

而這次諾貝爾實體學獎頒給AI,也是AI大爆發對于人類社會颠覆影響的一個真實寫照。

繼續閱讀