王峰随筆：關于深度學習之父辛頓、諾貝爾獎和大科學家的好事多磨

更新/今天聊聊傑弗裡.辛頓和諾貝爾實體學獎。順便扯的遠一點。

辛頓是人工智能領域沒有争議的“深度學習之父”。他的根本貢獻來自于深度學習中大量使用的反向傳播算法理論。前年深秋，聖何塞，我第一次在油管上看見辛頓在接受采訪時，就被吸引住了。辛頓的樣子讓人過目不忘。像極了《木偶奇遇記》中的比諾曹，尤其像的地方，是小木人的尖鼻子。那時候，全世界都知道了OpenAI和ChatGPT。但是除了AI圈，卻少有人知道辛頓的名字。

我拿比諾曹開老爺子的玩笑。

一個天真充滿好奇心的小木偶，一心想讓自己成為真人。同樣，辛頓一心想讓人工智能成為現實，也一輪被嘲笑。熟悉計算機發展史的人應該知道，人工智能領域道路崎岖，技術投入幾起幾落，從業者一路被譏笑。你去看辛頓講話的樣子，那眼神和表情，有幾分比諾曹的優雅。

諾貝爾頒獎通知電話從瑞典打來，是夜裡兩點。

斯德哥爾摩那邊的電話裡問。您在哪裡？“我在加州一家便宜的酒店裡，這裡網絡環境比較差。” 辛頓的回答有點囧。此時此刻，你得到實體學獎的感受。辛頓說以為是惡作劇開玩笑、然後用了一個詞“dream amazing”，夢一樣的驚訝。

“你怎樣描述自己？

究竟是一名計算機科學家，還是一名嘗試了解生物學的實體學家？”

辛頓并沒有在兩個簡單選擇中給出答案。

我這麼多年的觀察，凡是直接在人家給選擇題中做答案的，都不是什麼真正的強人。

無論學曆有多高，都沒有用。我們很多人非常習慣做題，一旦畢業後就進入失重狀态，有一種漂浮無力感。因為人進入到一個階段，不是做題，而是找路。現實中，絕大多數他人預設的初始問題，本身就往往是形而上學。何況人家也就是随便那麼一問，沒過太多大腦。路是自己走出來的。

辛頓說，自己是“一生都在思考人腦是怎樣工作的的人。我在試圖了解大腦是如何工作的時候找到了一種技術，效果出奇的好。”

這個回答非常漂亮。辛頓一生的努力和堅持，終讓人工智能成為現實。年輕時，辛頓在劍橋大學求學，為了搞清楚人腦如何思考，試圖同時主修實體學和生理學，一年後均放棄後，改學建築，然後放棄。一年後居然又改修哲學，兩年後和導師不合而放棄，最終得到實驗心理學學士學位。然後，畢業即失業。

很多人不知道，辛頓畢業後居然幹了一年木匠活。哈哈，前面的比諾曹埋到這裡了。

直到聽說有一個專業叫做人工智能。

辛頓果斷去愛丁堡大學，拿到人工智能博士學位，畢業後去美國卡内基梅隆（CMU）任教，“驚訝于這裡的人都在實驗室。”辛頓曾抱怨，他在英國的圈子下班就隻知道去咖啡館。最初，辛頓說在CMU幾乎沒有什麼校内交往，唯一交流的是美國另一所大學的教授，以及一位後來進入CMU的統計學專家，才可以一起讨論人工智能學術方向。找不到辦法，找不到投緣AI的人，在最無聊的時光裡，辛頓居然也去讀俄羅斯作家陀思妥耶夫斯基的《罪與罰》。

辛頓于1986年發表反向傳播算法（BP）理論。一言難盡，解釋起來要花點功夫。一句話，BP提供了深度學習在大資料集上訓練上的能力，無論是圖像識别、語音識别還是自然語言處理，甚至能為今天十分流行的Transfomer大模型提供了未見資料場景的泛化能力。今天，OpenAI閉源的ChatGPT和Meta開源的LLaMA，開始為業界所熟悉，其實都是基于Transfomer架構上的。通過大量文本資料進行預訓練。反向傳播算法能夠在此過程中調整模型中的參數，使得模型更好地捕捉到語言統計規律。

計算機專業大學課堂的機器學習教程，反向傳播必然是重點章節。

我記得，七年前，我讀過清華大學周志華教授所著的《機器學習》（因為封面有一個西瓜，圈中人稱西瓜書）在其中一章“神經網絡”中，有專門的小節講解了“誤差逆傳播算法”，即通常我們所說的反向傳播算法（BP算法）。這一算法是神經網絡訓練中的關鍵技術，用于通過“梯度下降法”更新網絡權重，以最小化網絡的預測誤差。

相比較個人電腦、網際網路、智能手機以及雲計算等技術熱潮，同樣在計算機科學領域深耕的辛頓，和他追逐的人工智能夢，一連坐了三四十年的冷闆凳。快七十歲的時候，辛頓看見全世界的人工智能都在用自己提出的深度學習算法。

熟悉辛頓的人一定知道，OpenAI前首席科學家Ilya Sutskever是他在多倫多大學執教時期的學生，算是關門弟子。辛頓很認可這個學生的知覺和工程能力。辛頓講了一個故事，Ilya要給數學計算工具MatLab寫一個API接口，以便于把他們團隊整理複雜的資料格式一緻。老師辛頓說我們别浪費研究時間，這個工作要耗費一個月時間，學生Ilya說我今天早晨已經寫完了程式。2013年，Google收購了辛頓和Ilya共同創辦的AI初創公司DNNresearch。應該說，這家公司是辛頓研究小組的衍生物，當時正在進行圖像識别領域的機器學習研究，Google利用這項技術增強了照片搜尋等功能 。

辛頓是英國人。

很多人說英國人不行了。英國人不是日不落帝國時期的那股子勁了。今年夏天我去英國轉了一圈，倫敦的朋友提醒，小心飛車黨。說說和辛頓有關的兩所英國大學，你就知道我們不能自嗨。劍橋大學内，三一學院，僅僅在理論實體學研究中，這裡走出了牛頓、麥克斯韋和霍金，幾乎奠基夯實實體學三個重要時代。計算機領域，同樣地，國王學院中除了我們知道的徐志摩，更走出了阿蘭圖靈和辛頓。圖靈提出了著名的問題，如何測試機器有否智能？辛頓卻用一生解決問題。2018年，辛頓和另外兩位人工智能科學家一起拿到圖靈獎。當年的圖靈，何等天才級人物，卻承受巨大精神痛苦，啃下一口塗抹氰化鉀的蘋果就走 了。今天，英國人開始把圖靈的肖像印到50英磅紙币上。說回來，很多人對歐美人文化中三一沒有概念，還以為和三一重工意思差不多。“三一”（Trinity）在基督教教義中指的是“三位一體”，即聖父、聖子、聖靈三位一體，其實是一個純粹的神學概念。英國這些重點大學，除了教室、圖書管就是教堂，神人頻出。

辛頓在愛丁堡大學找到學術歸宿。

愛丁堡太美。神秘的黑色中世紀風，也許會促使人思考源頭和去向問題。電磁學之父麥克斯韋也是最早在愛丁堡學數學和實體的。一百年前，北大懂六門外語的辜鴻銘，上課頭戴舊式禮帽手拿茶壺，幾乎一人和五四革新派對立，他曾在愛丁堡讀的哲學博士。我們那時的北大，從校内吵到校外，既容得下革命派，也能有辜老爺子這樣的保守派。毛澤東在長沙師範讀書時期的老師，楊昌濟是愛丁堡大學哲學系畢業的，楊昌濟十分喜歡毛，後來到北大，把女兒許配給他，給毛在圖書館安排工作。毛改變了中國，毛的思想啟蒙來自于畢業于愛丁堡大學的楊昌濟。

很多人說諾貝爾獎給計算機科學家實體學獎，有點不務正業了。其實，諾貝爾獎并不是第一次給計算機領域，之前有肖克利和貝爾實驗室團隊。1958年，因為發明半導體獲獎，他的貢獻直接推動了計算機晶片技術。美國矽谷晶片行業的黃埔軍校，應該首推肖克利實驗室，因為科學家不善管理，内部分崩離析，先後出去創辦了仙童去半導體和Intel，提出摩爾定律的摩爾，是他實驗室的員工，也是著名的矽谷“八叛逆”之一。今天的英偉達和台積電，其實算是他們的徒孫輩。

科學家辛頓在Google工作了十年，做副總裁，最終離開。

并非意見不合，而是因為擔心人類無法控制AI的風險而放棄在企業中的工作，從企業裡離開，是為了可以自由地讨論人工智能的風險，而不被企業内政策限制，辛頓成為了一個人工智能領域的批評者。觀察現代曆史，我發現，真正的科學家，一旦進入商業和政治，總是充滿愛恨情仇。同樣的分歧，出現在Ilya和Altman之間，因為“天真”。請杠精們放過我，這裡我的用詞，乃是一個大大的褒義。二戰期間，實體學家奧本海默幫助美國軍方制造出原子彈，戰争結束後，卻一生都在反對繼續氫彈。他發現，自己用技術改變了世界，但是這項技術在一部分人手裡，随時能走向失控。奧本海默有很多科研成果，都能申請諾貝爾獎，但是諾貝爾獎怎麼會給一個造原子彈的人。他生命的晚景是痛苦和孤寂的。和奧本海默一樣，辛頓也是這樣的擔憂，他公開批評OpenAI對人工智能安全的漠視，是“資本主義的逐利性”。如果我們回頭看看，一百多年前科幻作家喬治奧威爾的《時間機器》，就該知道，我們今天，已經是他們筆下的科幻世界了。但是，今天的人類還能夠向前走到多遠，為何失控、幻滅和拯救一直是科幻的主旋律？

如果我寫科幻，第一個序章，就是因為兩國大戰，人類被核武器消滅，碳基生命消亡，藏于地下深處的矽基生物人利用光能源和算法，自我更新繁衍，統治地球。我們已經有的大資料，異化為矽基人血液和細胞。今天的地球文明成為星際史前。僅有少數人乘諾亞号去了火星，經過幾代人的努力，準備打回故土。

覺得劇本俗套？我是凡人。

科學是人類文明階梯以及跳躍演進中的核心元件，本無善惡。但是近代以後科學最早的應用對象，幾乎先用于軍事。

什麼是“科學之心”？我不敢下斷言。像辛頓這樣的科學家不少。他們内心幹淨，好奇心強，專注一件事從不受外界幹擾。我能感受到。大科學家，從對一件微小的事物好奇心驅使的探索之愛，最終走向對人類命運的關切之愛。頂尖思維隻來自于一個字，愛。其間，常有悲情。

我們常說，好事多磨。

但是可能，大好事要磨盡一生。