瑞典皇家科學院當地時間10月8日宣布,将2024年諾貝爾實體學獎授予約翰·J·霍普菲爾德(John J. Hopfield)和傑弗裡·E·辛頓(Geoffrey E. Hinton),表彰他們在使用人工神經網絡進行機器學習的基礎性發現和發明。
1947年,辛頓出生在英國倫敦。20世紀70年代初,辛頓在英國愛丁堡大學讀研究所學生時開始研究神經網絡。《紐約時報》指出,當時幾乎沒有多少研究人員相信這個想法。
1978年,辛頓獲得愛丁堡大學博士學位,如今他在加拿大多倫多大學擔任教授。
2019年,辛頓與蒙特利爾大學計算機科學教授約舒亞·本希奧以及紐約大學教授楊立昆一起獲得了被稱為“計算機界的諾貝爾獎”——圖靈獎,以表彰他們在人工智能深度學習方面的工作。
這三位科學家被并稱為“深度學習三巨頭”,辛頓也被外界稱為當代人工智能的“教父”。
《連線》雜志和《紐約時報》的知名記者凱德·梅茨在《深度學習革命》一書中,回顧了深度學習革命及其背後的企業家、科學家如何穿越人工智能的寒冬,将深度學習帶給全世界。傑弗裡·辛頓無疑是其中最重要的人物之一。
《深度學習革命》
他因腰椎間盤問題多年未坐下,在多倫多大學用站立式辦公桌。2012 年,他和學生打造的神經網絡取得突破,改變了機器看待世界的方式。随後他在學生遊說下創立 DNNresearch 公司,中國公司出價收購,引發百度、谷歌等 4 家公司競拍。
競拍在太浩湖的哈拉斯賭場酒店進行,最終谷歌以 4400 萬美元收購。辛頓選擇谷歌是為研究找到合适歸宿。他的故事反映了神經網絡技術的發展曆程以及在科技行業引發的 “全球軍備競賽”。
以下就是《深度學習革命》一書中的精彩故事。
當傑弗裡·辛頓在多倫多市區登上開往太浩湖的公共汽車時,他已經有7年時間沒有坐下來過了。
他經常說:“我上一次坐下來是在2005年,那是一個錯誤。”十幾歲時,他在給母親搬取暖器的時候第一次受了傷。到了50多歲,他如果要坐下來,就要冒着腰椎間盤滑脫的風險,而一旦腰椎間盤滑脫了,疼痛會使他卧床數周。
是以,他不再坐下。
他在多倫多大學的辦公室裡用的是一張站立式辦公桌。吃飯的時候,他就跪在桌旁的一個小泡沫墊闆上,泰然自若,像一位祭壇旁的僧人。乘坐汽車的時候,他會躺在後座上。如果是長途旅行,他就乘火車。
他不能乘飛機,至少不能搭乘商業航空公司的飛機,因為這些飛機在起飛和降落時要求乘客保持坐姿。他說:“我每天都很煎熬,情況發展到了可能會癱瘓的地步,是以我很認真地對待這件事。”
那年秋天,他躺在公共汽車的後座上奔赴紐約,再乘火車一路前往位于加利福尼亞州特拉基的内華達山脈頂峰,然後在計程車的後座上伸直雙腿,30分鐘後,他抵達了太浩湖。之後,他創立了一家新公司。
公司的創始人還包括另外兩個人,他們是在他大學實驗室裡做研究的年輕研究所學生。這家公司不生産任何産品,也沒有生産産品的計劃。公司的網站上隻提供了一個名字——DNNresearch,這個名字比這個網站還缺乏吸引力。
當時64歲的辛頓在學術界看來很自在,他留着一頭亂蓬蓬的白發,穿着羊毛衫,有幽默感,在這兩名學生的遊說之下,他才決定創立這家公司。
但當他抵達太浩湖時,中國最大的科技公司之一已經出價1200萬美元,要收購他剛剛起步的公司,另外三家公司也很快加入競拍,其中包括兩家美國最大的科技公司。
辛頓去了哈拉斯和哈維斯,這兩家高聳的賭場酒店位于太浩湖南邊的滑雪山腳下。
2012年12月,那裡舉辦了一場名為NIPS的計算機科學家年度聚會。NIPS的全稱是“神經資訊處理系統”,盡管從名稱上看是要深入研究計算機的未來,但NIPS其實是一個專注于人工智能的會議。
但這次不同。雖然那家中國公司已經鎖定了對DNNresearch的興趣,但他知道其他人也感興趣,NIPS似乎是一個理想的拍賣場所。
兩個月之前,辛頓和他的學生改變了機器看待世界的方式。他們已經打造了所謂的“神經網絡”,即一個模仿大腦神經元網絡的數學系統,它能夠以前所未有的準确度識别常見的物體,比如花朵、小狗和汽車。
辛頓和他的學生展示出,神經網絡可以通過分析大量的資料來學習這種非常人性化的技能。他稱之為“深度學習”,其潛力巨大。這項技術不僅會改變計算機視覺,還會改變一切,從可對話式數字助理到自動駕駛汽車,再到新藥研發。
神經網絡的概念可以追溯到20世紀50年代,但是早期的開拓者從未讓這項技術像他們希望的那樣工作。
到了21世紀,大多數研究人員都放棄了這項技術,認為這是一條技術上的死胡同,并對研究人員在過去50年間試圖讓數學系統以某種方式模仿人類大腦的自負探索感到困惑。
當那些仍然在探索這項技術的研究員向學術期刊送出論文時,他們通常會将研究僞裝成其他東西,用不太會冒犯其他科學家同行的語言來代替神經網絡這個詞。但是,仍然有少數人相信這項技術終有兌現預期的那一天,辛頓就是其中之一。
他設計的機器不僅能識别物體,還能識别口語詞彙、了解自然語言并進行對話,甚至可能解決人類自己無法解決的問題,為探索生物學、醫學、地質學和其他科學的奧秘提供了創新的、更精确的方法。
在自己的科研成果發表後不久,辛頓收到了一封電子郵件,來自一位名叫餘凱的人工智能研究員,他當時在中國科技巨頭百度公司工作。
表面上看,辛頓和餘凱沒有什麼共同之處。
辛頓出生于戰後英國的一個著名的科學家家庭,這一家人的影響力與自身的怪癖相得益彰。辛頓曾在劍橋大學學習,在愛丁堡大學獲得人工智能博士學位,并在接下來的30年裡擔任計算機科學教授。
餘凱出生的時間比辛頓晚30年,他在中國長大,父親是一名汽車工程師,餘凱先後在中國南京和德國慕尼黑讀書,然後去了美國矽谷的一家企業研究實驗室工作。
這兩個人的階級、年齡、文化、語言和地域各不相同,但他們擁有一個共同的興趣:神經網絡。他們最早是在加拿大的一場學術研讨會上認識的,旨在重振這個在科學界幾乎處于休眠狀态的研究領域,并将這一想法重新命名為“深度學習”。
餘凱是參與傳播這一信仰的人之一。回到中國之後,他把這個想法帶到了百度,在那裡,他的研究引起了公司首席執行官的注意。當辛頓這篇長達9頁的論文在多倫多大學發表時,餘凱告訴百度的智囊團,他們應該盡快招募辛頓。
在郵件中,他将辛頓介紹給了百度的一位副總裁,這位副總裁為辛頓短短幾年的工作成果報價1200萬美元。
起初,辛頓在北京的這家“追求者”認為雙方已經達成了協定,但辛頓并不是那麼确定。最近幾個月,與他建立聯系的還有其他幾家公司,規模有大有小,其中包括百度的兩個美國大型競争對手。
這些公司也打電話到辛頓在多倫多大學的辦公室,詢問需要支付多大的代價才能招募他及他的學生。看到了更多的機會之後,他問百度,在接受其1200萬美元的報價之前,他是否可以尋求其他的報價,百度同意了。
于是,他徹底扭轉了形勢。在學生的啟發下,他意識到百度及其競争對手更有可能花巨資收購一家公司,而不是花同樣的錢從學術界招募幾名新員工。
于是他創立了一家自己的小公司,命名為DNNresearch,以呼應他們專注研究的“深度神經網絡”(Deep Neural Networks)。
他還咨詢了多倫多的一名律師,關于如何讓一家僅有三名員工、沒有産品、幾乎沒有經營記錄的初創公司的價格最大化。
在這位律師看來,他有兩個選擇:一是可以聘請一名專業的談判代表,但這樣做存在一定的風險,可能會激怒那些預期的潛在收購方;二是可以組織一場拍賣活動。辛頓選擇了拍賣。
最終,4家公司加入了對他的新公司的競拍:百度、谷歌、微軟和DeepMind。當時,DeepMind是一家成立僅兩年的世界上大多數人從未聽說過的初創公司,它即将成為這個時代最著名且最有影響力的人工智能實驗室。
辛頓在哈拉斯賭場酒店的房間裡進行拍賣,這裡可以俯瞰内華達州的松樹和白雪皚皚的山峰。
拍賣規則很簡單:每次拍賣開始之後,這4家公司有一個小時的時間将報價提高至少100萬美元。這一個小時的倒計時以最新報價的電子郵件時間戳為準,一個小時之後,如果沒有新的報價出現,當天的拍賣就結束。
DeepMind用公司股份報價,而不用現金,但它無法與科技領域的巨頭們競争,很快就退出了。百度、谷歌和微軟留了下來。随着報價不斷攀升,先是1500萬美元,然後是2000萬美元,微軟也退出了,但後來又重新回來。
報價到2200萬美元時,辛頓暫停了拍賣,他與其中一名競拍者進行了讨論,半個小時之後,微軟再次退出。現在,就剩下百度和谷歌了,随着時間的推移,兩家公司的報價更高了。
最初是由餘凱為百度報價,但當價格達到2400萬美元時,一名百度的高管從北京接手了。
他們很快就意識到百度願意出更高的價格:2500萬美元、3000萬美元、3500萬美元。不可避免的是,下一次報價要到一個小時倒計時終止前的一兩分鐘才會出現,這使得原本接近尾聲的拍賣再次被拉長。
價格攀升到如此之高,辛頓于是把報價的視窗時間從一個小時縮短到30分鐘。報價迅速攀升至4000萬美元、4100萬美元、4200萬美元、4300萬美元。
最終,辛頓終止了拍賣,因為對他來說,為自己的研究找到合适的歸宿比最終獲得最高的價格更重要。當他告訴谷歌的報價者他接受4400萬美元的價格時,他們認為這是在開玩笑,因為他們覺得他不可能放棄仍然在不斷攀升的報價。
但是,辛頓沒有意識到他們的想法有多大的價值。沒人知道。在這4家公司裡散布着一小批科學家,辛頓及其學生們與他們一起,很快就将這個單一的想法推向了科技行業的中心。
在此過程中,他們突然戲劇性地加速了人工智能的進步,包括可對話式數字助理、自動駕駛汽車、機器人、自動化醫療健康,以及自動化戰争和監控(盡管這二者從來不是他們的目的)。