【人工智能行業大師訪談1】吳恩達采訪 Geoffery Hinton

來源：Coursera吳恩達深度學習課程

作為deeplearning.ai課程的一部分，Andrew希望除了教授技術理念之外，同時介紹一些深度學習的先驅給大家認識。在這個視訊中，Andrew也希望問問這些先驅們，能不能給一些工作上的建議，關于如何入門深度學習，如何做課題研究或者如何在深度學習領域找一份工作。作為這個采訪的開頭，很榮幸先展示Geoffrey Hinton的采訪視訊。

吳恩達：歡迎你Geoff，在此非常感謝您接受deeplearning.ai的采訪。

Geoffrey Hinton：謝謝你的邀請。

吳恩達：我想你是至今為止整個地球上發明最多深度學習核心理念的人，很多人都稱呼你為“深度學習教父”（the godfather of deep learning），盡管我是直到和你聊了幾分鐘之後才發現我是第一個這樣稱呼你的人，對此我深感榮幸。不過我想問的是，許多人把你看作傳奇（legend），我更想知道一些傳奇背後的私人故事（personal story behind the legend），是以你是怎樣在很久之前就投身于人工智能，機器學習以及神經網絡之中的呢？

Geoffrey Hinton：當我還在高中時，有一個什麼都比我強的同學，他是個才華橫溢的數學家（brilliant mathematician），有天他來學校并且問我，你知道大腦是用全息圖運作的嗎？（did you know the brain uses holograms?）那時應該是1966年，我反問他：全息圖是個啥？他就解釋了一下，在全息圖中，你可以切掉它的一半，但依然了解得到全貌，還有大腦中的記憶可能是分布于整個大腦中的，我大概猜到他可能是讀過關于Karl Lashley的實驗，其中講到切掉老鼠幾個小部分的腦子，然後發現很難找到哪一部分存儲哪種特别的記憶，那是第一次讓我對大腦，怎麼儲存記憶産生興趣的時刻，然後當我去上大學的時候，我就開始學習生理學（physiology）和實體學（physics），當我在劍橋（Cambridge）的時候我是唯一一個在學生理學和實體學的大學生，之後我放棄了這個選擇并且嘗試學哲學（philosophy），因為我覺得那可能會給我更多的深入了解，但是後來我又覺得缺乏真正能夠辨識錯誤說法的方法，然後我就轉去學了心理學（psychology），而在心理學中有着非常非常過于簡單的理論，對我個人來說用來解釋大腦的運作看起來無可救藥的不充分，之後我花了點時間做一個木匠（carpenter），然後我又決定想去試試看人工智能，于是就跑去愛丁堡（Edinburgh）跟Longuet Higgins學人工智能，他已經做了很棒的關于神經網絡的研究并且剛剛決定放棄于此，轉而對Terry Winograd的學說表示贊賞，我剛去的時候他覺得我做這個（神經網絡）已經過時了，應該開始搞符号主義人工智能（symbolic AI），關于這個我們有很多争論，但我還是堅持做自己相信的事情。

吳恩達：然後呢？

Geoffrey Hinton：最終我拿到了人工智能博士學位（PhD in AI）。但我在英國找不到工作，但我注意到了一個很不錯的加州Sloan獎學金的廣告，我拿到了這個獎學金，我去了加州（California），那裡感覺很不一樣。在英國，“神經網絡”（neural nets）看上去很愚蠢，而在加州Don Norman和David Rumelhart對于神經網絡的觀念非常開放，在那裡我第一次開始考慮大腦是怎麼運作的，和心理學會有什麼聯系，看上去是一個積極的方向，這其中有很多樂趣，特别是和David Rumelhart一起工作相當棒。

吳恩達：我懂了，很好，1982年你在UCSD和Rumelhart在一起工作，最後寫出了反向傳播（backprop）的論文.

Geoffrey Hinton：事實上，比這還要複雜點.

吳恩達：什麼情況呢？

Geoffrey Hinton：大概在1982年初，David Rumelhart和我，還有Ron Williams我們開發了反向傳播算法，這主要是David Rumelhart的想法，我們發現不少人都發明過。David Parker發明過，可能比我們晚，但發表比我們早，Paul Werbos發表了好幾年的，不過沒人注意到。還有其他人也做出了類似的算法，但不能清晰地表述出“反向傳播”的含義，用鍊式法則求導（chain rule）并不是很新的想法。

吳恩達：明白，為什麼你會認為你們的論文極大地幫助大家了解了“反向傳播”呢？似乎你們的論文被認為是讓大家去接受這個算法的一個裡程碑。

Geoffrey Hinton：最後我們的論文上了《自然》，為了論文被接受，我做了不少人事工作，我想到其中一個審稿人（referees）可能會是Stuart Sutherland---英國一位很有名的心理學家，我跑去和他聊了很久，跟他解釋這到底是怎麼一回事，給他留下了很深刻的印象，因為我們給他展示了反向傳播法可以學習字元表示，你可以看到這些表示都是一些向量，你可以了解每一個特征的意義，實際上我們訓練了三個名字的家族樹模型，比如Mary的媽媽是Victoria，你給出前面兩個名字，它能預測到最後的名字，訓練過後你可以看到每一個名字的所有特征，比如某個人的國籍，是第幾代，在家族樹中的哪一旁枝等等，這震驚了Stuart Sutherland，我想，這是論文被通過的原因。

吳恩達：這是十分早期的關于詞向量的嘗試，并且你已經在接觸在訓練算法中出現的能被學習的語義特征了。

Geoffrey Hinton：是的，是以從一個心理學家的角度來說，真正有趣的是它能把兩股完全不同的知識概念統一起來。曾有一些心理學家認為，知識概念是一大束特征（a big bundle of features），對此也有很多相關證據。之後又出現了現代AI的觀點，也就是正式的結構主義觀點（a formal structurist view），意思即是任何一個概念都有許多其他概念與其相關，為了了解一個概念，你會需要一個圖形結構或是一個語義網絡，然後這個後向傳播的例子展示了你可以把資訊傳給它，資訊會變成圖形結構——在這個特殊情況是一個族譜，然後輸入資訊會用這樣的方式變成特征，然後它能夠使用這些特征來得到新的前後一緻的資訊，也就是歸納總結化。但是真正重要的是這樣來回往複的圖形或樹形的表現族譜方式，把裡面的人變成特征向量這種形式，事實上從圖形狀的表現手法（graph-like representation），你也能夠得到特征向量，從特征向量你又可以得到更多的圖形陳述。

吳恩達：那時候是1986年？

Geoffrey Hinton：90年代早期Bengio就已經展示過，你可以把真實的資料，比如你可以拿來英文文本，然後使用這些技巧得到文本的詞語向量，這曾經驚豔了許多人。

吳恩達：最近我們在聊的都是計算機變得有多快，比如使深度學習不斷提高的新的GPU和超級計算機（supercomputers），這些工具在1986年到90年代并不存在，聽起來你和Bengio那時就已經開始引發了這個潮流。

Geoffrey Hinton：是的，在當時的确是很大的進步。在1986年，我曾經用一個速度小于十分之一秒百萬次浮點運算的清單機（list machine），大概1993年左右，人們才逐漸開始見到十秒百萬次浮點運算，是以曾經都是100的倍數，在那時也許還挺好用的。因為計算機才剛剛開始變快。

吳恩達：原來如此，前幾十年的時候，你就已經發明了這麼多神經網絡和深度學習相關的概念，我其實很好奇，在這麼多你發明的東西中，哪些是你到現在為止依然還是保持熱情的？

Geoffrey Hinton：我認為最具學術之美的是我和Terry Sejnowski做的Boltzmann機器，我們發現它能用非常非常簡單的學習算法去應用到密度很高的連接配接起來的網絡，這些網絡中隻有一些節點能被看到，那麼隐藏表示方式，能夠用非常簡單的算法學習，看起來也是一種你應該能夠應用大腦的東西，因為隻需要知道直接和每一個突觸（synapse）相連接配接的兩個神經元所被傳播的資訊應該都是一樣的，這裡有兩個不同的時期，我們也可以稱為喚醒和睡眠，但是在這兩個不同時期傳播資訊的方法都是一樣的，不像在後向傳播中有前後向兩種，方法不同，因為發送不同種類的信号，這就是我覺得它的魅力所在，很多年以來都看似隻是好奇心所向，因為運作速度很慢，不過後來，我去繁為簡，開始隻在簡單些的網絡用一個循環，于是就有了受限Boltzmann機，實際中反而更有效，在Netflix的比賽中，舉個例子，受限Boltzmann機是第一名所用的算法之一。

吳恩達：事實上，很多最近複蘇的神經網絡和深度學習（recent resurgence of neural net and deep learning），從2007年開始，受限Boltzmann機和解除限制Boltzmann機，你和你實驗室做了很多貢獻。

Geoffrey Hinton：這是另外讓我做得很開心的工作，你能僅用一層的隐藏特征訓練受限Boltamann機的想法。隻學一層特征，然後你可以重複把特征當成資料，然後再把新的特征當成資料，再重複，直到你想要的次數，實際能夠應用，的确很不錯。然後Uy Tay（音）發現這全部過程，可以想成是一個模型，雖然有點奇怪，這個模型頂部是一個受限Boltzmann機，往下是個sigmoid形置信網（belief net），這發明很超前，這是個有向圖模型，并且我們想要能訓練這些受限Boltzmann機，能有效地适用于sigmoid形置信網，那時，已經有人在做神經網絡了，在用高密度連接配接的網絡，但是沒有足夠好的機率标記（probabilistic imprints），也有人在做圖模型（graphical models），不像我的孩子們能做合适的推斷（do inference properly），雖然也隻能用在稀疏連接配接的網絡，我們展示了訓練深層置信網絡的方法，使大緻上的推理變得非常快，隻需要一個前向推進（forward pass），結果就能很美麗。你可以保證，每次學一層新的特征，都有新的帶，每次都是這樣，每個新的帶都會比舊的好。

吳恩達：變分帶（variational bands）顯示你是否新加了層數，對，我記得那個視訊。

Geoffrey Hinton：這也是第二件我始終很感興趣的東西，第三個是做過的一些變分法（variational methods），統計學者們也做過類似的東西，不過那時我們并不知道，我們讓EM變得更有效，通過證明你不需完美的E步驟，而隻需要個大約的對于隐變量後驗分布的初始值，EM當時在統計學很有分量，我們證明了它能被泛化用于神經網絡，特别是我在 1993年 和Van Camp寫了篇論文，是第一篇變分貝葉斯的論文，并且證明了可以隻用一個版本的貝葉斯學習（Bayesian learning），更容易處理。因為能用a來估算真正的後驗機率，也可以用在神經網絡中，我對此非常興奮。

吳恩達：原來如此，哇，真牛。對，我記得提到的所有論文，你和Hinton（口誤）在論文上花了很多時間，我認為一些現在用的算法或大多數人幾乎每天用的一些算法，比如dropout 或來源于你團隊的激活函數。

Geoffrey Hinton：對，但不完全是，那麼其他人可能也做過ReLU，我們在受限Boltzmann機上花功夫證明了ReLU幾乎完全等同于一疊logistic單元，這是推進ReLU前進的其中一種力量。

吳恩達：我對此非常好奇，這論文的價值是，用了大量數學證明此函數能被複雜公式估算，你是為了發表論文做的數學，還是真的為了影響0和x的最大值的發展。

Geoffrey Hinton：并不是為了發論文的情況，數學對推進這個想法，真的很有影響力。我顯然已經知道ReLU還有logistic單元，由于我花了心血在Boltzmann機上，全都是用的logistic單元，那時候面臨的問題是，這個學習算法可能用在ReLU嗎，證明完ReLU幾乎等同一疊logistic單元後，我們展示了所有的數學證明。

吳恩達：原來如此，它為無數現在使用ReLU的人們提供了靈感，也不需要特别懂得每個細節。

Geoffrey Hinton：對，那麼其中之一的發現在我到Google之後，是2014年我在Google講ReLU的用法以及怎麼用機關矩陣初始化。因為ReLU的一大優點是，如果不斷複制隐藏層，又用機關矩陣初始化，它會複制下層的模式，我展示了你可以訓練一個300個隐層的網絡，并且用機關矩陣初始化，會很有效率。但是我沒有繼續研究下去，也很是後悔，我們隻發了一篇論文，能證明你可以初始化，可以初始化重複發生，我應該繼續研究的，後來卻擱置了。

吳恩達：很多年以來我都聽到你談論大腦，我聽到過你談論後向傳播和大腦的關系，現在你對此是什麼想法。

Geoffrey Hinton：我現在正好有論文在準備中，主要想法就是這個：如果後向傳播是個好的學習算法，那進化過程肯定會從中幹擾，有些細胞會變成眼球或是牙齒，如果細胞能做這些，就一定能應用後向傳播了，這樣假設會造成極大的選擇性壓力，是以我覺得，毫不懷疑這種想法的神經科學家有點犯傻。可能有比較微妙的應用，我想大腦可能不會完全用後向傳播，但是足夠相似。這麼多年以來，我想出很多可能的理論，在1987年我和Jay McClelland做出了循環算法（recirculation algorithm），核心想法是你發送資訊并循環，并在循環之中保持它所包括的資訊。最簡單的版本是，你有輸入和隐藏單元，然後你從輸入發資訊到隐藏單元，再回到輸入，再到隐藏，再回到輸入，以此類推，那麼你想要訓練一個自動譯碼器（autoencoder），但是你想繞開後向傳播，你隻要訓練，并且去掉所産生的變化，核心想法是神經元突觸的學習方式，通過改變突破前的輸入權重比重，同時按比例改變突破後的輸入，在再流通時，你需要突破後的輸入，舊的比較好，新的較差，這是比較理想的情況。我們在神經科學家發明尖峰時序依賴可塑性（spike-timing-dependent plasticity）之前，發明了這個算法。尖峰時序依賴可塑性，是個相同的算法，但是，相反，需要新的東西較好，舊的較差，是以，用預先設定前景活動的權重比例，乘以新的，再減去舊的。後來我在2007年發現，如果你用一疊，受限Boltzmann機來訓練，訓練完，你會有完全正确的條件，來重建并實作後向傳播。如果你關注重建時期（reconstruction era），重建時期實際會告訴你偏差表現的導數。在2007年的第一個深度學習專題讨論中，我曾做過相關演講，那是幾乎被完全遺漏的部分，後來 Yoshua Bengio重拾這個想法，下了很多功夫，我自己本人也做了很多相關研究，如果你有一疊自動解碼器，就可以通過後向傳送活動（send activity backwards）和重建點定位（locate reconstructionaires），得到導數，這個有趣的想法也是大腦工作的原理之一。

吳恩達：另一個據我所知，你正在研究的，怎麼在深度學習中解決多個時間技巧，能分享一些你的想法嗎？

Geoffrey Hinton：沒問題，這要回溯到我研究所學生第一年，我第一次展示了怎麼用快速權重，也就是适應很快，衰退也很快的權重。是以隻有短期記憶。我在1973年展示了一個很簡單的系統，可以用這些權重做真實循環（true recursion）。真實循環的意思是，用到的神經元來表示循環核心的東西用到的權重，實際也是在循環核心被重複利用的知識。引導出的新問題是，當你突出循環核心時，怎麼記得已經是在過程中了，這個記憶從何而來，因為你用過了重複核心的神經元，答案是你可以把記憶放入快速權重中，這些活動神經元可以從快速權重中複原和Jimmy Ba最近的研究中，我們已經有了篇關于，這樣來用快速權重複原的論文，這個空缺非常大，1973年的第一個模型沒有被發表，接下來就是2015或2016年Jimmy Ba的模型，前後相隔40年。

吳恩達：另一個你醞釀了約五年之久的“膠囊”（capsules）概念，目前進展如何？

Geoffrey Hinton：我回到之前所在的狀态，就是我非常笃定地相信，所有人都不信的東西，我送出了一些論文都會被拒稿。但是我真的相信這個想法，我也會繼續研究，在轉移中有一些很重要的概念，其一是如何表示多元個體，你可以用些借殼活動，表示多元個體，隻要你知道其中的任何一個。在圖檔中任何一個區域，你會假設至少有一個特别的特征，之後你會用一堆神經元，以及它們的活動來表示特征的不同方面，比如x,y坐标具體在哪，在哪個方向，移動速度是多快，是什麼顔色，什麼亮度，類似等等，你可以用一堆神經元，來代表不同次元的同一個東西，假如隻有其中一個，這種做法很不一樣，相比于普通方式，普通來說在神經網絡中就隻有一個很宏觀的層，所有的單元和作用都在裡面，但是你不會想到把它們結合成一個個小組，來用不同的坐标表示相同的東西，另一個想法是我們應該去掉多餘的結構。

吳恩達：在真實的表示方法中，對不同特征分段表示，對不同子集分開表示。

Geoffrey Hinton：我把這些子集叫做膠囊，膠囊是能夠表示一個特征的，存在且唯一存在的情況，它能表示特征的所有不同性質。膠囊比一般的神經元能表示更多性質，因為一個普通的神經網絡，隻能表示一個度量上的屬性。

吳恩達：原來是這樣。

Geoffrey Hinton：當你能這麼做之後，你還能做到普通神經網絡表現很差的是，我稱為正常協定（routine by agreement）。假設你想要分層（segmentation），然後圖檔中有一張嘴，一個鼻子或是别的東西，你想知道你該不該嘗試組合成一個東西，這個想法就可以用膠囊。比如一張嘴，有關于嘴的參數，還有鼻子的膠囊，也有關于鼻子的參數，再确定該不該把它們拼起來，你會有來決定能不能拼成臉的參數。要是嘴、鼻子有對的空間關系，它們就會對應上，在統一層面有兩個相應的膠囊，能組成到下一個層面，就可以決定應該組合起來，因為在高次元能對應上很難得，這過濾方法很不同尋常，相比普通情況的神經網絡，正常協定會變得至關重要，特别是用有限資料總結概括時，這個觀念上的改變會幫助完成分段，我希望統計角度也更有效，對比我們現在的神經網絡，如果你想要改變觀點，你就得嘗試做，并且全都訓練一遍。

吳恩達：好的，相比FIFO學習，監督學習，還可以做點不一樣的。

Geoffrey Hinton：我還是計劃做監督學習，但是前向路線會很不一樣。不同之處在于裡面還有些循環過程，比如你覺得找到個嘴，找到個鼻子，之後用幾個循環去決定，它們能不能組成一張臉，用這個循環可以做後向傳播，也可以有偏重地試試看，我在多倫多的小組正在研究這個，在多倫多我有一個Google小組，是Brain組的一部分，現在我對此非常興奮。

吳恩達：的确很棒，很期待論文的發表。

Geoffrey Hinton：哈哈對，假設能發表的話。

吳恩達：你研究深度學習都幾十年了，我很好奇你的想法，關于AI有什麼改變嗎？

Geoffrey Hinton：我用了很多時間在反向傳播算法上，比如怎麼使用它，怎麼釋放它的力量。剛開始，80年代中時，我們在做判别式學習（discriminative learning），結果很不錯，然後到90年代早期，發現大多數人類學習都應該是無監督學習，然後我對無監督學習産生濃厚興趣，開始研究Wegstein算法。

吳恩達：那時候你的探讨對我個人影響也很大，我在上司Google Brain團隊時，第一個項目就在你的影響下研究了好多無監督學習。

Geoffrey Hinton：是呢，我可能誤導你啦，雖然長期來說，無監督學習絕對會變得很重要，但是面對現實，近十年以來所做的都是監督學習，判别式學習都有标簽，你想預測一個系列的下一個東西，也就是标簽，結果驚人的好，我仍相信無監督學習會很重要，當我們真正搞明白一些東西以後，結果會比現在好得多，不過目前還沒到。

吳恩達：嗯，深度學習裡的進階研究人員，包括我自己對此依然很是激動，因為我們中沒有一個人知道該怎麼辦，可能你知道，但是我不行了。

Geoffrey Hinton：變分法改變代碼（Variational altering code）是你會用到更新參數化的地方，這想法看起來很不錯，生成對抗網絡（generative adversarial nets）也是很棒的想法，生成對抗網絡我認為是深度學習中最新最重要的想法，我希望膠囊也能這麼成功，生成對抗網絡目前是很大的突破（breakthrough）。

吳恩達：稀疏，緩慢的特征上有發生什麼嗎？其他兩個無監督模組化的原則是什麼。

Geoffrey Hinton：我從未像你一樣看重稀疏性，但是慢速特征，我認為，是個錯誤，不應該說慢。基本想法是對的，但不應該隻考慮不變的特征，而是可預測改變的特征。建任何模型的基本原則大概是，先記錄測量值，對其應用非線性變換（applying nonlinear transformations），直到狀态向量成為表達式，這項活動變得線性時，不能像做普通滲透一樣，假設線性應該找一個從觀察轉換，到潛在變量的轉換，線性操作，比如潛在變量的矩陣乘積。即是如此，舉個例子：如果你想改變觀點，如果你想從另一個觀點産生圖像，需要從像素（pixels）轉化到坐标（coordinates），當你有坐标表示後，希望膠囊也能做到如此。你就可以做矩陣乘法來改變觀點，再投射到像素中。

吳恩達：這就是為什麼這是個非常宏觀的原則，也是你做面部人工合成的原因，對嗎，即是把臉壓縮成低次元向量，再生成其他的臉。

Geoffrey Hinton：我曾有個學生研究這個，我自己本人沒怎麼做。

吳恩達：你應該常常被問到，如果有人想要入門深度學習，該做什麼，你有什麼建議嗎？之前應該有很多一對一的情況，但對于全球範圍都在看這個視訊的觀衆，對于要學深度學習的人們，你有什麼樣的建議。

Geoffrey Hinton：好，我的建議是多讀論文，但别讀太多（my advice is sort of read the literature, but don’t read too much of it.）。我從導師（advisor）那裡得到這個建議。并不像大多數人說的，大多數人會告訴你盡量多讀論文，然後開始自己的研究，對一些研究人員應該是正确的，但是對有創意的人應該讀一少部分論文，然後發現一點你認為所有人都錯了的東西，在這點我一般都逆着來，你看到它，感覺不太對，然後想怎麼才對。當人們反對你時，要堅持自我，我支援人們堅持自我的原則，是判斷直覺的對錯，你直覺還不錯的話，就該堅持，最後一定會成功，要是你直覺一般的話，做啥都無所謂。

吳恩達：我懂了哈哈，鼓舞人心的建議，就堅持下去。

Geoffrey Hinton：該相信直覺，不相信就沒意義了。

吳恩達：我懂了，是的。我通常建議人們不要隻看，而是要重制發表了的論文，自然而然限制了你做的數量，因為重制結果很耗時間。

Geoffrey Hinton：對，當你重制發表的論文時，會發現所有使之成功的小技巧。另一個建議是，永遠不要停止程式設計（never stop programming）。因為如果你給學生布置任務，他們三天打魚兩天曬網，回頭就會告訴你看，沒做成，沒做成的原因，往往是他們所做的小決定，當時不覺得很重要。舉個例子，如果你給一個好學生任務，你可以給他們好學生中任何人任務，他都會做成，我記得曾經有一次，我說：诶，等等，我們上次讨論時，因為某某原因，是不可能成功呀，學生回答說：“對呀，你說完我就發現了，就假設不是你真的覺得做不出”。

吳恩達：哈哈，原來這樣，那很厲害，還有其他關于AI和深度學習的建議嗎？

Geoffrey Hinton：我認為基本上，開始鍛煉直覺（intuitions）時要讀夠，然後相信直覺，自己動手，不要擔心别人有反對意見。

吳恩達：你也沒法證明，他們說的對不對，除非親自做了，才能知道。

Geoffrey Hinton：對，但還有一點，如果你有個絕好的想法，别人都覺得完全荒謬，那你就找對東西了。舉個例子，當我剛想出來變分法時，我給之前一個叫Peter Brown的學生寫了封信，他懂得很多EM相關知識，他就拿去給一起工作的人看，叫（未聽清）brothers，可能是雙胞胎吧。然後他說，倆兄弟說了，你要麼是你喝多了，要麼是傻，倆兄弟當真認為是荒謬之論，部分原因可能是我用的解釋方式。因為我隻解釋了直覺，但當你有個很不錯的想法時，其他人覺得完全是垃圾，就是個好想法的信号了。

吳恩達：好的，研究課題的話，新研究所學生們應該多研究膠囊，無監督學習，還有其他嗎？

Geoffrey Hinton：對新研究所學生的一個好建議是，找一個和你意見一緻的導師（you can find an advisor who has beliefs similar to yours）。因為如果你做的東西，導師也深深贊同，你會得到很好的建議，要是做你導師不感興趣的東西，你會得到沒啥用的建議。

吳恩達：好的，最後對于學習者的建議，有什麼建議給想攻讀博士的人，或去頂級公司工作，或頂級研究團隊。

Geoffrey Hinton：這問題複雜。我認為現在，在大學中沒有足夠的深度學習學者教育有求知欲的人，就沒有足夠的教職人員。不過應該是暫時性的，發生的事是這樣，大多數部門很少有真正懂得這場革命的人，我幾乎同意，這并不是二次工業革命（second industrial revolution），但是規模接近。有如此巨大的改變，基本是因為我們和計算機的關系改變，不再隻是程式設計式，而是讓它們有能力自動解決問題，從根本上改變了計算機的用法。計算機科學系，卻是在之前基礎上建立起來的，他們暫且不懂，訓練計算機會和程式設計一樣重要，系中一半的人，得實際去試過訓練計算機。我所在的系就拒絕承認，應該放手讓很多人去做，他們覺得有幾個就夠，可不能放太多人去。這種情況下，你就得建議大公司多花點時間訓練員工，Google培養的人們，我們叫他們作brain居民，我很懷疑最後大學們能趕上他們。

 吳恩達：嗯，沒錯，實際上，很多學生都發現了，實際上前50的學校超過一半的申請者，隻想訓練計算機而不是真正程式設計，是，歸因齊宗（to give credit where it’s due），深度學習AI的微專業課程，據我所知，最初都是你在Coursera上教授的，還得回溯到2012年。奇怪的是，也是你發表RMS算法的時候，也還挺難的。

Geoffrey Hinton：你邀請我去做，大型開放網課，我可是很懷疑的，但你一直逼我，我很慶幸我那麼做了，盡管工作量極大。

吳恩達：是的，感謝你做到了，我還記得你發牢騷，說要做的這麼多，你還老是熬夜，但我覺得很多很多的學者都受益于你的課程，我也非常感激你真的做到了。

Geoffrey Hinton：很棒，對。

吳恩達：這些年來，我也目睹你被卷入AI界模範的辯論中，以及是否有過AI的變更，你可以分享一下你的想法嗎？

Geoffrey Hinton：我很樂意，早期時，大概50年代，像Von Neumann之類的人，都不相信符号化AI，他們靈感更多來源于大腦，不幸的是，他們都英年早逝，未能使自己的想法面世。AI早期時，人們完全被說服，智力的表示該是某種符号表達或比較整潔的邏輯，而不完全是邏輯，但是類似邏輯，智力的本質是推理（reasoning）。現在發生的是，有種完全不同的觀點，就是無論想法是什麼，都是一個很大的神經活動向量，對比符号化的表示，我認為那些把想法想成是符号表達的人，大錯特錯，輸入是一串字元，輸出是一串單詞。是以，單詞的字元串顯然能作為表達式，他們覺得一定是字元串，或其他類似字元串的東西，我卻不認為是這樣，我覺得想法該是某種語言，簡直和把想法置于空間層面（spatial scene）了解，必須得是像素進，像素出，一樣傻，要是我們能與點矩陣列印機相連，那像素就會出來，但中間的并不是像素。是以我認為想法該是一個大向量，有因果能力的大向量，能引發出其他大向量，這與AI的主流觀點——符号化表達完全不同。

吳恩達：好的，AI是肯定會改變到新的視角的。

Geoffrey Hinton：起碼一部分，大多數人還是認為，AI是符号式的。

吳恩達：非常感謝你願意接受采訪，能聽到深度學習進化的全過程很棒，還有你依舊在帶領它前進，很感謝你Geoff。

Geoffrey Hinton：感謝你給我這個機會，謝謝你。

總結：（1）Geoffrey Hinton的建議是多讀論文，但别讀太多（my advice is sort of read the literature, but don’t read too much of it.）（2）另一個建議是，永遠不要停止程式設計（never stop programming）。

說明：記錄學習筆記，如果錯誤歡迎指正！轉載請聯系我。