黃仁勳：機器學習的關鍵在于“飛輪”，英偉達不談論市場佔有率

目前全球到底需要多少算力？英偉達是否追求擴大市場佔有率？

近日，黃仁勳在一次長達約1個半小時的訪談中，談及自己對于AGI（通用人工智能）、機器學習、AI（人工智能）未來的看法，并對馬斯克、xAI、OpenAI和自己的工作生涯作出了評價。

黃仁勳表示，AGI很快會以某種形式成為個人的“口袋助手”，這個助手一開始它會很有用，但不會是完美的，随着時間推移，它會越來越完美，就像所有的技術一樣，這也是科技的魅力所在。

黃仁勳 視覺中國 資料圖

“我們重新發明了計算”，機器學習的關鍵是飛輪效應

黃仁勳表示英偉達“重新發明了計算”，過去十年裡将計算成本降低了10萬倍，遠超過摩爾定律所能帶來的百倍。

他認為，加速計算、新的數值精度、新的架構以及極其快速的存儲器等創新，都推動了算力的飛速發展，也讓我們從人類程式設計走向機器學習。同時，機器學習的速度也很快，随着重新定義計算的分布方式，英偉達引入了各種形式的并行計算，變得擅長在這些基礎上發明新的算法和訓練方法。這些技術和創新互相疊加，最終帶來了令人難以置信的進展，“整個堆棧都在增長，我們在所有層面上進行創新，是以我們看到了前所未有的擴充速度……以前我們讨論的是預訓練模型的擴充，每年模型的大小和資料量翻倍，算力需求也是以每年增加四倍，而現在我們在後訓練和推理階段也看到了擴充，預訓練再也不被視為艱難，推理也變得複雜，把所有人類思維都視為一次性是荒謬的，快速思考和深度推理、反思、疊代和模拟，這些概念現在都已經開始顯現。”

黃仁勳強調，很多人過去認為，包括現在還有很多人認為，設計一款更好的晶片，就是擁有更多的算力，更多的浮點運算能力。算力确實很重要，但這種思維方式已經過時，因為過去的軟體都是在系統上運作的，是靜态的，也就是說提升系統性能的最好方法就是做出更快的晶片，但我們已經進入機器學習，而非人類程式設計了，不僅僅是軟體，更要涉及整個資料處理過程。機器學習的關鍵是“飛輪效應”，我們要考慮的是如何讓“飛輪”高效運轉。很多人甚至都沒有意識到，光是資料整理和訓練都需要AI，這個過程本身就非常複雜。而正是因為有了更智能的AI來整理資料，現在有了合成資料生成以及各種不同的資料整理方式。是以，在進行訓練之前，已經有大量的資料處理工作。是以當考慮這個飛輪時，應該從整體來看待，而不僅僅是關注訓練，應該設計一個計算系統和架構，能夠讓這個飛輪每一步都盡可能高效，而不僅僅是特定應用場景的訓練。

黃仁勳稱：“訓練隻是其中一步，每一步都是艱難的，機器學習沒有任何容易的部分。無論是OpenAI，還是DeepMind的Gemini團隊，他們做的都不是簡單的事情。是以，你應該關注整個過程，加速每一個步驟，尊重阿姆達爾定律。如果某個步驟占用30%的時間，即使加速三倍，整體過程的提升也有限。是以，關鍵是建立一個可以加速每個步驟的系統，這樣才能真正提高循環時間和整個飛輪的效率。”

他認為，飛輪和學習的加速最終會帶來指數級的提升，英偉達的整個過程也都是通過CUDA加速的。

推理的增長将達到億倍規模，英偉達“從不談論市場佔有率”

對于英偉達的“護城河”，黃仁勳強調，英偉達的優勢在于算法，以及上層科學和底層架構的深度融合，他相信公司在推理方面的“護城河”會像在訓練方面一樣深厚。

他認為，訓練實際上就是大規模推理，如果在特定架構上完成了良好的訓練，那麼推理過程也會表現優異，如果在這個架構上建構它，即使沒有特别的考慮，它也會能在這個架構上運作。是以，架構的相容性對于推理任務至關重要，就像iPhone和其他裝置一樣。

同時，英偉達目前40%以上的收入來自推理，推理方面即将因推理鍊的出現而大幅增長，黃仁勳表示是一場智能生産的革命，推理的增長将達到億倍的規模，“這就像上學是為了将來在社會中有所貢獻，訓練模型很重要，但最終的目标是推理”。

黃仁勳表示，英偉達的目标是建立一個無處不在的計算平台，“我們每年都在努力創造一台新的計算機，其性能提升兩到三倍，成本降低兩到三倍，能源效率提高兩到三倍。這種進步令人難以置信。是以，我們建議客戶逐年分批購買新裝置，以維持在成本上的平均水準，這樣做的好處是在架構上保持相容性。

黃仁勳稱，目前以公司的改進速度來建構單獨的系統是非常困難的，同時還有一個難點在于，英偉達不僅僅将這些創新作為基礎設施或服務出售，而是将它們分解并內建到多個平台中。因為每個客戶的內建需求都各不相同，我們必須将所有的架構庫、算法和架構內建到他們的系統中，當然也包括我們的安全系統和網絡。我們基本每年都要進行大約10次內建操作。這真是個奇迹，但這也讓我感到瘋狂，想想這件事我就快要瘋了”。

而對于市場，他表示英偉達不想從任何人那裡搶奪市場佔有率，“如果你看我們的ppt，會發現我們從不談論市場佔有率。我們内部讨論的都是如何創造下一個事物、下一個可以在飛輪中解決的問題是什麼、如何更好地為人們服務、如何将過去可能需要一年的飛輪縮短到一個月……在考慮這些事情的同時，我們确信我們的使命非常獨特。唯一的問題是這項使命是否必要……所有偉大的公司都應該以使命為核心，關鍵在于你在做什麼，以及這是否必要、是否有價值、是否具有影響力和幫助他人。”

如何看待OpenAI和馬斯克，是否需要百萬張規模叢集？

對于OpenAI，黃仁勳認為是這個時代最具影響力的公司之一，是專注于AI、緻力于追求AGI願景的公司，ChatGPT的問世标志着人工智能的覺醒，“我非常欣賞他們的速度以及推動這一領域發展的獨特目标”。

當被問及馬斯克和xAI，黃仁勳也不吝誇贊，他表示在19天内搭建完成一個10萬張GPU叢集，一個采用液體冷卻、通電并獲得許可的巨大工廠，“據我所知，世界上隻有一個人能做到這一點，那就是埃隆”。同時，他也表示，現在已經進入擁有20萬-30萬塊GPU叢集的時代。

那麼叢集是否需要擴充到50萬張甚至100萬張的規模？黃仁勳的回答是：“如果看擴充能力，進行簡單數學計算，再加上每年模型大小和算力的四倍增長，再結合增長的使用需求，你會發現，我們需要上百萬塊GPU，這是毫無疑問的。但問題是，我們如何從資料中心的角度進行架構設計？這與資料中心的規模密切相關，比如是以千兆瓦還是250兆瓦為機關？我覺得會是二者兼而有之……所有正在進行的模型并行和分布式訓練的突破，所有的批處理等，都是因為我們在早期做出了努力，現在我們正在為未來進行早期的工作。”

對于開源閉源的問題，黃仁勳表示這與安全相關，但不完全關乎安全。“沒有什麼問題是因為閉源模型導緻的，這些模型可能是商業模式的引擎，它們是推動創新所必需的，我對此完全支援。重要的是，不應是對立，而是并存”。他贊同開源對于許多行業是必不可少的，使得金融服務、醫療保健、交通運輸等領域帶來巨大潛力。

對于開源，黃仁勳打了一個比方：“我的想象是，如果你把一個超級聰明的人關在一個有緩沖的房間裡一個月，出來的可能并不會是一個更聰明的人。但是，如果有兩三個人坐在一起，通過交流、讨論、互相質詢，所有人都可能變得更聰明。是以，AI模型之間的互動、争論和強化學習，以及合成資料的生成，這些概念是合理的。”

沒指望工作永遠有趣，自己每天都在使用AI

在采訪的最後，黃仁勳也對自己和行業表達了看法。他表示：“我不認為我們工作的全部都是有趣的。我的工作并不總是有趣的，也沒指望它永遠有趣。你問我這是不是我的期望，我會說這工作是重要的。我不太看重自己，但我非常認真對待工作、責任和在這個時代的貢獻……和家庭、朋友、孩子這些一樣，他們不總是有趣的，但我們總是深深地熱愛它們。”

他認為真正的問題是，他還能保持多長時間的相關性。他表示自己每天都在使用AI，即便知道答案也會用AI再檢查下，以發現新的内容，“AI作為導師、助手，作為一起頭腦風暴的夥伴，檢查我的工作，它徹底颠覆了一切。這對于資訊工作者而言是一場革命。我希望能保持這種相關性，繼續作出貢獻，因為這項工作對我來說非常重要，我想繼續追求。我對目前的生活品質感到難以置信，并無法想象錯過這樣的時刻。”