人工智能社群正在擁抱S型曲線——在最初的快速增長之後，随着我們遇到自然限制，進展開始趨于平緩。
譯自 The Current State of LLMs: Riding the Sigmoid Curve，作者 Patrick McFadin。
如果你最近一直在關注人工智能領域，你可能已經注意到了一種轉變。一年前的無拘無束的樂觀情緒已經讓位于更加沉穩、現實的展望。作為一名周末大部分時間都沉浸在人工智能代碼中，并為 LangChain 和 LlamaIndex 等項目做出貢獻的人，我親眼目睹了這種轉變。
最近，我參加了兩個 AI 會議——AI 品質大會和 AI 工程師世界博覽會——人們的情緒變化是顯而易見的。這感覺像是 人工智能之旅 的一個重要裡程碑，我想分享我對我們身處何處以及我們要去往何處的想法。
還記得我們曾經認為人工智能增長呈指數級增長，準備将我們所有人抛在身後嗎？好吧，現實情況并非如此。人工智能社群現在正在采用一種不同的模型：S 型曲線。這種 S 形曲線表明，在最初的快速增長階段之後，随着我們遇到自然限制，進展開始趨于平緩。
為什麼視角會發生轉變？這歸結于我們在 大型語言模型 開發中面臨的限制。
三重威脅：資料、能源和經濟
首先是資料可用性。網際網路雖然龐大，但高品質資料的數量仍然有限。當然，像 OpenAI 這樣的公司正在争先恐後地達成協定，以擷取更多資料來訓練 GPT-5，但當我們需要 GPT-6 的 10 倍資料時會發生什麼？合成資料将有助于彌補一些差距，但這很難解決。
然後是能源和基礎設施成本。訓練這些龐大的模型 需要驚人的計算能力。我們談論的是一排排的 GPU 不斷運作，産生的熱量足以溫暖一個小鎮。這不僅昂貴，而且正在達到收益遞減的臨界點。在某些情況下，資源可用性限制了甚至可能實作的目标。位于田納西州孟菲斯的 新的 xAI 資料中心 每天需要驚人的 100 萬加侖水和 150 兆瓦電力。研究人員 和 初創公司 正在尋求消除對 GPU 的需求，但這還處于早期階段。
最後，還有經濟可行性的問題。目前，大型前沿模型正在由财力雄厚的雲提供商補貼。但随着 LLM 的真實成本變得明朗，我們可能會看到這些 模型的開發和部署方式 發生轉變。訓練一個前沿模型是一個 數十億美元的俱樂部，需要英偉達首席執行官黃仁勳的私人手機号碼。
人工智能信任危機
如果這些限制還不夠，我們還面臨着所謂的 “人工智能信任危機”。這是 AI 工程師大會上的一個熱門話題。問題是什麼？從設計上來說，LLM 往往會變得……有創意。這對于創作下一部偉大的美國小說來說很棒，但對于自動化關鍵業務流程來說卻不行。這種脫節是關于人工智能的幻想思維，以及對實施缺乏了解。LLM 是一個機率模型；在某些情況下，它們會迷路。
我親眼目睹了一些客戶的做法：試圖通過将大量資料輸入 LLM 來替換分析流程，或者更糟糕的是，試圖通過讓 LLM 無監督地工作來替換整個工作類别。當然，這些想法都沒有成功，讓發起者感到沮喪，并對新 AI 的能力持負面看法。即使是内部人士也意識到，Transformer 架構 還不夠，我們正在所有模型中都達到 GPT4 級别的性能。我們距離可信的自動化或每個人最喜歡的流行詞 AGI（通用人工智能）隻有一到兩次突破。
進入低谷：來自 Gartner hype cycle 的證據
如果你想知道我們在 AI 過山車的哪個位置，那就看看 Gartner hype cycle。這個可靠的工具為我們提供了技術成熟度和采用率的直覺表示。由于許可原因，我無法嵌入 Gartner AI hype cycle 的圖表，但我可以連結到 示範，Gartner 的人做了很多圖形。花幾分鐘時間看看你最喜歡的最新技術如何排隊是值得的。
根據 Gartner 在 AI hype cycle 中所說，基礎模型和生成式 AI 正在進入“幻滅的低谷”。不要被這個名字所迷惑——這不是一件壞事。這是任何技術成熟的必要步驟。早期采用者讓每個人都興奮起來，而進階使用者發現了許多早期的好處。後期采用者開始比較更成熟的技術，并發現尖銳的邊緣，宣稱它“全是炒作”（我指的是你，企業）。最終，會有諸如支援合同、架構圖以及大量産品之類的東西，使這一切變得更加可靠和安全。啊，啟蒙的曙光。
S 型曲線的希望
現在，在你開始認為一切都黯淡無光之前，請讓我向你保證，這個 S 型曲線和“幻滅的低谷”有一些重大的好處。如果你準備相信這個過程，這裡有一些讓你感到高興的事情。
- 适應時間——随着變化速度的放緩，組織有機會喘口氣，并弄清楚如何有效地使用這些工具。不再需要不斷地争先恐後地跟上最新的模型，而最新的模型會使上周的工作過時。這就是讓你不會陷入無休止的 POC 并最終傳遞一些東西的原因。
- 改進的風險管理——通過清楚地了解 AI 的能力和局限性，公司可以對在哪裡以及如何實施這些技術做出更明智的決策。即使是一點點 AI 也能對你的産品和最終使用者的生産力産生驚人的影響。
- 戰略規劃機會——随着炒作的迷霧消散，前進的道路變得更容易看到。公司可以開始規劃他們的 AI 戰略，對未來的能力有更現實的看法。不久前，人們對解雇整個軟體工程團隊或所有營銷人員有一些瘋狂的猜測。AI 會做所有事情，對吧？現在，很明顯，AI 是這些職業中的一項新技能，它提高了生産力并增加了新的功能。相應地進行規劃。
目前的遊戲狀态：從“哇”到“如何”
那麼，這讓我們處于什麼位置？如果我們看看 Gartner hype cycle，我們會發現，雖然基礎模型和 GenAI 正在進入低谷，但其他 AI 技術處于不同的階段。例如，知識圖譜終于從低谷中走了出來，這可能是由于它們在 AI 應用中的有用性而推動的。
關鍵的要點是什麼？AI 不會消失，但它正在進入一個更加衡量、現實的進步階段。我們正在從“哇”階段過渡到“如何”階段：我們如何真正地實施這些技術，以增加真正的價值？在我吸收了我們目前狀态之後，我的建議是：放松身心，适應我們今天擁有的東西。如果你正在建構一個聊天機器人，你應該以某種方式提高使用者的生産力。否則，你隻是在進行更多 AI 研究。
展望未來
當我們沿着這個 S 型曲線前進時，我們可以期待什麼？我相信我們将迎來一個整合和改進的時期。模型之間的差距正在縮小，許多模型的品質都達到了 GPT-4 級。這對進階使用者來說是個好消息，他們現在可以建立在更穩定的基礎之上。
我們也可能看到向更專注、更高效的模型轉變。 “更大總是更好”的時代即将結束，取而代之的是一種更細緻入微的方法，它平衡了能力和效率。 雖然我們可能沒有以驚人的速度朝着 AGI 邁進，但我們正在進入一個可能更加令人興奮的階段。這是一個實用創新的時代，人工智能對現實世界的影響将開始變得清晰。是以，各位人工智能愛好者，系好安全帶。旅程可能比預期更平穩，但遠未結束。