OpenAI超級對齊團隊解散知情人士揭秘：對奧特曼信任崩潰

騰訊科技

2024-05-18 13:02釋出于河北騰訊新聞科技頻道官方賬号

山姆·奧特曼（Sam Altman）

劃重點

1

OpenAI超級對齊團隊解散，成員面臨離職或轉崗選擇。伊爾亞·蘇茨克維和揚·雷科相繼離職，引發對人工智能安全性研究方向的關注。
2

雷科公開表達與OpenAI上司層在核心優先事項上的分歧，擔憂公司産品安全問題。
3

OpenAI面臨員工流失，特别是關注人工智能安全性的研究人員，引發外界對其未來方向的質疑。

騰訊科技訊 5月18日消息，據國外媒體報道，在OpenAI聯合創始人兼首席科學家伊爾亞·蘇茨克維（Ilya Sutskever）和超級對齊小組聯合負責人揚·雷科（Jan Leike）相繼于本周離職之後，該公司負責研究未來超級智能模型安全性問題的超級對齊團隊已經宣告解散。該團隊的成員們面臨了兩種選擇：離職或加入其他團隊。

OpenAI于去年7月成立了超級對齊團隊，由蘇茨克維和雷科共同上司，旨在4年的時間内解決一個核心問題：如何確定超級智能的人工智能系統實作價值對齊與安全。當時，OpenAI曾明确表示，該團隊将獲得公司20%的算力資源。然而，随着多名研究人員在此前的離職，以及蘇茨克維和雷科于本周的相繼離開，OpenAI在周五确認了超級對齊團隊的工作将被整合入公司其他研究部門。這一變化标志着超級對齊團隊作為一個獨立實體的結束，同時也預示着OpenAI在人工智能安全與價值對齊領域的研究方向和政策可能面臨調整。

伊爾亞·蘇茨克維

蘇茨克維本周的離職引發了廣泛的讨論。他本人不僅在2015年協助公司首席執行官山姆·奧特曼（Sam Altman）共同創立了OpenAI，還為ChatGPT的研究指明了方向。然而，他也是去年11月導緻奧特曼被解雇的四名董事會成員之一。在随後的五天内，OpenAI經曆了一場劇烈的内部紛争，最終奧特曼得以重返公司并恢複原職。在奧特曼被免職期間，OpenAI的員工發起了一場大規模抗議活動，最終促成了一項協定，根據該協定，蘇茨克維和其他兩名董事離開了董事會。

研究人員相繼離職

在蘇茨克維本周二宣布離開OpenAI的消息釋出數小時後，超級對齊團隊的另一位聯合負責人雷科也在社交媒體平台X上透露了自己辭職的消息。蘇茨克維并未詳細解釋其離職的原因，但他在X上表示：“OpenAI的發展軌迹令人贊歎，我堅信公司在現任上司團隊的帶領下，将能夠建構一個既安全又有益的通用人工智能。”

雷科則在X上詳細闡述了他離職的原因，他指出：“我與OpenAI上司層在公司核心優先事項上的分歧已經持續了一段時間，直至我們達到了一個臨界點。在過去幾個月中，我的團隊一直在逆風中前行。我們有時為了擷取計算資源而掙紮，完成這項至關重要的研究變得越來越困難。”他還表示：“我認為我們應該投入更多的帶寬來為下一代模型做好準備。在安全性、監控、準備、對抗魯棒性、（超級）對齊、保密、社會影響等相關主題上。這些問題很難做好，我擔心我們沒有走上正确的軌道。”

這似乎是OpenAI高管首次公開表達公司将産品置于安全之上的觀點。對此，奧特曼回應稱：“我對雷科為OpenAI的對齊研究和安全文化所做的貢獻表示深深的感激。他的離開讓我感到非常難過。他所說的我們還有很多事情要做是正确的；我們緻力于繼續前進。

超級對齊團隊的解散進一步證明了公司在去年11月治理危機之後内部的動蕩。據外媒上個月報道，超級對齊團隊的兩名研究人員奧波德·阿申布倫納（Leopold Aschenbrenner）和帕維爾·伊茲邁洛夫（Pavel Izmailov）因洩露公司機密而被解雇。團隊的另一名成員威廉·桑德斯（William Saunders），根據以他的名字釋出的網際網路論壇文章顯示，于2月份離開了OpenAI。

此外，兩位從事人工智能政策和治理研究的OpenAI研究員似乎也已離開公司。根據LinkedIn資訊，庫倫·奧基夫（Cullen O'Keefe）在4月份離開了他在政策前沿研究領域的上司職位。而共同撰寫過多篇關于進階人工智能模型潛在危險的論文的研究員丹尼爾·科科塔伊洛（Daniel Kokotajlo），因對公司在人工通用智能時代能否負責任地行事失去信心，也已離開OpenAI。目前，這些顯然已經離職的研究員都沒有對評論請求做出回應。

OpenAI對蘇茨克維或其他超級對齊團隊成員的離職，以及對未來長期人工智能風險研究的問題均未發表評論。現在，由約翰·舒爾曼上司的團隊将負責與更強大的模型相關的風險研究，他與他人共同上司着一個團隊，負責在訓練後微調人工智能模型。

盡管超級對齊團隊并非唯一思考如何控制人工智能的團隊，但其公開定位為緻力于解決這一遠景問題的主力團隊。OpenAI在去年夏天宣布成立超級對齊團隊時指出：“目前，我們還沒有一種解決方案來指導或控制一個潛在的超級人工智能，阻止它變得不可控制。”

OpenAI的章程規定，公司必須安全地開發所謂的人工通用智能，或與人類相媲美或超越人類的技術，安全地并為人類的利益服務。蘇茨克維和其他上司者經常強調謹慎行事的必要性。然而，OpenAI也是最早開發并向公衆釋出實驗性人工智能項目的機構之一。

蘇茨克維和雷科的離職發生在OpenAI最新産品釋出會之後—該公司本周一剛推出了GPT-4o“多模态”模型，它使ChatGPT能夠看到世界并以更自然、更人性化的方式進行對話。盡管沒有迹象表明最近的離職與OpenAI開發更人性化人工智能或推出産品的努力有任何關系，但最新的進展确實引發了圍繞隐私、情感操縱和網絡安全風險的倫理問題。OpenAI還維護着另一個名為“準備就緒團隊”的研究小組，專注于這些問題。

對奧特曼感到失望

如果一直在社交媒體X上關注OpenAI的“宮鬥”鬧劇，就可能會認為OpenAI秘密取得了巨大的技術突破。“伊爾亞發現了什麼？”這個梗推測蘇茨克維離職是因為他看到了一些可怕的東西，比如一個能夠摧毀人類的人工智能系統。

但真正的答案可能與對技術的悲觀無關，而更多地與對人類的悲觀有關——尤其是對一個人：山姆·奧特曼。知情人士透露，以安全為重的超級對齊團隊成員對奧特曼失去了信心。“這是一個信任逐漸崩潰的過程，就像多米諾骨牌一個接一個倒下，”知情人士透露。沒有多少員工願意公開談論這件事。部分原因是OpenAI讓員工在離職時簽署包含不诋毀條款的離職協定。如果拒絕簽署，員工将放棄在公司的股份，意味着可能會失去數百萬美元。

不過也有例外，的确有員工在離職時沒有簽署協定，仍可以自由地批評OpenAI。在2022年加入OpenAI的科科塔伊洛，曾希望引導公司朝着安全部署人工智能的方向發展。他表示：“OpenAI正在訓練越來越強大的人工智能系統，目标是最終在各個領域超越人類智能。如果處理得當，這可能是對人類最好的事情，但如果我們不小心，也可能是最糟糕的。”

OpenAI表示它想要建構人工通用智能，這是一個假設性的系統，可以在許多領域以人類或超人的水準執行。“我加入時抱有極大的希望，希望OpenAI能夠崛起，在接近實作通用人工智能時表現得更加負責任。但對我們許多人來說，這逐漸變得清晰，這是不會發生的，”科科塔伊洛告訴我。“我逐漸對OpenAI上司層及其負責任地處理通用人工智能的能力失去了信任，是以我辭職了。”

自從“宮鬥”事件以來，蘇茨克維大約半年時間沒有出現在OpenAI辦公室——他一直遠端共同上司超級對齊團隊。雖然該團隊有着遠大的抱負，但它與奧特曼上司下的OpenAI日常營運脫節。奧特曼對被解雇的反應揭示了他的性格：他威脅要帶走OpenAI全部員工，除非董事會重新聘用他；回歸後堅持用對他有利的新成員填補董事會，顯示出他決心抓住權力并避免未來的制約。OpenAI前同僚和員工站出來描述他是一個操縱者，說話兩面三刀——例如，他聲稱他想要優先考慮安全，但在行為上卻與之沖突。

舉例來說，奧特曼正在與沙特阿拉伯等國商談，這樣他就可以創辦一家新的人工智能晶片制造公司，為他提供建構尖端人工智能所需的大量資源。這令注重安全的員工感到震驚。如果奧特曼真的關心以最安全的方式建構和部署人工智能，為什麼他似乎急于積累盡可能多的晶片，這隻會增加技術的速度？同樣，他為什麼要承擔與可能使用人工智能來加強數字監控或侵犯人權的政權合作的安全風險？

對員工來說，所有這些都導緻了逐漸“失去信念，”一位了解公司的内部表示。

檢視原圖 1.17M