編輯:桃子 好困
【新智元導讀】OpenAI送走一波人,又來了一波人。最新報道稱,微軟Phi系列模型核心leader準備加入OpenAI,未來繼續研究AGI。同時,離職後的CTO被曝或在創業融資,還要從OpenAI挖人。
微軟AI老将官宣加盟OpenAI!
Information爆料稱,微軟AI副總Sebastien Bubeck即将離職,加入OpenAI繼續投身開發AGI。
另一邊,前腳離職OpenAI的CTO Mira Murati似乎也要自立門戶尋求融資。
而且,她還要從前東家挖人,一直與OpenAI員工讨論可能創業的下一個項目。
此前,離職後的Karpathy創辦了一家名為Eureka Labs的AI教育公司;Ilya創辦了SSI安全超級智能公司...
有網友表示,OpenAI正打開AI初創企業的生态系統。
微軟Phi之父叛逃OpenAI
有Sebastien Bubeck這樣的大佬加入,也是OpenAI幸事。
Bubeck在微軟任職已有十年,此前在普林斯頓大學擔任了3年的助理教授。
過去兩年裡,他在微軟最為人熟知的貢獻在于——上司團隊開發了Phi系列小模型。
23年6月,Phi-1小模型首次亮相,便以優異的成績擊敗了GPT-3.5。正如論文标題所言,「教科書級」資料才鑄就了高性能的小模型。
至此,「教科書級資料品質」成為了他們的一種堅定信仰。
論文位址:https://arxiv.org/pdf/2306.11644
3個月後,研究人員疊代出Phi-1.5,13億參數就能跑通代碼、聊天問答等場景。
12月Phi-2橫空出世,更是取得了「以小博大」的成功。僅以27億參數,就擊敗了比自己大25倍的模型。
再到今年4月,原團隊釋出了Phi-3系列模型,包含了mini(38億參數)、small(70億參數)和medium(140億參數)三個版本。
論文稱,Phi-3可以在iPhone上運作,每秒即可生成12個token。
論文位址:https://arxiv.org/pdf/2404.14219
到了8月,最新一版的Phi-3.5出世,上下文達到了128k,并且首次引入了MoE架構、視覺模型。
這些模型在測試基準上,擊敗了谷歌Gemini 1.5 Flah、Llama 3.1-8B。甚至,在某些基準上,還超越了GPT-4o。
在Scaling Law信仰下,一直奔向萬億參數LLM科技巨頭,轉向SLM領域在業界引發一場熱議。
Bubeck曾在去年一篇研究論文中指出,Phi模型使用OpenAI模型生成資料進行了訓練,相較于GPT系列模型,它的參數規模更小,運作成本更低,還能夠實作幾乎一緻的性能。
OpenAI每次釋出模型後,微軟緊跟着将其植入到自家産品,必應搜尋、聊天機器人、辦公全家桶、Copilot AI中。
但随着時間推移,微軟已經在某些功能中,逐漸采用Phi模型。
微軟CEO納德拉在過去一年裡多次贊揚 Phi,将其定位為微軟掌握的幾個開源AI模型之一,表明公司并不完全依賴OpenAI的模型。
Bubeck表示,自己目前更加專注于了解「智能如何在LLM中出現的」,以及如何利用這種了解來提升LLM性能,最終建立AGI。
他更願将這樣的方法稱之為「AGI實體學」,通過在不同尺度(參數、神經元、層、資料課程...)中發現。
AI系統的各個部分如何組合,才能創造出LLM驚人的行為?
他曾在1年前的演講中,給出了更具體的解釋。
位址:https://www.youtube.com/watch?v=XLNmgviQHPA
目前,Bubeck在OpenAI的具體職責,尚不清楚。
網友有一種強烈預感,OpenAI下一代小模型即将要來。
微軟發言人在聲明中表示,Bubeck已經決定離開,未來将進一步推進AGI的研發工作。我們期待他在OpenAI工作繼續保持合作。
雖然領頭人已經離開,Phi論文大多數合著者依然留在微軟,并計劃繼續開發模型。
OpenAI的新威脅:前CTO Murati
在招聘和留住人才方面,OpenAI可謂是腹背受敵。
是的,它如今正要應對來自一位剛剛離職員工的挑戰——前首席技術官Mira Murati。
正如前文所說,Murati下一個可能計劃去創業,但還有一種可能性,是加盟前OpenAI副總Barret Zoph即将創辦的新公司。
又或是加入其他科技公司,目前仍是未知數。
據稱,OpenAI的一些研究員,可能會對Murati創業提議感興趣。
據三位了解内情人士透露,自Liam Fedus晉升為訓練後優化負責人後,OpenAI研究組織正處于動蕩之中。
而且,團隊的一些研究人員要求換隊。
Fedus實際上接棒了Barret Zoph的職位,他們曾在谷歌AI團隊任職。後者在上個月25日,與Murati、研究主管Bob McGrew同時突然宣布離職。
最近,還有一位ChatGPT開發者之一Luke Metz宣布離職,這一事件早于OpenAI員工股份回購計劃。
OpenAI正努力應對,來自競争對手的高薪招募。尤其是, Ilya Sutskever創業的新公司。
鑒于Murati辭職後,Zoph和McGrew表現出的團結姿态,暗示着她的招攬人才行動,可能會進一步考驗Sam Altman的人才管理能力。
OpenAI安全研究VP線上招人
巧的是,OpenAI的安全研究副總裁Lilian Weng,同一天在推上發了一條招聘啟事:
「我們正在招聘安全研究領域的研究科學家和工程師,熱忱歡迎各路人才加入!研究方向廣泛,包括但不限于:安全模型行為訓練、對抗性魯棒性研究、AI在醫療保健領域的應用、前沿風險評估等多個激動人心的領域。」
不過,對于現在的OpenAI,網友們并不相信他們會搞什麼模型安全。
參考資料:
https://x.com/amir/status/1845905601110462481
https://www.theinformation.com/articles/openais-newest-possible-threat-ex-cto-murati-googles-mini-chatgpt-moment
https://x.com/lilianweng/status/1845833878256120004