文 | Congerry、Blink162
ChatGPT的熱度好像降下來了？不，這隻是“蒙蔽”人類的假象。
OpenAI不會讓世界平靜，或者說AI不會讓世界平靜，他們正在“憋大招”。
從GPT-3進化到GPT-4，AI的本次跨越足以已經讓世界顫栗，但它也隻是一個拐點，倘若下一代的模型規模再進一步拓展，拓展規模是當下GPT-4的10000倍，又将是怎樣的光景？
OpenAI的華人科學家Hyung Won Chung在最新演講中強調：GPT-4即将超越拐點，并且性能實作顯著跳躍。
與此同時，OpenAI也在繼續發力，據路透社報道，OpenAI正計劃推出一次重大更新，讓開發者基于ChatGPT搭建APP的成本一次性縮水95%。
也就是無論是GPT-4本身的性能将顯著提升，還是其應用成本大幅下跌，二者一疊加又是被AI颠覆的新世界。
OpenAI計劃進行重大更新，以降低成本吸引開發人員
消息人士稱，OpenAI計劃下個月 11 月 6 日在舊金山舉行的 OpenAI 首屆開發者大會上為開發者推出重大更新，讓開發者們能夠更便宜、更快地基于其人工智能模型建構軟體應用。
更新的内容包括兩個方面，一是将記憶體存儲（memory storage）添加到其用于使用AI模型的開發者工具中，理論上可以将應用制造商的成本降低到原來的二十分之一。
成本高一直開發者不用的原因，路透社稱，這有助于解決合作夥伴的主要擔憂——使用OpenAI強大模型的成本上升速度很快。
二是更新一批開發者新工具，包括視覺功能調用等，使開發者能夠建構具有分析圖像和描述它們能力的應用，可能在娛樂到醫學等領域有潛在的用例。
這些新功能釋出的目的是吸引更多開發者付費使用OpenAI的模型，以開發各類人工智能軟體，如寫作助手、客戶服務機器人等。
一直以來，盡管ChatGPT大受消費者歡迎，但OpenAI争取其他公司采用的進展并不順利。
今年早些時候，OpenAI推出ChatGPT插件，希望像蘋果應用商店一樣吸引開發者，但熱度很快下降。
Sam Altman 今年早些時候在倫敦向一群開發人員承認，插件還沒有獲得市場的青睐，OpenAI還有更多工作要做。
OpenAI年化收入或已超過13億美元
除了“拉新”，OpenAI在賺錢的事情上又有新進展。
The Information 報道稱，OpenAI CEO Sam Altman本周向員工透露，公司正以每年13億美元的速度産生收入，平均每月超過1億美元。
要知道去年全年，OpenAI公司的收入僅為2800萬美元。（真賺錢呀）
OpenAI目前的主要收入來源有兩部分：ChatGPT的個人付費服務以及向企業和開發者開放大模型API帶來的授權銷售額。
由此也可以看到，OpenAI為什麼急于“拉新”，因為都是大把的dollar呀。
今年以來，OpenAI一直在探索ChatGPT的商業化模式。2月起推出ChatGPT Plus付費服務，使用者每月20美元，可以享受快速響應、新功能體驗等優先權限。
此外，OpenAI也在大力拓展面向企業的大模型API業務。
當然，金主爸爸的支援也必不可少，年初微軟再度加注OpenAI100億美元，4月OpenAI又獲得3億美元融資。（美滋滋）
目前，OpenAI估值高達900億美元（約合人民币6578.19億元），一年翻了三倍。
當GPT-4規模擴大到10000倍，我們該考慮什麼？
或許抓到了事物的本質，才能迎來各方面的飛升。
在OpenAI華人科學家Hyung Won Chung最新演講中，他提到：
大語言模型隻有到了一定規模，某些能力才會顯現。
是以參數規模決定了大語言模型的能力上限。比如，之前小模型在一些任務中成功率很低接近0%，或者完全取決于随機性，然而這些任務一旦大模型應用上，“就像某些能力突然顯現一般”，成功率驟然提升，人們将這種現象稱之為「湧現」。
由「湧現」現象出發，Chung認為：我們也不應該輕言“它不行”。相反，我們應該思考“它還沒行”。一旦模型規模擴大，許多結論都會發生改變。
這意味着，一些過去的結論已經不再适用，我們需要不斷地摒棄那些基于這些過時觀點的直覺。
換句話說，我們應該從新的角度看待LLM了。
Chung提供的視角是第一性原理，目前所有大語言模型都用的Transformer架構，從第一性原理出發，擴大 Transformer 的規模就是讓很多很多機器高效地進行矩陣乘法。
（第一性原理指的是，回歸事物最基本的條件，将其拆分成各要素進行解構分析，進而找到實作目标最優路徑的方法，
該原理源于古希臘哲學家亞裡士多德提出的一個哲學觀點：“每個系統中存在一個最基本的命題，它不能被違背或删除。”後被馬斯克頻頻提出而受到更多關注。）
Chung還進行了一個大設想，當 GPT-4的規模擴大至10000倍時，會發生什麼？以及人類科學家需要考慮什麼？
他表示，于他自身而言，擴充不隻是用更多的機器做同樣的事情，更關鍵的是找到限制進一步擴充的「歸納偏差」（inductive bias）。
也就說擴充不能讓AI解決所有問題，也不能解決發展AI中遇到的所有問題，我們還需要做後訓練中的工作。
Hyung Won Chung認為，最大似然估計目标函數，是實作GPT-4 10000倍規模的瓶頸。
（注：最大似然估計(maximum likelihood estimation, MLE)一種重要而普遍的求估計量的方法。最大似然法明确地使用機率模型，其目标是尋找能夠以較高機率産生觀察資料的系統發生樹。“似然”偏文言文譯法，可了解為“可能性”，）
使用富有表達力的神經網絡學習目标函數，将是下一個更加可擴充的範式。随着計算成本的指數級下降，可擴充的方法終将勝出。與此競争無異于自讨苦吃。
Chung認為，在一個發展如此迅速的領域，比如大語言模型，沒有人能完全跟上其發展的步伐。隻有從第一性原理出發了解核心思想，是唯一可行的方式。
回歸事物本質吧~
如果您有什麼想說的，歡迎螢幕前你們在評論區留言讨論！我們将為點贊、評論、關注的同學們送上紅包不限量喲~