架構師要了解大模型的不足：科大訊飛AI研究院副院長聊GPT

作者 | 李鑫

編輯 | 薛梁

在前一段時間的 ArchSummit 架構師峰會的直播中，科大訊飛研究院的李鑫老師分享了一些關他對于大模型的了解，和使用上的心得。這裡根據直播内容，列出了李鑫老師的一些觀點，希望對關注大模型的讀者有幫助。

在 ChatGPT 問世之後，科大訊飛也快馬加鞭分析并研究大模型的技術，并且讓各個業務部門、各個事業部對 ChatGPT 為代表的認知大模型有比較充分的認識。

1、在目前階段，每天都在和 ChatGPT 打交道，在跨領域學習這件事上，ChatGPT 确實幫了很大的忙。做軟體開發的很多底層技術還是需要和硬體互動的，是以在資訊繭房的時代，在跨知識次元的學習上，快速去擷取另外一個領域的知識這件事上，可以通過大模型來做歸納，這是相當重要的部分。

2、GPT 給傳統軟體帶來的變化，總結為四個字：查漏補缺。一是查漏，二是補缺。查漏是指，例如代碼品質評估，可以利用 GPT 來查找裡面的漏洞，它能察覺到人看不到的問題，有點類似于初級的 QA 工作。補缺是指類似 Copilot 的角色，能夠生成下一行代碼，節省人力時間，幫程式員去補全一個函數、一個子產品、一個語句。這兩點是相對來說比較實用的，能夠提升工作效率和工作品質。

3、與企業應用的相結合，其實每個企業現狀不太一樣，如果企業裡用的都是偏垂直領域的小模型，可能會結合 GPT 做一個原地更新，把不同領域的小模型都貫穿起來，以後一個模型就能解決大多數問題。

4、和企業應用相結合的場景，還是需要發揮想象力的，這裡分三個層次來說。

• 以前“想都不敢想”的應用場景，需要開腦洞、頭腦風暴才能去解決的問題，現在可以基于 GPT 去測試一下。
• 第二個層次是“敢想，但以前實作不了”的，或者實作起來很難的，比如把開會過程中的口水文章做一個 summary，但是實際上以前的模型在語言了解、語料處理上處理是比較複雜的，實作起來非常痛苦和複雜，其中還有很多的工程性工作、和産品相結合的事。
• 第三層次是“以前能幹，有技術可達性，但達不到預期”的。現在有了大模型之後，實作效果和實作能力有了質的提升。

5、在軟體研發過程中，結合大模型來做能實作降本增效。比如技術平台類部門的研發，就像上面說的查漏補缺，代碼生成缺陷。其次是，研發人員在做技術調研，特别是新技術調研的時候，可以用大模型和 GPT 的方式來做，快速去實作和跑起來，能節約比較多的時間。

6、對于測試人員來講，一些測試方案，包括測試用例的設計，可以用這種大模型的方式來做。大模型其實比較擅長做那些考慮比較全面的、結構化的、有一定固定制式的文本生産。對于自動化測試來說，需要根據不同的場景來使用，有些測試并不能一次性就能完全執行成功。

對于性能測試，包括一些測試工具的開發，像 Python、Java 寫的工具成熟度會高一些。像 APK 靜态自檢的監測工具，還有一些測試用例的生成工具，對于測試人員來講在降本增效上是有意義和價值的。

7、除了研發、測試、運維這樣一些角色，其實還有一個不能忽視的重要角色，那就是産品經理。在這個軟體工程當中，産品經理的很多的跟研發直接相關的使用者故事的評估，或者使用者需求測試等工作，完全可以用大模型來輔助。業務部門更聚焦于産品在需求設計，和技術對接的過程中，如何去和大模型結合起來，快速去實作一個架構在上面查漏補缺，這樣效率更高。

8、到底什麼才是大語言模型？學術領域有一些研究，大模型要産生智慧湧現的效果，參數量至少在百億級才能力出現一個階躍和拐點。我們通常所說的大語言模型，更多的是做一些 Pretrain 的模型，然後基于一些我們已有的資料，做一些 Fine Tuning，或者是做一些 SFT（有監督微調），也許可以滿足實用需求。

對于不同階段和體量的企業來講，在大語言模型的研究上可能分三個階段：

第一個階段：自己訓。可能企業自己有一些算法和資料的積累，從随機初始化開始訓練這個模型，通常這是“有錢、有閑”的階段。

第二個階段，利用開源模型做推理，通過微調來提高推理效率，以滿足自己的實用需求。

第三個階段，自己用。對于模型沒有什麼高的追求，用開源的，或者是第三方已經內建的比較好的明星産品，僅僅是當成一個工具來使用。

9、現在大家都在說大模型的好處，作為架構師需要去了解大模型的不足。總結歸納上來講，大模型在時空這兩個次元上有一些不足，這反而需要加入架構師的能力。

首先是空間上的不足，複旦大學彭鑫教授講過一個觀點，說大模型生成的很多代碼實際上隻是平面能力。但是軟體開發中實際上很多複雜的工程，規劃性、設計模式等等，大模型在了解上是不夠的，特别對于大型的軟體工程，它的架構能力也是不足的。架構能力實際上就是把任務做分解的能力，是一種自頂向下，有點像樹狀結構的拆分能力。實際上大模型可以在某一個葉子節點或者是某一塊能夠給你平面的生成代碼，但是這種縱深的規劃能力是不足的。這其實是架構師應該去補齊的。

其次是時間上的不足，就是大模型在生成一段比較長的工程或者大段代碼的時候，它對上下文的記憶，當它的 Token 數不足的時候，實際上它是沒辦法記住上面自己生成過的内容。甚至有的時候一些變量名都會有比較典型和很明顯的錯誤，它對過去的記憶是比較弱的。

對于未來的大型項目的維護，其實需要我們人工去幹預的。當我們了解了大模型在空間時間上的不足的時候，很自然可以推導出架構師或者說技術人員能夠在哪些方面去彌補大模型的這個缺憾，這樣才能人機耦合、人機共舞去做有價值有效率的事情。

10、GPT 時代架構師的機遇和挑戰有哪些？第一是幫自己思考；第二個是幫團隊和夥伴，甚至周邊的人去思考；第三個是幫老闆思考。

幫自己思考。既然大模型在空間和時間上存在不足，那架構師如何分步驟引導大模型完成它擅長的事情。這裡就要提到提示工程（Prompt Engineering）了，架構師如果希望用好這個工具，學會提問是很重要的一環，去引導機器發揮它擅長的能力。

幫團隊思考。架構師在有些公司充當着技術引領者的角色，在其他人還沒有意識到的前提下，架構師要去賦能别人，做一些布道的事，讓别人在意識上知道大模型确實很重要，未來屬于掌握了 AI 的人。

幫老闆思考。企業本質上是要經營的，要長期生存發展下去。架構師要具備經營思維，精簡團隊，實作降本增效的目的，增強每個機關時間裡的工作密度，可能大模型這樣的工具能夠幫助我們做到。

11、7 月 21-22 日，我會在 ArchSummit（深圳站）架構師峰會上分享科大訊飛利用大模型在音頻創作、視覺創作或者文本創作上的技術進展及應用成果，其實就是通常講的三個模态：圖、文、音。圖文視覺方面，會介紹虛拟人場景的研究，尤其是虛拟人的肢體的動作、口唇怎麼與文本能夠耦合等等。

除此之外還會介紹視覺創作中的微表情細節等技術内容，以及通過提供一段文字實作 Text to Speech，生成偏情感、帶有個人風格的音頻。現場演講裡我還會分享很多有意思的使用場景案例。